MatRes: Zero-Shot Test-Time Model Adaptation for Simultaneous Matching and Restoration

Probleemstelling

In real-world scenario's worden beelden vaak opgenomen vanuit verschillende gezichtspunten en houdingen, waarbij sommige beelden last hebben van ernstige degradaties (zoals onscherpte, ruis of slechte belichting). Traditionele benaderingen behandelen beeldherstel (image restoration) en geometrische matching (het vinden van overeenkomsten tussen beelden) als twee gescheiden taken.

Dit leidt tot een wederzijdse belemmering:

1. Matching zonder herstel: Beeldmatching-algoritmen presteren slecht op zwaar gedegradeerde beelden omdat de kenmerken (features) onbetrouwbaar zijn.
2. Herstel zonder matching: Herstellen-algoritmen die gebruikmaken van een hoogwaardig referentiebeeld (HQ) kunnen dit niet effectief gebruiken als de beelden niet nauwkeurig zijn uitgelijnd (gealigneerd) door de grote gezichtspuntverschillen.

Bestaande methoden voor gezamenlijke optimalisatie zijn vaak beperkt tot video's of beelden met zeer kleine baselines (kleine hoekverschillen), en vereisen vaak grond-truth data (GT) voor training, wat in real-world situaties zelden beschikbaar is. Er is een gebrek aan oplossingen voor beeldparen met grote baselines en onbekende degradaties zonder offline training.

Methodologie: MATRES

De auteurs stellen MATRES voor, een framework voor zero-shot test-time aanpassing. Het doel is om een laagkwaliteit (LQ) en een hoogkwaliteit (HQ) beeldpaar simultaan te verbeteren in zowel herstel als uitlijning, zonder extra trainingsdata of offline training.

Het framework bestaat uit drie kerncomponenten:

1. Vooraf getrainde Matching Network ($M_\theta$): Een model dat generatieve priors (kenmerken) extraheren en de geometrische transformatie ($T_{LQ \to HQ}$) schat tussen de twee beelden.
2. Vooraf getrainde Restoration Network ($R_\phi$): Een model dat de LQ-beelden herstelt naar een verhoogde kwaliteit (EQ).
3. Lichtgewicht Adapter ($H_\psi$): Een trainbaar module (gebaseerd op LoRA - Low-Rank Adaptation) die fungeert als projector.

Het proces werkt als volgt:

• Mutual Guidance (Wederzijdse Gids): De matching network $M_\theta$ schat eerst de transformatie en extrahere kenmerken. Deze worden gebruikt om het LQ-beeld te warpen (uit te lijnen) met het HQ-beeld.
• Feature Adaptation: De generatieve priors van de matching network worden via de adapter $H_\psi$ geprojecteerd in de feature-space van de restoration network. De adapter zorgt ervoor dat de priors van het matching-model compatibel zijn met het herstel-model.
• Zero-Shot Training: Tijdens de inferentie worden alleen de parameters van de adapter $H_\psi$ geüpdatet via gradient descent. De grote modellen ($M_\theta$ en $R_\phi$) blijven bevroren (frozen).
• Optimalisatie: Het systeem minimaliseert een verliesfunctie bestaande uit twee termen:
  1. Off-diagonal loss: Bevordert een scherpe, diagonaal-dominante similariteitsmatrix (cost volume) om de matching nauwkeuriger te maken.
  2. Pixel-matching loss: Minimaliseert het verschil tussen het herstelde beeld en het HQ-referentiebeeld in de overlappende gebieden.
• Dit proces wordt iteratief herhaald totdat de adapter geoptimaliseerd is voor het specifieke beeldpaar.

Belangrijkste Bijdragen

1. Praktische Toepasbaarheid: MATRES lost het probleem van wederzijdse belemmering op in real-world situaties waar gebruikers meerdere beelden van een scène maken met variërende kwaliteit en gezichtspunten.
2. Zero-Shot & Offline-Training Vrij: Het vereist geen extra trainingsdata, geen grond-truth corresponderende punten, en geen offline training. De aanpassing gebeurt volledig tijdens de inferentie (test-time) op basis van het input-beeldpaar.
3. Gezamenlijke Verbetering: Het framework verbetert zowel de kwaliteit van het herstel als de nauwkeurigheid van de geometrische matching significant in vergelijking met het gebruik van deze modellen afzonderlijk.
4. Universele Compatibiliteit: Het werkt met diverse bestaande state-of-the-art matching-modellen (zoals RoMa, DIFT, Mast3R) en herstel-modellen (zoals SwinIR, Restormer, DeblurGAN).

Resultaten

De auteurs hebben MATRES geëvalueerd op drie taken: Super-Resolution (SR), Denoising (ruisvermindering) en Deblurring (onscherpte-verwijdering), met gebruik van zowel synthetische als real-world benchmarks.

• Kwalitatieve Verbetering: Visuele resultaten tonen aan dat het gebruik van matching-guidance leidt tot scherpere structuren en hogere fideliteit in het herstelde beeld.
• Kwantitatieve Resultaten:
  • Herstel: MATRES boekte significante winsten in PSNR en SSIM. Bijvoorbeeld, bij Super-Resolution met EDSR steeg de PSNR van 26.93 naar 31.72 (+4.80 dB) wanneer matching-guidance werd gebruikt.
  • Matching: De nauwkeurigheid van de puntcorrespondenties (gemeten in mAUC) verbeterde aanzienlijk. Bijvoorbeeld, bij RoMa voor SR steeg de score van 27.00 naar 36.60.
  • Vergelijking met SOTA: MATRES presteerde beter dan of vergelijkbaar met gespecialiseerde state-of-the-art modellen voor specifieke taken (zoals AutoLUT voor SR of Blur2Blur voor deblurring), en overtrof deze duidelijk in matching-taken.

Betekenis

Deze studie is significant omdat het een praktische oplossing biedt voor een veelvoorkomend maar vaak genegeerd probleem: de onderlinge afhankelijkheid van herstel en matching in real-world beeldverwerking. Door te laten zien dat vooraf getrainde modellen tijdens de inferentie op elkaar kunnen worden afgestemd zonder extra data, opent MATRES nieuwe wegen voor unified test-time adaptation. Het bewijst dat het combineren van generatieve priors van matching-modellen met herstel-taken leidt tot superieure resultaten, wat essentieel is voor toepassingen zoals fotogrammetrie, 3D-reconstructie en beeldstitching in onvoorspelbare omgevingen.