Dual-Branch Remote Sensing Infrared Image Super-Resolution

Probleemstelling

Het paper adresseert de uitdaging van super-resolutie (SR) voor infraroodbeelden van remote sensing. Het doel is om scherpe thermische waarnemingen te herstellen vanuit lage-resolutie inputs, waarbij de contouren van objecten, de lay-out van het tafereel en de radiometrische stabiliteit behouden moeten blijven.

In tegenstelling tot zichtbare lichtbeelden, zijn thermische beelden vaak zwak getextureerd en gevoeliger voor onstabiele lokale scherpte-verhoging. Aggressieve textuurgeneratie kan hier leiden tot artefacten die de objectidentiteit verstoren. Daarom vereist infrarood-SR niet alleen perceptuele verbetering, maar vooral een trouwe structurele herstel waarbij kleine veranderingen in randkwaliteit belangrijker zijn dan het creëren van dichte hoogfrequente details.

Methodologie

De auteurs presenteren een oplossing voor de NTIRE 2026 Infrared Image Super-Resolution Challenge. De kern van hun aanpak is een dual-branch (twee-tak) systeem dat twee complementaire architecturen combineert zonder feature-level interactie of geleerde fusiehoofden. Dit zorgt voor een volledig ontkoppelde en deterministische pipeline.

De twee takken zijn:

1. HAT-L Tak (Lokaal Sterk):

   • Gebaseerd op de HAT-L (Hierarchical Attention Transformer) architectuur.
   • Functie: Specifiek ontworpen voor fijnkorrelige lokale contourmodellering en het herstellen van scherpe randen.
   • Testtijd-verfijning: Wordt verrijkt met Test-Time Local Conversion (TLC). Dit corrigeert het verschil tussen patch-gebaseerd training en volledige beeld-inferentie, wat cruciaal is voor transformer-architecturen om lokale consistentie te garanderen.

2. MambaIRv2-L Tak (Globaal Stabiel):

   • Gebaseerd op de MambaIRv2-L (Large) configuratie, een state-space model.
   • Functie: Richt zich op lange-afstandscontext-aggregatie en het behoud van structurele consistentie over het hele tafereel. Het onderdrukt onstabiele lokale artefacten ("hot spots") en behoudt de radiometrische coherentie.
   • Testtijd-verfijning: Gebruikt acht-wegige self-ensemble (geometrische transformaties zoals spiegeling en transpositie) om de voorspellingsrobuustheid te verhogen zonder de parameters aan te passen.

Fusie Strategie:
De outputs van beide takken worden samengevoegd via vaste, gelijkwaardige beeldruimdefusie (fixed equal-weight image-space fusion):
$$I_{SR} = 0.5 \times I_{HAT} + 0.5 \times I_{Mamba}$$
Deze eenvoudige, niet-adaptieve fusie zorgt ervoor dat de sterktes van beide takken (scherpe randen vs. globale stabiliteit) worden gecombineerd zonder extra trainingskosten.

Belangrijkste Bijdragen

• Dual-Branch Framework: Een innovatieve architectuur die HAT-L (transformer) en MambaIRv2-L (state-space) combineert om zowel lokale als globale inductieve biases expliciet te benutten.
• Specifieke Testtijd-Optimalisatie: Toepassing van branch-specifieke verfijningen (TLC voor HAT en self-ensemble voor Mamba) om de prestaties van elke tak te maximaliseren voordat ze worden gefuseerd.
• Validatie op Meerdere Benchmarks: Het systeem is geëvalueerd op de officiële NTIRE 2026 testset en een reproduceerbare set van 12 synthetische thermische samples afgeleid van het Caltech Aerial RGB-Thermal dataset.

Resultaten

• Kwantitatieve Prestaties:
  • Op de officiële NTIRE 2026 verborgen testset behaalde het systeem een score van 54.23 (gedefinieerd als $PSNR + 20 \times SSIM$).
  • Op de Caltech-evaluatieset (4x schaalvergroting) overtrof de gefuseerde output beide individuele takken consistent in PSNR, SSIM en de totale Score.
  • Voorbeeld (Caltech): Fusion (56.5128) > HAT (56.5070) > MambaIRv2 (56.4690) > Bicubic (55.6982).
• Kwalitatieve Prestaties:
  • Visuele vergelijkingen tonen aan dat de gefuseerde output de scherpe randen van HAT behoudt (cruciaal voor objectidentificatie in infrarood) terwijl het de globale ruimtelijke coherentie en radiometrische stabiliteit van MambaIRv2 behoudt.
  • De fusie resulteert in reconstructies die scherper zijn dan MambaIRv2 alleen, maar globaal consistenter dan HAT alleen.

Betekenis en Conclusie

Het paper demonstreert dat voor infrarood super-resolutie een complementaire benadering superieur is aan het kiezen van één enkele backbone. De combinatie van een lokaal sterke transformer-herstel (voor randen) met een globaal stabiel state-space model (voor structuur en stabiliteit) is een effectieve strategie.

De studie benadrukt dat bij thermische beelden trouwe structurele herstel belangrijker is dan agressieve textuurgeneratie. De voorgestelde methode biedt een eenvoudige, interpreteerbare en reproduceerbare oplossing die hoge prestaties levert zonder complexe geleerde fusiemechanismen, wat waardevol is voor toepassingen zoals luchtwaarneming, thermische monitoring en autonome systemen.