FusionRegister: Every Infrared and Visible Image Fusion Deserves Registration

Het artikel introduceert FusionRegister, een efficiënte en robuuste methode die visuele priors gebruikt om misregistratie direct in het fusieproces van infrarood- en zichtbare beelden op te lossen, waardoor uitgebreide voorafgaande registratie overbodig wordt en de kwaliteit van bestaande fusietechnieken wordt behouden.

De kern

FusionRegister: De "Post-it" die je foto's weer perfect laat samensmelten

Stel je voor dat je twee verschillende soorten camera's hebt: één die ziet zoals wij (zichtbaar licht) en één die warmte ziet (infrarood). Als je deze twee foto's samenplakt, krijg je een superieure afbeelding: je ziet zowel de details van een gebouw als de warmte van een mens erachter. Dit heet beeldfusie.

Maar hier zit een groot probleem: deze twee camera's staan vaak net iets scheef ten opzichte van elkaar. Het is alsof je twee raampjes in een muur hebt die niet perfect op elkaar zijn afgestemd. Als je de beelden nu simpelweg samenvoegt, krijg je een dubbel beeld, een "geest" of een wazige rommel.

Tot nu toe probeerden onderzoekers dit op te lossen door de camera's vooraf perfect op elkaar te gaan richten (registreren). Dat is als proberen twee puzzels perfect op elkaar te leggen voordat je ze in elkaar zet. Het kost veel tijd, veel rekenkracht, en als de puzzelstukjes een beetje vervormd zijn, lukt het vaak niet.

FusionRegister is een slimme nieuwe manier om dit probleem op te lossen. In plaats van te proberen alles van tevoren perfect te richten, doen ze het slim na het samenvoegen.

Hier is hoe het werkt, vertaald naar alledaagse analogieën:

1. De "Na-klus" in plaats van de "Voor-klus"

Stel je voor dat je een collage maakt van twee krantenknipsels.

• De oude manier: Je probeert de knipsels eerst met een liniaal en lijm perfect op elkaar te lijmen voordat je ze op het papier plakt. Als je een foutje maakt, moet je alles opnieuw doen.
• FusionRegister: Je plakt de knipsels eerst ruw op het papier (de fusie). Dan kijk je waar het mis is. Je ziet dat de randen van een auto net niet matchen. Nu gebruik je een speciale tool om alleen die specifieke randen bij te werken. De rest van de foto blijft perfect zoals hij was.

Dit is veel sneller en slimmer, omdat je niet de hele foto hoeft te herschrijven, maar alleen de plekken waar het misgaat.

2. De "Visuele Gids" (Visual Priors)

Hoe weet de computer waar hij moet bijwerken? Hij gebruikt een "visuele gids".
Stel je voor dat je een schilderij bekijkt en je ziet dat de boom links een beetje verschoven is ten opzichte van de grond. Je hersenen zeggen direct: "Ah, daar klopt iets niet."
FusionRegister doet hetzelfde. Het kijkt naar het resultaat van de samengevoegde foto en zegt: "Oké, de meeste dingen zien er goed uit, maar in dit stukje hier (waar de warmte en het zichtbare beeld niet matchen) moet ik even schuiven." Het negeert de rest van de foto, wat enorm veel tijd bespaart.

3. De "Twee-Weg Straat" (Bi-directional Warping)

Soms is het moeilijk om te weten welke kant je moet schuiven. Moet je de infraroodfoto naar links duwen, of de zichtbare foto naar rechts?
FusionRegister is slim genoeg om in beide richtingen te kijken. Het is alsof je twee mensen hebt die een zware kast proberen te verplaatsen: één duwt van links, één van rechts. Zo voorkomen ze dat de kast scheef gaat staan of dat er gaten ontstaan in het beeld. Dit zorgt voor een heel stabiel en natuurlijk resultaat.

4. De "Detail-hersteller" (Modality Retainment Block)

Wanneer je beelden schuift of verwarmt, kunnen er soms kleine details verloren gaan (alsof je een foto een beetje verwarmt en de kleuren wat vervagen).
FusionRegister heeft een speciale "detail-hersteller" ingebouwd. Het is als een restaurateur die na het verschuiven van de muurschildering direct de verf op de plekken waar het wat bleek is, weer opfrist. Zo blijft de foto scherp en rijk aan details, zelfs na de correctie.

Waarom is dit zo belangrijk?

• Het werkt met alles: Of je nu een oude methode of een heel nieuwe, geavanceerde AI-methode gebruikt om foto's te maken, FusionRegister werkt er gewoon bovenop. Het is als een universele "plug-in" die je op elke camera-app kunt zetten.
• Het is robuust: Zelfs als de camera's heel erg scheef staan of als de foto's wazig zijn door beweging, blijft het resultaat goed.
• Het is snel: Omdat het alleen de problemen oplost en niet de hele foto opnieuw berekent, gaat het veel sneller dan de oude methoden.

Kortom:
FusionRegister is de slimme assistent die zegt: "Laten we eerst de foto maken, en dan kijken we even waar de randen niet matchen en maken we die alleen maar even recht." Hierdoor krijgen we scherpere, betere beelden voor toepassingen zoals nachtzicht, zelfrijdende auto's en reddingsoperaties, zonder dat de computer urenlang hoeft te rekenen.

Technische samenvatting

Probleemstelling

De fusie van infrarood (IR) en zichtbare (Visible) beelden is cruciaal voor real-world perceptie, maar wordt vaak gehinderd door ruimtelijke misregistratie tussen de twee sensoren. Bestaande methoden voor registratie-gebaseerde fusie lijden aan drie fundamentele beperkingen:

1. Afhankelijkheid van kunstmatige vervormingen: Veel methoden worden getraind met synthetische vervormingen, wat leidt tot falen bij echte, niet-vervormde invoer.
2. Gebrek aan interactie met fusiemethoden: Ze opereren vaak als een voorafgaande stap ("register-then-fuse"), wat de inherente eigenschappen van geavanceerde fusiemodellen (zoals CNN's, Transformers of Diffusiemodellen) kan verstoren.
3. Inefficiëntie: Ze vereisen uitgebreide voorverwerking en globale registratie, zelfs wanneer alleen lokale gebieden misaligneren. Bovendien negeren ze het feit dat niet alle kenmerken in het gefuseerde beeld behouden blijven; misregistratie beïnvloedt voornamelijk de gedeelde modale gebieden, niet de unieke modale gebieden.

Methodologie: FusionRegister

De auteurs stellen FusionRegister voor, een universeel post-registratiekader dat direct op het resultaat van de beeldfusie werkt, geleid door visuele priors. In plaats van de invoerbeelden vooraf te registreren, corrigeert het de misregistratie na de fusie.

Het kader bestaat uit drie samenwerkende fasen:

1. Misregistratie Lokalisatie (ML):

   • Het systeem schat een waarschijnlijkheidskaart ($M$) en een vervormingsveld ($\phi$) die de locatie en grootte van de misregistratie aangeven.
   • Dit gebeurt hiërarchisch (van grof naar fijn) om ruimtelijke coherentie te waarborgen en geïsoleerde vervormingen te onderdrukken.
   • In tegenstelling tot eerdere werken, vertrouwt dit niet op globale supervisie, maar gebruikt het visuele priors om lokale misregistraties te detecteren.

2. Locatie Registratie (LR) met Bi-directionele Warping:

   • Om scheuren of overcompensatie te voorkomen die vaak optreden bij eenrichtings-warping, past FusionRegister een bi-directionele warping-strategie toe.
   • Het combineert forward en reverse correcties symmetrisch om vervormingen te stabiliseren en de structuur van goed uitgelijnde gebieden te beschermen.

3. Modality Retainment Block (MRB):

   • Ruimtelijke warping kan textuur en contrast verzwakken. De MRB is een lichtgewicht module die gebruikmaakt van gated MLP's (gMLP) om deze details te herstellen.
   • Het bevat een Correlatielaag die lokale correspondenties meet tussen de gewarpde fusie-features en de bronfeatures (IR en Visible).
   • Het integreert dual attention-mechanismen:
     • Visible-modality attention: Versterkt semantische consistentie via kanaal-gewichting.
     • Infrared-modality attention: Benadrukt hoogfrequente details via ruimtelijke fusie.
   • Een residu-bias kaart wordt voorspeld om de uiteindelijke output te verfijnen.

Verliesfunctie:
De training wordt gestuurd door een gecombineerde verliesfunctie die vier componenten minimaliseert:

• Edge Loss ($L_e$): Voor structuurgrenzen (gebruikmakend van Difference of Gaussians).
• Global Spatial Loss ($L_g$): Voor pixel-ruimtelijke consistentie.
• Frequency Loss ($L_f$): Voor het behoud van hoogfrequente texturen (via FFT).
• Detail Loss ($L_d$): Specifiek gericht op de gemisregistreerde gebieden (via Sobel-operator).

Belangrijkste Bijdragen

1. Nieuw Post-Registratie Paradigma: Een methode die visuele priors gebruikt om misregistratie te corrigeren na de fusie, wat de kwaliteit van de fusie behoudt terwijl de registratie-accuraatheid aanzienlijk wordt verbeterd.
2. Universeel Kader: FusionRegister kan naadloos worden geïntegreerd met diverse bestaande fusiemethoden (CNN, GAN, Transformer, Diffusion, Mamba) met minimale rekenkosten.
3. Robuust Misrepresentatie-Leren: Een mechanisme dat specifiek is ontworpen voor real-world scenario's, waarbij het leert om misregistratie te lokaliseren en te corrigeren zonder afhankelijk te zijn van synthetische vervormingen.
4. Nieuwe Evaluatiestandaard: Het gebruik van het Segment Anything Model (SAM) voor het genereren van onbevooroordeelde structurele maskers, wat een eerlijkere en fijnkorrelige evaluatie van registratie-accuraatheid mogelijk maakt dan bestaande synthetische methoden.

Resultaten

De methode is getest op drie datasets (MSRS, M3FD, LLVIP) en geëvalueerd in vergelijking met zes bestaande registratie-fusiemethoden en vijf state-of-the-art fusiemodellen.

• Algemene Toepasbaarheid: FusionRegister verbeterde de prestaties van alle geteste fusiemodellen (van CNN tot Mamba) consistent. Het behield de sterke punten van de oorspronkelijke methoden terwijl het misalignement corrigeerde.
• Registratie-accuraatheid: Er werd een gemiddelde verbetering van 5% in Intersection over Union (IoU) en PR (Precision-Recall) waargenomen ten opzichte van de basislijnen.
• Robuustheid: In tegenstelling tot bestaande methoden die vaak falen bij lage textuur of nachtelijke scènes, leverde FusionRegister stabiele resultaten op onbekende data zonder synthetische vervormingen.
• Efficiëntie: Hoewel het een extra stap toevoegt, is het computatiekosten laag (2.94M parameters, ~0.019s per beeld op MSRS), wat een goede afweging biedt tussen snelheid, kwaliteit en generalisatie.
• Ablatiestudies: Deze bevestigden dat de MRB essentieel is voor het herstellen van details en dat bi-directionele warping superieur is aan eenrichtings-warping voor het behoud van structurele integriteit.

Beteeknis

FusionRegister vertegenwoordigt een verschuiving in het paradigma van multimodale beeldfusie. In plaats van te proberen perfect uitgelijnde invoer te forceren via zware voorverwerking, erkent het dat misregistratie een lokaal fenomeen is dat efficiënter na de fusie kan worden opgelost. Dit maakt het mogelijk om de kracht van geavanceerde, diepe fusiemodellen volledig te benutten zonder dat deze worden beperkt door de kwaliteit van de sensorregistratie. Het biedt een robuuste, schaalbare oplossing voor real-world toepassingen waar perfecte sensoruitlijning vaak niet haalbaar is.