Missing No More: Dictionary-Guided Cross-Modal Image Fusion under Missing Infrared

Dit artikel introduceert een dictionary-gestuurd raamwerk dat ontbrekende infraroodbeelden overbrugt door visuele informatie in een coëfficiënt-domein te vertalen en te fusioneren, waardoor interpreteerbare en kwalitatief betere resultaten worden bereikt zonder oncontroleerbare pixelgeneratie.

De kern

Stel je voor dat je een camera hebt die twee soorten ogen heeft: één dat ziet zoals wij (zichtbaar licht) en één dat warmte ziet (infrarood). Samen kunnen ze 's nachts of in de mist heel goed zien. Maar wat als die warmte-ogen kapot zijn of ontbreken? Dan heb je alleen maar het zichtbare beeld, en dat is vaak niet genoeg om veilig te navigeren.

Meer dan de helft van de huidige computersystemen probeert dit op te lossen door te gokken. Ze proberen een compleet nieuwe warmte-afbeelding te "dromen" (genereren) op basis van het zichtbare beeld. Het probleem? Dit is vaak als het proberen te raden van een geheime recept door alleen naar de ingrediënten te kijken. Het resultaat is vaak rommelig, onbetrouwbaar en de computer "hallucineert" details die er niet zijn.

De auteurs van dit papier, Yafei Zhang en zijn team, hebben een slimmere manier bedacht. Ze noemen hun methode "Missing No More" (Niets meer missen). In plaats van te gokken, gebruiken ze een woordenboek en een vertaler.

Hier is hoe het werkt, uitgelegd met een simpele analogie:

1. Het Gedeelde Woordenboek (De Basis)

Stel je voor dat zowel het zichtbare beeld als het warmte-beeld zijn geschreven in een vreemde taal. Normaal gesproken hebben ze twee verschillende woordenboeken.
Deze onderzoekers hebben echter één gemeenschappelijk woordenboek gemaakt. Ze hebben geleerd hoe ze beide soorten beelden kunnen vertalen naar een set van simpele bouwstenen (woorden).

• De truc: Een "boom" in het zichtbare beeld en een "hete boom" in het warmte-beeld worden beide vertaald naar hetzelfde woord in dit woordenboek. Dit zorgt ervoor dat de computer precies weet hoe de twee werelden met elkaar verbonden zijn, zonder dat ze hoeven te gokken.

2. De Vertaler (Van Zichtbaar naar Warmte)

Nu is de warmte-afbeelding verdwenen. Wat doen we?
In plaats van een hele nieuwe afbeelding te tekenen (wat vaak fout gaat), kijken we alleen naar de bouwstenen van het zichtbare beeld.

• De computer zegt: "Oké, dit woord betekent 'auto' in het zichtbare taal. In het woordenboek staat dat 'auto' ook een specifiek warmte-woord heeft."
• De computer vertaalt de bouwstenen van het zichtbare beeld direct naar de bouwstenen van het warmte-beeld. Dit is veel veiliger dan het tekenen van een hele nieuwe foto, omdat het gebaseerd is op de regels van het woordenboek.

3. De Slimme Editor (De LLM)

Soms is de vertaling niet helemaal perfect. Misschien is de auto in de warmte-afbeelding net iets heter dan verwacht.
Hier komt een AI-taalmodel (zoals een slimme chatbot) in beeld, maar niet om de hele foto te maken. Het fungeert als een redacteur.

• De redacteur kijkt naar de vertaling en zegt: "Hé, dit woord voor 'auto' moet net iets warmer klinken."
• De computer past dan heel subtiel de bouwstenen aan. Dit zorgt voor een natuurlijk resultaat zonder rare artefacten of "geestelijke" fouten.

4. De Bouwmeester (Het Samenvoegen)

Tot slot neemt de computer de originele zichtbare bouwstenen (voor de scherpe details) en de vertaalde warmte-bouwstenen (voor de hitte-informatie) en plakt ze samen met de hulp van het woordenboek.
Het resultaat is één perfecte foto: scherp als daglicht, maar met de warmte-informatie van 's nachts, alsof de warmte-ogen nooit weg waren geweest.

Waarom is dit zo cool?

• Geen gokken: Andere methoden proberen de hele foto te "dromen", wat vaak leidt tot onrealistische beelden. Deze methode bouwt het op van de grond af met bewezen bouwstenen.
• Sneller en lichter: Omdat ze geen zware generatieve processen nodig hebben, is het sneller en verbruikt het minder energie.
• Betrouwbaar: Of je nu een robot bestuurt, een auto rijdt of een camera gebruikt voor beveiliging, dit systeem geeft je de warmte-informatie die je nodig hebt, zelfs als de sensor kapot is.

Kortom: In plaats van te proberen een nieuwe wereld te creëren uit het niets, gebruiken ze een slim woordenboek om de wereld die je wel hebt, te vertalen naar de wereld die je missen. Het is als het hebben van een perfecte vertaler die je laat zien wat er achter de muur zit, zonder dat je de muur hoeft in te breken.

Technische samenvatting

Probleemstelling

Infrarood (IR) en zichtbaar (VIS) beeldfusie is cruciaal voor toepassingen zoals surveillance, robotica en autonome systemen. De meeste bestaande methoden gaan ervan uit dat beide modaliteiten (IR en VIS) tijdens zowel training als inferentie beschikbaar zijn. In realistische scenario's kan de IR-modality echter ontbreken (bijvoorbeeld door sensorstoring of beperkingen bij de testfase).

Bestaande oplossingen voor dit probleem vertrouwen vaak op pixel-ruimtelijke generatieve modellen (zoals GANs of Diffusion-modellen) om een IR-afbeelding te genereren op basis van een VIS-afbeelding, waarna fusie plaatsvindt. Deze benaderingen hebben echter ernstige nadelen:

1. Gebrek aan controleerbaarheid: Pixel-ruimtelijke generatie is een "black-box" proces dat moeilijk te sturen is.
2. Interpretabiliteit: Het ontbreekt aan fysieke consistentie, wat leidt tot onstabiele thermische cues, verlies van structurele details of hallucinaties (verzonnen patronen).
3. Instabiliteit: De resultaten kunnen variëren en zijn vaak niet reproduceerbaar.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat de fusie uitvoert in een coëfficiënt-domein (coefficient-domain) in plaats van in de pixelruimte. Dit wordt mogelijk gemaakt door een gedeelde convolutiedictie (shared convolutional dictionary). Het proces volgt een gesloten lus van: Encoderen → Transfereren → Fuseren → Reconstrueren.

Het raamwerk bestaat uit drie kerncomponenten:

1. Joint Shared-dictionary Representation Learning (JSRL):

   • Dit module leert een uniek, gedeeld "atoom-ruimte" (atom space) waarin zowel IR- als VIS-beelden worden geprojecteerd.
   • Het gebruikt een diep subnetwerk (CoeNet en DicNet) om gezamenlijk de dictie (D) en de coëfficiënten (S) te leren, waarbij het de reconstructiefouten van beide modaliteiten minimaliseert.
   • Dit creëert een interpreteerbare basis voor de daaropvolgende stappen.

2. VIS-Guided IR Inference (VGII):

   • In plaats van een IR-afbeelding direct te genereren, worden de coëfficiënten van het VIS-beeld omgezet naar pseudo-IR-coëfficiënten binnen het gedeelde atoom-ruimte.
   • Semantische prior: Een bevroren Large Language Model (LLM) fungeert als een "zwakke semantische prior". Het analyseert de input en de initiële pseudo-IR reconstructie en levert lineaire modulaties (γ en β) die de coëfficiënten verfijnen. Dit verbetert de thermische dekking zonder pixel-ruimtelijke artefacten toe te voegen.
   • Het proces is een één-staps gesloten lus met een iteratieve verfijning.

3. Adaptive Fusion via Representation Inference (AFRI):

   • De VIS-coëfficiënten en de afgeleide IR-coëfficiënten worden samengevoegd in een adaptief fusienetwerk (Reasoning Fusion Network).
   • Dit netwerk gebruikt venster-attentie (window attention) en convolutiemixing op atoom-niveau om een gewogen fusie te maken. Atomen die structurele details vertegenwoordigen, vertrouwen meer op VIS, terwijl thermische atomen meer vertrouwen op de afgeleide IR.
   • De gefuseerde coëfficiënten worden vervolgens gereconstrueerd naar het uiteindelijke beeld met behulp van de gedeelde dictie.

Belangrijkste Bijdragen

• Dictionary-Guided Coëfficiënt-Domein Paradigma: De eerste framework die een gedeelde dictie leert en alle bewerkingen (encoderen, transfer, fusie, reconstructie) uitvoert binnen het coëfficiënt-domein. Dit sluit de lus buiten de pixelruimte en verhoogt de interpreteerbaarheid.
• Controleerbare Voltooiing met Zwakke Semantische Prior: Het introduceren van een LLM als lichte semantische prior die alleen lineaire modulatie toepast op coëfficiënten. Dit zorgt voor stabiele en controleerbare thermische voltooiing zonder zware generatieve koppen.
• Eenvoudige Training en Lage Overhead: Het systeem vereist geen echte IR-beelden tijdens inferentie (alleen VIS en de dictie). Training gebruikt reconstructie- en consistentieverliezen, zonder complexe adversarial of diffusion-mechanismen, wat het systeem efficiënt en reproduceerbaar maakt.

Resultaten

De methode is getest op meerdere datasets (FLIR, MSRS, KAIST) en vergeleken met state-of-the-art methoden (zoals U2Fusion, CDDFuse, TarDAL, etc.), waarbij de concurrenten vaak beide modaliteiten nodig hebben of eerst IR genereren.

• Kwaliteit van Fusie: De methode presteert consistent beter of vergelijkbaar met methoden die gebruikmaken van echte IR-beelden op metrics zoals gemiddelde gradiënt (AG), contrast-entropie (CE), en ruimtelijke frequentie (SF). Visueel tonen de resultaten betere detailtrouw, thermische representatie en balans in helderheid.
• Downstream Taken: In taken zoals objectdetectie (YOLOv5) en semantische segmentatie (SegFormer) behaalde de methode prestaties die vergelijkbaar waren met volledige modale fusie, en in sommige gevallen zelfs beter. Dit bewijst dat de gegenereerde thermische informatie bruikbaar is voor machine vision.
• Efficiëntie: In vergelijking met methoden die IR genereren (zoals Diffusion-modellen of GANs), heeft de voorgestelde methode aanzienlijk minder leerbare parameters, lagere FLOPs (rekenkracht) en kortere inferentietijd, terwijl het een superieure kwaliteit behoudt.

Significantie

Dit werk markeert een paradigmaverschuiving in cross-modale beeldfusie onder onvolledige data-omstandigheden. Door af te stappen van pixel-ruimtelijke generatie en over te stappen naar een interpreteerbaar, dictie-gestuurd coëfficiënt-domein, lost het de problemen van instabiliteit en gebrek aan controle op die kenmerkend zijn voor huidige generatieve methoden. Het biedt een robuuste, efficiënte en reproduceerbare oplossing voor scenario's waar infrarood sensoren ontbreken, wat van groot belang is voor de betrouwbaarheid van autonome systemen en beveiliging in diverse omgevingen.