💻 computer science

FMRFusion: Frequency-Aware Multi-View Representation Learning for Heterogeneous Image Fusion

FMRFusion is een innovatief frequentiebewust multi-view representatieleernetwerk dat de fusie van infrarode en zichtbare beelden verbetert door multi-schaal structurele perceptie, bilineaire frequentiedekompositie, cross-view complementaire interactie en flow matching te integreren om effectief onderscheidende modale kenmerken te vangen en hoogwaardige samengestelde beelden te produceren, met name in scenario's bij nacht.

Oorspronkelijke auteurs: Tao Zhoua, Yunlong Liu, Qinghui Chen, Zekai Zhang, Minlong Sun, Changlin Biana, Dagang Li, Wenmin Wang, Jinglin Zhang

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tao Zhoua, Yunlong Liu, Qinghui Chen, Zekai Zhang, Minlong Sun, Changlin Biana, Dagang Li, Wenmin Wang, Jinglin Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de perfecte foto probeert te maken van een scène in de nacht. Je hebt twee camera's:

De "Nachtzicht"-camera (Infrarood): Deze ziet warmte. Het kan een persoon of een auto in totale duisternis opsporen omdat ze warm zijn. Echter, de foto die het maakt, ziet eruit als een wazig, grijs spook. Je kunt zien waar dingen zijn, maar je kunt niet zien hoe ze eruitzien (geen kleuren, geen texturen).
De "Daglicht"-camera (Zichtbaar): Deze ziet licht en kleur. Als er een straatlantaarn is, legt het prachtige details, kleuren en texturen vast. Maar als het te donker is, bestaat de foto uit zwarte ruis.

Het Doel: Combineer deze twee foto's tot één "Superfoto" die de helderheid heeft van de daglichtcamera en het vermogen om in het donker te zien van de nachtzichtcamera.

Het Probleem: Eerdere methoden probeerden deze twee foto's samen te voegen met één enkel, bot instrument. Het was alsoal proberen olie en water te mengen door er simpelweg met een lepel in te roeren. Het resultaat was vaak dat belangrijke details (zoals de textuur van de lak van een auto) verloren gingen, of dat het systeem in de war raakte over wat een persoon was en wat gewoon achtergrondruis was.

De Oplossing: FMRFusion
De auteurs van dit paper hebben een nieuw, slimmer systeem gebouwd genaamd FMRFusion. Denk aan een meesterkok die de ingrediënten niet alleen mengt; hij scheidt ze, proeft ze individueel en combineert ze dan perfect. Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Frequentie"-filter (De soep scheiden)

Stel je voor dat de twee foto's een kom soep zijn. Sommige delen zijn de "bouillon" (het grote plaatje, de achtergrond, de algemene vorm), en sommige delen zijn de "kruiden en stukjes" (de kleine details, randen en texturen).

De oude manier: Je probeerde de hele soep in één keer te mengen.
De FMRFusion-manier: Het gebruikt een speciale zeef (genaamd Frequency Decomposition) om de bouillon van de kruiden te scheiden.
- Lage frequentie (De Bouillon): Dit legt de gedeelde achtergrond vast (zoals de weg of de lucht). Omdat beide camera's dezelfde weg zien, wordt dit deel voorzichtig gecombineerd.
- Hoge frequentie (De Kruiden): Dit legt de unieke details vast. De "Nachtzicht"-camera heeft de "warmtekruiden" (de lichaamswarmte van een persoon), en de "Daglicht"-camera heeft de "textuurkruiden" (de glanzende lak van een auto). FMRFusion houdt deze apart zodat ze niet verloren gaan.

2. De "Dual-Branch" Keuken (Twee koks, één gerecht)

In plaats van één kok die alles probeert te doen, heeft FMRFusion twee aparte kookstations (branches):

Kok A kijkt alleen naar de Nachtzicht-foto.
Kok B kijkt alleen naar de Daglicht-foto.
Ze bereiden hun ingrediënten apart voor, zodat de "warmte" de "kleur" niet verpest en andersom. Pas aan het einde brengen ze hun gerechten samen. Dit voorkomt dat de informatie "modderig" of verwarrend wordt.

3. De "Cross-View" Handdruk

Zodra de ingrediënten zijn voorbereid, moeten de twee koks met elkaar praten.

De paper noemt dit Cross-View Complementary Interaction.
Stel je voor dat Kok A (Nachtzicht) zegt: "Hé, er is daar een persoon in het donker!" en Kok B (Daglicht) zegt: "Begrepen! Ik zal ervoor zorgen dat hun jas er gedetailleerd en kleurrijk uitziet."
Ze delen deze specifieke informatie expliciet, zodat de uiteindelijke afbeelding precies weet waar de persoon is én hoe die eruitziet.

4. De "Polijst"-stap (Flow Matching)

Zelfs nadat de ingrediënten zijn gemengd, kan de foto er nog wat ruw of "grof" uitzien.

De paper gebruikt een techniek genaamd Flow Matching. Denk aan dit als een high-tech fotobewerker die de "conceptversie" neemt en deze stap voor stap gladstrijkt.
Het leert hoe het een wazige, kwalitatief minder goede schets kan transformeren in een scherp, high-definition meesterwerk, waardoor het eindresultaat er natuurlijk en scherp uitziet.

Wat hebben ze bewezen?

De auteurs hebben dit "Superkok"-systeem getest op veel verschillende datasets:

Nachtscènes: Ze lieten zien dat hun methode helderdere, natuurlijker uitziende nachtfoto's maakt dan eerdere methoden, waarbij zowel de warmtesignaturen als de texturen behouden blijven.
Medische Beelden: Ze probeerden het op MRI- en PET-scans (die als een soort "medisch nachtzicht" en "medisch daglicht" fungeren). Het combineerde succesvol de structurele details van de ene scan met de functionele details van de andere.
Multi-focus Foto's: Ze testten het op foto's waarbij sommige delen scherp zijn en andere wazig. Hun methode slaagde erin om het hele beeld scherp te maken.
Objectdetectie: Ze gebruikten hun "Superfoto" om een computer te helpen mensen en auto's te vinden. De computer vond hen nauwkeuriger met de FMRFusion-foto dan met alleen de infrarood- of de zichtbare foto.

Samenvattend:
FMRFusion is een slim systeem dat stopt met proberen twee verschillende soorten foto's direct te laten versmelten. In plaats daarvan scheidt het ze in "grote plaatjes" en "kleine details", laat ze individueel uitblinken, helpt ze om hun beste kenmerken te delen, en polijst het eindresultaat om een perfecte, allesziende afbeelding te creëren.

Technische Samenvatting: FMRFusion

Probleemstelling

Infra-rood en zichtbaar beeldfusie (IVIF) beoogt een samengestelde afbeelding te genereren die significante doelinformatie uit thermische straling behoudt, terwijl gedetailleerde texturen van gereflecteerd licht worden bewaard. Ondanks recente vooruitgang kampen bestaande methoden met drie primaire beperkingen:

Onvolledige Feature-ontkoppeling: Traditionele CNN-gebaseerde en Multi-Scale Transform (MST) methoden passen vaak identieke operatoren toe op beide modaliteiten, wat leidt tot het verlies van modaliteit-specifieke kenmerken door gedeelde codering-pipelines.
Local-Global Feature Tradeoff: CNN's blinken uit in lokale context, maar worstelen met langetermijn-afhankelijkheden, terwijl Vision Transformers globale modellering bieden tegen een prohibitieve computationele kostprijs.
3.Suboptimale Fusiemechanismen: Veel deep learning-benaderingen voegen bronafbeeldingen voortijdig samen in een single-path netwerk, wat leidt tot informatie-interferentie in plaats van gestructureerde feature-interactie.

Verder hebben huidige methoden vaak moeite met het gezamenlijk modelleren van globale contextuele informatie en het behouden van fijnmazige details, met name bij het ontkoppelen van complementaire representaties over heterogene modaliteiten in scenario's met lage beeldkwaliteit.

Methodologie

De auteurs stellen FMRFusion voor, een frequentie-bewust multi-view representation learning netwerk dat is ontworpen om deze uitdagingen aan te pakken. De architectuur integreert Convolutional Neural Networks (CNN's) en Transformers binnen een dual-branch hybride framework.

1. Dual-Branch Hybride Architectuur

Het netwerk maakt gebruik van onafhankelijke branches voor infra-rode en zichtbare inputs om feature-interferentie tijdens de codering te voorkomen:

Shallow Feature Extraction: Een Shallow DRSformer Encoder (SDE) extraheert initiële features. De DRSformer block maakt gebruik van een leerbare parameter $K$ om de sparsiteit dynamisch te controleren, waardoor irrelevante informatie tijdens de feature-interactie wordt gefilterd.
Feature Decompositie: De geëxtraheerde features worden gedecomposeerd in Low-Frequency (Base) en High-Frequency (Detail) componenten:
- Transformer Blocks (TRB): Gebruiken ruimtelijke self-attention (specifiek de LT block) om low-frequency informatie te extraheren en langetermijn-afhankelijkheden te modelleren.
- Multi-Scale Structural Perception Module (MS-SPM): Ontworpen om fijnmazige lokale structuren te vangen. Het bestaat uit twee sub-modules:
  - Gradient-Aware Block (GAB): Een ResBlock variant die gradiënt-magnitudes berekent met behulp van Sobel-operators om structurele randen te behouden.
  - Enhanced Attention Block (EAB): Decomponeert grote convolutionele kernels (bijv. $21\times21$ ) in kleinere depthwise kernels ( $5\times5$ of $7\times7$ ) om efficiënt rijke contextuele informatie te vangen.

2. Cross-View Complementary Interaction (CVCI)

Om de relatie tussen infra-rode thermische structuren en zichtbare kleur/textuur expliciet te modelleren, is een Lighten Cross-Attention (LCA) module geïntroduceerd in de fusielaag:

Cross-Attention Block (CAB): Gebruikt een symmetrische dual-branch structuur waarbij de ene branch queries genereert terwijl de tegenovergestelde modaliteit keys en values levert, wat verfijning via complementaire informatie waarborgt.
Intensity Enhancement & Color Denoising: Gebaseerd op de Retinex-theorie, decomponeert de module features in illuminatie- en reflectiecomponenten om de infra-rode intensiteit te versterken en chromatische ruis in zichtbare features te onderdrukken.

3. Flow-Matching Gebaseerde Verfijning

Een semantisch-gestuurde Flow Matching module wordt ingezet als een post-processing verfijningsstrategie (Fase III):

Mechanisme: Deze behandelt de grove gefuseerde afbeelding ( $F_1$ ) en semantische maskers als een conditionele prior. Een conditionele U-Net voorspelt een velocity field om een Gaussian noise prior te transporteren naar de doelstelling van een hoogwaardige representatie.
Doel: Dit iteratieve proces verfijnt de gefuseerde features progressief, waarbij de transformatie wordt geleerd van grove data naar hoogwaardige representaties om getrouwheid en perceptuele kwaliteit te verbeteren zonder dat ground-truth gefuseerde afbeeldingen nodig zijn (self-supervised).

4. Drie-Fasen Trainingsstrategie

Het model wordt getraind in drie afzonderlijke fasen om verschillende aspecten van het fusieproces te optimaliseren:

Fase I (Decompositie): Optimaliseert feature-extractie en decompositie met behulp van reconstructie-, decompositie- en gradiënt-consistentie verliezen.
Fase II (Fusie): Richt zich op intensiteit-behoud en feature-fusie.
Fase III (Versterking): Gebruikt Flow Matching loss naast intensiteit, gradiënt en semantische consistentie constraints om de uiteindelijke output te verfijnen.

Belangrijkste Bijdragen

Het artikel vat de belangrijkste bijdragen als volgt samen:

Dual-Branch Hybride Architectuur: Combineert de efficiëntie van CNN's met de globale modellering van Transformers binnen onafhankelijke branches om feature-interferentie te voorkomen.
Frequentie-Ontkoppeld Fusiemechanisme: Introduceert een nieuwe module die expliciet gedeelde structurele informatie (low-frequency) en modaliteit-specifieke details (high-frequency) scheidt en versterkt.
Flow Matching Gebaseerde Verfijning: Stelt een paradigma voor om gefuseerde features iteratief te verbeteren door grove data te mappen naar hoogwaardige representaties, wat de getrouwheid en robuustheid verbetert.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op vier infra-rood-zichtbaar datasets (MSRS, TNO, Roadscene, M3FD) en gevalideerd op medische beeldfusie (MRI-CT, MRI-PET, MRI-SPECT) en multi-focus beeldfusie taken.

Kwantitatieve Prestaties: FMRFusion behaalde superieure of state-of-the-art prestaties over meerdere metrieken (Entropy, Standard Deviation, Spatial Frequency, Visual Information Fidelity, etc.) op alle geteste datasets. Op de MSRS dataset behaalde het bijvoorbeeld de hoogste scores in EN (6.907), SD (48.539), SF (13.486) en AG (4.538).
Kwalitatieve Prestaties: Visuele vergelijkingen toonden aan dat de methode effectief thermische straling integreert met textuurdetails, waarbij achtergrondinformatieverlies wordt geminimaliseerd en voorgronddoelen beter worden onderscheiden dan concurrenten zoals SwinFusion, CDDFuse en TDFusion.
Generalisatie: Het model vertoonde consistente prestaties wanneer het direct werd toegepast op medische beeldfusie en multi-focus fusie taken zonder hertraining, wat de cross-task generalisatie valideert.
Downstream Taak: In objectdetectie-experimenten met YOLOv5 op de MSRS dataset leverden gefuseerde beelden geproduceerd door FMRFusion hogere mAP-scores voor de categorieën "Persoon" en "Auto" vergeleken met single-modality inputs en andere fusiemethoden.

Betekenis en Claims

Het artikel claimt dat FMRFusion kritieke uitdagingen in heterogene datafusie aanpakt door:

Informatieverlies te verminderen: Expliciete high/low-frequency decompositie voorkomt het verlies van structurele en intensiteitsdetails dat gebruikelijk is bij single-branch architecturen.
Lokale en Globale Modellering te Balanceren: De hybride strategie integreert gradiënt-gevoelige filtering met globale dependency modeling, wat zorgt voor robuuste structurele consistentie en verfijning van fijne details, zelfs onder gedegradeerde beeldvormingsomstandigheden.
Cross-View Interactie te Versterken: De Cross-View Complementary Interaction Module faciliteert expliciet de uitwisseling van complementaire informatie tussen radiatieve intensiteit en gereflecteerde structurele cues.
Progressieve Verfijning: Het Flow Matching mechanisme biedt een continue transformatie voor het verfijnen van gefuseerde resultaten, wat saliency en contrast verbetert.

De auteurs concluderen dat de methode sterke prestaties levert op standaard benchmarks en een consistente cross-task generalisatie vertoont, wat de effectiviteit ervan valideert voor multi-view beeldfusie in complexe scenario's, met name nachtelijke omgevingen.