Technisch overzicht: AdaFuse

1. Probleemstelling

Cross-modale beeldfusie, met name tussen infrarood (IR) en zichtbare (VIS) beelden, staat voor twee primaire uitdagingen:

1. Ongebalanceerde feature-bijdragen: Gefuseerde beelden lijden vaak onder het feit dat één modaliteit (meestal de hoogenergetische infrarood) het proces domineert, wat leidt tot kleurvervorming, oververzadiging en het verlies van zichtbare textuurdetails.
2. Computationele inefficiëntie: Bestaande deep learning-benaderingen, zoals die gebruikmaken van residuele verbindingen of dichte concatenatie, resulteren vaak in een significante toename van de tussenliggende tensordimensies. Dit leidt tot hoge computationele kosten en complexe kanaal-concatenatie-operaties, wat de efficiëntie belemmert zonder noodzakelijkerwijs de fusiekwaliteit te verbeteren.

Daarnaast worstelen traditionele methoden met "highlight contaminatie", waarbij thermische energie van gebieden met een hoge temperatuur ongecontroleerd naar omliggende niet-thermische gebieden diffundeert, wat pseudo-halo-artefacten creëert en de doelwit-salientie verzwakt.

2. Methodologie: AdaFuse

De auteurs stellen AdaFuse voor, een cross-modaal beeldfusie-algoritme gebaseerd op Negative Value Calibration en Adaptive Hierarchical Activation. Het framework is ontworpen om computationele middelen dynamisch toe te wijzen en de diffusie van thermische features nauwkeurig te controleren.

2.1 Adaptive Hierarchical Activation

In plaats van alle beeldfeatures door een uniforme diepe netwerk te verwerken, maakt AdaFuse gebruik van een hiërarchische feature-perceptiestrategie:

• Kanaalanalyse: Het algoritme analyseert de gemiddelde intensiteitsafwijking van de RGB-kanalen in het zichtbare beeld.
• Dynamische routing:
  • Deep Path: Kanalen met een hoge gemiddelde afwijking (wat duidt op significante grijswaarde-informatie of potentiële kleurzweem) worden naar een diep netwerkpad gerouteerd voor extractie van hoogwaardige semantische features.
  • Shallow Path: Kanalen met een lage afwijking worden verwerkt door een ondiep netwerk om fundamentele details te behouden.
• Residuele verbinding: De output van het ondiepe netwerk dient als een verbindingslaag, uitgelijnd met de diep verwerkte features. Dit ontwerp vervangt traditionele ResNet-lagen, vereenvoudigt de kanaal-concatenatie en vermindert het aantal tussenliggende tensors.

2.2 Negative Value Calibration en Diffusion Control

Om het probleem van thermische energiediffusie (highlight contaminatie) aan te pakken, introduceert het artikel een Negative Value Calibration mechanisme:

• Thermische Segmentatie: Een drempelwaarde-segmentatie extraheert een thermisch doelwitmasker ($M_{IR}$) uit het infraroodbeeld.
• Symmetrische Kalibratie: Voor pixels met een hoge temperatuur definieert het algoritme een thermisch venster en een symmetrisch niet-thermisch achtergrondvenster. Het past een Distance-Decay Modulation toe waarbij de versterking van thermische responsen wordt beperkt tot de doelregio.
• Onderdrukking: Pixels in de omliggende niet-thermische achtergrond worden onderworpen aan een symmetrische onderdrukkingsrespons ($1 - \beta \cdot F_{IR}$), waarbij $\beta$ een leerbare onderdrukkingscoëfficiënt is op basis van de afstand tot de thermische grens. Dit voorkomt het "halo"-effect en behoudt duidelijke gradiëntcontrasten tussen thermische en niet-thermische regio's.

2.3 Netwerkarchitectuur en Discriminatoren

• PTS Generator: Een Precise Thermal Source (PTS) module gebruikt een lichtgewicht Convolutional Block Attention Module (CBAM) binnen een lokaal venster om een thermische salientie-masker te genereren, wat het fusieproces stuurt.
• CA-Net Discriminator: Een dual-branch discriminator (RGB-tak en Gradiënt-bewuste tak) incorporeert een Cross-Modal Attention (CA-Net) mechanisme.
  • De zichtbare grijswaarde-features fungeren als de Query ($Q$), terwijl de infrarood-features fungeren als Key ($K$) en Value ($V$).
  • Dit stelt de discriminator in staat om adaptief gradiëntbeperkingen te wegen in infrarood-dominante regio's (bijv. thermische randen), terwijl textuurdetails in zichtbaar-dominante regio's behouden blijven.

2.4 Loss Functions

Het trainingsdoel wordt geleid door een uitgebreid loss-systeem:

• Adaptive Activation Loss ($L_{AAM}$): Balanceert de output tussen infrarood- en zichtbare features dynamisch op basis van lokale inhoudsgewichten ($\alpha$).
• Precise Thermal-Source Segmentation Loss ($L_{mod}$): Bestaat uit drie termen:
  • Center Constraint: Zorgt ervoor dat thermische doelwitten uitgelijnd blijven met infrarood-responsen.
  • Neighborhood Constraint: Beheert de overgangsstructuur rond doelwitten om abrupte veranderingen te voorkomen.
  • Background Constraint: Zorgt ervoor dat verre achtergrondregio's primair vertrouwen op zichtbare features om onnatuurlijke verduistering of overversterking te voorkomen.
• Edge Loss: Versterkt expliciet het gradiëntcontrast bij thermische grenzen.

3. Belangrijkste Bijdragen

1. Adaptieve Computationele Allocatie: De introductie van een hiërarchische activatiestrategie die features routeert op basis van informatiedichtheid, wat de computationele last (FLOPs) aanzienlijk vermindert vergeleken met methoden die alle kanalen uniform verwerken.
2. Negative Value Calibration: Een nieuw mechanisme om de ongecontroleerde diffusie van thermische energie te onderdrukken, wat effectief pseudo-halo-artefacten elimineert en de getrouwheid van de achtergrond bewaart.
3. Cross-Modal Discriminator (CA-Net): Een discriminatorontwerp dat cross-modale aandacht gebruikt om modaliteit-specifieke supervisie te bieden, wat zowel de structurele getrouwheid als de textuurbehoud verbetert.
4. Uitgebreid Loss-Framework: Een multi-term loss-functie die gezamenlijk optimaliseert voor thermische salientie, gradiëntbehoud en kleurbalans.

4. Experimentele Resultaten

De methode werd geëvalueerd op de MSRS en M3FD datasets, waarbij het werd vergeleken met state-of-the-art methoden waaronder DDcGAN, SwinFusion, CrossFusion, DenseFusion en FreeFusion.

• Kwantitatieve Prestaties:
  • Op de MSRS-dataset bereikte AdaFuse een toename van 7,83% in Entropie (EN) vergeleken met de beste baseline.
  • Structurele Gelijkenis (SSIM) verbeterde met 4,23%, en de gradiënt-gebaseerde fusieprestatie ($Q_{AB/F}$) nam toe met 14,96%.
  • Op de M3FD-dataset toonde de methode superieure generalisatie. Specifieke resultaten voor individuele beelden omvatten een SSIM van 0,8916 (beeld 04037) en 0,8932 (beeld 01443), met respectievelijk VIF-scores van 0,8463 en 0,8584.
• Kwalitatieve Prestaties:
  • Visuele resultaten tonen een betere balans tussen de versterking van het thermische doelwit en het behoud van zichtbare details.
    • De methode verminderde effectief kleurzweem (bijv. overmatige dominantie van het groene kanaal) en voorkwam de "halo"-artefacten die bij andere methoden worden gezien.
  • In scenario's met rook en weinig licht behield AdaFuse de doelwit-onderscheidbaarheid terwijl de structurele details van de achtergrond beter werden behouden dan bij concurrenten.
• Efficiëntie:
  • Het adaptieve routingmechanisme zorgt ervoor dat de computationele kosten variëren op basis van de complexiteit van de input. Voor beelden met een lage inter-kanaal afwijking is de kost lager.
  • De gemiddelde inferentietijd was 0,0065 seconden per beeld, waarmee het verschillende zware baselines zoals SwinFusion (0,0344s) verslaat.

5. Betekenis en Claims

Het artikel beweert dat AdaFuse een methodologische referentie biedt voor bredere taken, zoals hyperspectrale en medische beeldfusie, vanwege zijn framework van hiërarchische perceptie en precieze controle.

De auteurs stellen dat hun aanpak:

• Bestaande methoden aanzienlijk overtreft in zowel computationele efficiëntie als fusiekwaliteit.
• Het specifieke probleem van ongebalanceerde modale bijdragen en tussenliggende tensor-opzwelling oplost.
• Een robuuste oplossing biedt voor complexe omgevingen (nacht, mist, regen) door effectief om te gaan met thermische doelwitdiffusie zonder het zichtbare textuurverlies.
• Een gunstige balans biedt tussen infrarood salientie-versterking en zichtbaar textuurbehoud, waardoor het geschikt is voor downstream visietaken zoals objectdetectie waar duidelijke doelwitcontouren en achtergrondgetrouwheid cruciaal zijn.

De studie concludeert dat het voorgestelde framework de structurele helderheid en visuele kwaliteit effectief verbetert, wat sterke ondersteuning biedt voor praktische toepassingen in intelligente perceptiesystemen.