FDCNet: Frequency-Aware and Dynamic Curve Network for Adversarially Robust Infrared and Visible Image Fusion

Technische Samenvatting: FDCNet voor Adversariële Robuuste Infrarood- en Visuele Beeldfusie

Probleemstelling
Infrarood- en visuele beeldfusie (IVIF) integreert complementaire multi-modale informatie om de beperkingen van enkelvoudige sensoren te overwinnen, wat een cruciale rol speelt in autonoom rijden, objecttracking en saliente objectdetectie. Bestaande IVIF-methoden gaan echter voornamelijk uit van interferentievrije inputs, waardoor ze kwetsbaar zijn voor doelbewuste adversariële aanvallen. Klassieke adversariële algoritmen (bijv. FGSM, PGD, C&W) kunnen de modelinferentie ernstig degraderen door het injecteren van onwaarneembare perturbaties. Hoewel adversariële training is verkend om de robuustheid te vergroten, creëert dit vaak een intrinsieke afruil: strategieën die ontworpen zijn om hoogfrequente adversariële ruis te onderdrukken, resulteren vaak in overmatige conservatieve feature-inhibitie, wat leidt tot structurele overmatige afvlakking (over-smoothing), verlies van fijnmazige details en een contractie van het dynamisch bereik. Deze degradatie beperkt fundamenteel de prestatiestabiliteit van downstream visuele taken onder complexe omstandigheden.

Methodologie
Om het conflict tussen adversariële defensie en feature-getrouwheid aan te pakken, stellen de auteurs FDCNet (Frequency-Aware and Dynamic Curve Network) voor. Het framework werkt als een end-to-end adversariële trainingssysteem gebruikmakend van een U-Net backbone, waarbij drie kerncomponenten worden geïntegreerd om defensie-efficiëntie en visuele kwaliteit synergetisch in balans te brengen:

1. Spatio-Frequentie Dynamische Adversariële Loss (LSFDA):
   Voorgesteld op het optimalisatieniveau, stuurt deze loss-functie het robuuste trainen door adaptief de balans te bewaken tussen structurele getrouwheid en hoogfrequente feature-restricties. Het maakt gebruik van een min-max optimalisatiestrategie waarbij de innerlijke maximalisatie adversariële perturbaties genereert (via PGD) tegen pseudo-labels, en de buitenste minimalisatie de netwerkparameters bijwerkt. De loss bestaat uit een baseline structurele spatiale getrouwheidsterm en een genormaliseerde frequentie-bewuste tolerantieterm. De laatste maakt gebruik van Discrete Wavelet Transform (DWT) om laagfrequente en hoogfrequente subbanden te ontkoppelen, waarbij een "zachte bovengrens"-restrictie wordt opgelegd aan hoogfrequente componenten om detailverlies te voorkomen terwijl overmatige ruis wordt bestraft. Een multi-level dynamisch wegingsysteem past de focus tussen structurele reconstructie en anti-interferentie-capaciteiten gedurende het hele trainingsproces aan.

2. Frequentie-Bewuste Defensie Module (FADM):
   Ingebed binnen de multi-schaal skip-verbindingen van de U-Net backbone, fungeert deze module als de front-end anti-interferentie architectuur. Het onderschept cross-layer ruispenetratie via een gecascadeerde reeks van vijf Frequency Decoupling Attention Blocks (FDAB). Elke FDAB-unit voert uit:

   • Spatiale Smoothing en Wavelet Ontkoppeling: Gebruikt depthwise separable convoluties en DWT om features te scheiden in laagfrequente (LL) en hoogfrequente (LH, HL, HH) subbanden.
   • Affine Invertibele Frequentie Generatie (AIFG): Maakt gebruik van Affine Coupling Blocks (ACB) om features te extraheren terwijl hoogfrequente details behouden blijven door strikte mathematische inversibiliteit, wat informatieverlies tijdens forward propagatie voorkomt.
   • Invertibele Directionele Dual Attention (IDDA): Combineert een Mercer Global Attention (MGA) branch voor macro-feature smoothing (gebruikmakend van kernel mapping om complexiteit te verminderen) en een Local Window Attention (LWA) branch voor het afhandelen van lokale hoogfrequente anomalieën.
   • Residuele Reconstructie: Assembleert gereinigde subbanden via pixel-shuffle en residuele verbindingen om robuuste features uit te voeren.

3. Extrema-gestuurde Dynamische Tooncurve Module (EDTC):
   Ontworpen als een back-end post-compensatiemechanisme, adresseert de EDTC de wederzijdse restricties tussen de LSFDA en FADM. Geïnspireerd door Retinex-theorie en curve-estimatiestrategieën, koppelt de EDTC de voorlopige robuuste features aan multi-bron extreme waarde-distributies (de pixel-gewijze maximale envelop van de bronafbeeldingen) als spatiale priors. De module voorspelt pixel-gewijze, hogere-orde niet-lineaire mapping parameters via een lichtgewicht netwerk en voert iteratieve kwadratische curve-reconstructie uit. Dit proces herstelt effectief de pixeldistributie, wat de contractie van het dynamisch bereik verlicht en visuele scherpte herstelt zonder het onderliggende defensiesysteem in gevaar te brengen.

Belangrijkste Bijdragen

• LSFDA: Een nieuwe loss-functie die dynamisch gewichten aanpast tussen structurele getrouwheid en hoogfrequente restricties, waardoor de detailverlies die gewoonlijk met conventionele adversariële defensies gepaard gaat, wordt gemitigeerd.
• FADM: Een front-end architectuur die Frequency Decoupling Attention Blocks binnen skip-verbindingen cascadeert om hoogfrequente adversariële ruis te onderscheppen en te filteren, terwijl laag-niveau spatiale details behouden blijven via inversibele transformaties.
• EDTC: Een back-end compensatiemechanisme dat multi-bron extreme priors gebruikt om niet-lineaire pixel-gewijze mapping uit te voeren, waardoor de prestatie-afruil tussen de defensiemodules en de beeldkwaliteit effectief wordt opgelost.
• Verenigd Framework: De integratie van deze componenten in FDCNet bereikt een synergetische balans tussen adversariële robuustheid en feature-getrouwheid, waarbij het de state-of-the-art (SOTA) methoden overtreft in zowel objectieve metrieken als downstream taakstabiliteit.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op de M³FD en MFNet datasets, waarbij FDCNet is vergeleken met acht SOTA fusie modellen (waaronder SeAFusion, TarDAL, PAIF, en A²RNet).

• Fusie Kwaliteit: Onder adversariële aanvallen (PGD) presteerde FDCNet consistent beter dan de baselines op vijf objectieve metrieken: Entropie (EN), Standaarddeviatie (SD), Peak Signal-to-Noise Ratio (PSNR), Correlatiecoëfficiënt (CC) en Sum of Structured Cross Difference (SCD). Kwalitatieve analyse toonde aan dat FDCNet de infrarode thermische salientie en visuele textuurdetails conserveerde met minimale signaalgolfvormafwijking tussen de schone en aangevallen staat, terwijl andere methoden ernstige ruis, distortie of structurele instorting vertoonden.
• Downstream Taak Stabiliteit: Wanneer gefuseerde beelden werden gevoed aan pre-trained object detectie- en semantische segmentatienetwerken, demonstreerde FDCNet superieure robuustheid. Op de M³FD en MFNet datasets behaalde FDCNet de hoogste Mean Average Precision (mAP) en Mean Intersection over Union (mIoU) onder aanvalcondities, met de kleinste prestatiedegradatie (bijv. een mAP-daling van slechts 0.012 op M³FD) vergeleken met andere methoden. Visuele detectieresultaten bevestigden dat FDCNet alle targets (voetgangers en voertuigen) succesvol detecteerde met een hoge mate van vertrouwen, terwijl andere modellen leden onder gemiste detecties en gefragmenteerde segmentatie.
• Ablatie Studies: Experimenten verifieerden dat hoewel individuele modules (LSFDA, FADM, EDTC) de prestaties verbeterden, hun gezamenlijke werking zonder de EDTC leidde tot prestatiebeperkingen door conflicterende optimalisatie-objectieven. Het volledige model (M6) dat alle drie de componenten incorporeert, bereikte optimale resultaten, wat de noodzaak van de EDTC bevestigt voor het verzoenen van defensie en getrouwheid.

Betekenis
Het artikel claimt dat FDCNet effectief de nadelige effecten van adversariële perturbaties op IVIF-taken verzacht, een domein dat voorheen kwetsbaar was voor dergelijke aanvallen. Door een frequentie-bewuste defensiestrategie te introduceren gekoppeld aan een dynamisch tooncurve-compensatiemechanisme, slaagt de methode erin de traditionele afruil tussen anti-interferentie immuniteit en beeldgetrouwheid te overwinnen. De resultaten tonen aan dat FDCNet niet alleen hoogwaardige fusieresultaten handhaaft, maar ook de prestaties van kritieke downstream visuele taken (objectdetectie en semantische segmentatie) in adversariële omgevingen aanzienlijk stabiliseert. De auteurs erkennen dat de multi-schaal frequentie-ontkoppeling en niet-lineaire iteraties de computationele complexiteit verhogen, en suggereren dat toekomstig werk zich zal richten op lichtgewicht design en optimalisatie van de inferentie-efficiëntie voor praktische engineering-implementatie.