Combined Dictionary Unfolding Network with Gradient-Adaptive Fidelity for Transferable Multi-Source Fusion

1. Probleemstelling

Multi-Source Image Fusion (MSIF) heeft tot doel complementaire informatie uit heterogene bronnen (bijvoorbeeld infrarood/zichtbaar, multi-exposure, medische scans) te integreren in één informatieve afbeelding. Hoewel Deep Unfolding Networks (DUNs) een veelbelovende brug hebben gevormd tussen modelgedreven optimalisatie en datagedreven leren, staan bestaande methoden voor twee kritieke beperkingen:

• Inefficiëntie in Feature-updates: De meeste op DUN gebaseerde fusiemethoden zijn afgeleid van gekoppeld dictionary-leren met gebruik van alternerende minimalisatie. Deze benadering update gemeenschappelijke en modality-specifieke features in aparte, sequentiële takken. Dit ontwerp introduceert aanzienlijke rekenkundige overhead, geheugentoegangslatentie en parameteropblazing, wat implementatie op randapparatuur met beperkte middelen bemoeilijkt.
• Complexe onbewaakte training: Bestaande onbewaakte verliesfuncties combineren vaak meerdere heterogene doelstellingen (bijvoorbeeld SSIM, MSE, gradiëntbehoud, perceptuele verliezen). Deze vereisen zorgvuldige afweging en vertrouwen vaak op zware vooraf getrainde netwerken, wat optimalisatie bemoeilijkt en de generaliseerbaarheid over verschillende fusietaken vermindert.

2. Methodologie: CDNet

De auteurs stellen CDNet voor, een lichtgewicht Combined Dictionary Unfolding Network dat bovenstaande problemen aanpakt via structurele herorganisatie en een nieuwe verliesfunctie.

A. Combined Dictionary Unfolding Architectuur

In plaats van een bestaand netwerk te comprimeren of nieuwe priors in te voeren, vertaalt CDNet de uniek-gemeenschappelijke decompositie prior van gekoppeld dictionary-leren naar een structureel beperkte gezamenlijke unfolding-architectuur.

• Gezamenlijke Representatie: In plaats van aparte dictionaries te onderhouden en variabelen ($Z_X, Z_Y, Z_C$) sequentieel te updaten, organiseert CDNet deze opnieuw in een gecombineerde feature-representatie $W = [Z_X, Z_Y, Z_C]^T$ en een blok-gestructureerde gecombineerde dictionary $D$.
• CDBlock (Combined Dictionary Block): De kerninnovatie is de CDBlock, die een blok-sparse interactie-topologie implementeert. Het voert een modelafgeleide gezamenlijke update uit van alle representaties (gemeenschappelijk en uniek) binnen één enkele forward pass, waardoor de gefragmenteerde alternerende takken worden vervangen.
  • Het maakt gebruik van het Learned Iterative Shrinkage-Thresholding Algorithm (LISTA)-kader.
  • De convolutiekernen ($d_D$ en $d_U$) zijn expliciet gestructureerd om de blok-sparse topologie van de dictionary $D$ en zijn getransponeerde na te bootsen, waardoor de decompositielogica wordt afgedwongen terwijl er leerbare flexibiliteit mogelijk is.
• Alleen Luminantie-verwerking: Om cross-task transferbaarheid te verbeteren, werkt CDNet uitsluitend op de luminantie (Y)-kanaal in YCbCr-ruimte, waarbij de chrominantiekanaals worden gefuseerd via een lichtgewicht gewogen fusiestrategie. Dit voorkomt sensor-specifieke kleurvariaties die generalisatie belemmeren.

B. High- en Low-frequency Image Fidelity (HLIF) Verlies

Om onbewaakte training zonder ground-truth-afbeeldingen mogelijk te maken, ontwerpen de auteurs een compact HLIF-verlies:

• Gradiënt-Adaptieve Gewichten: Het genereert adaptieve gewichten ($Z_x, Z_y$) uit gradiënten van bronafbeeldingen met behulp van een sigmoid-mapping. Dit onderdrukt ruis terwijl opvallende randen behouden blijven.
• Dubbele Fideliteitsbeperkingen:
  1. High-Frequency Fideliteit ($L_{HIF}$): Gebruikt een $L_1$-norm om ervoor te zorgen dat de gefuseerde gradiënt overeenkomt met de dominante bron-gradiënt, waardoor structurele details en randen behouden blijven.
  2. Low-Frequency Fideliteit ($L_{LIF}$): Gebruikt een $L_2$-norm op het afbeeldingsdomein om globale luminantie-consistentie en gladheid te waarborgen.
• Dit verlies is modality-agnostisch, vereist geen vooraf getrainde netwerken en faciliteert transfer learning over verschillende fusiescenario's.

3. Belangrijkste Bijdragen

1. Structurele Innovatie: Vertaalt de gekoppelde dictionary-prior naar een blok-sparse gezamenlijke unfolding-architectuur, waardoor synchrone updates van alle representatiecomponenten mogelijk zijn en de sequentiële overhead van alternerende minimalisatie wordt geëlimineerd.
2. Efficiëntie: Leidt de CDBlock af als een structureel beperkte convolutierealisatie, waarbij gefragmenteerde takken worden vervangen door een lichtgewicht, verenigd fusieblok.
3. Transferabel Verlies: Introduceert het HLIF-verlies, een compact, gradiënt-adaptief doelwit dat structureel behoud en luminantie-consistentie in evenwicht brengt zonder zware supervisie.
4. Cross-Task Generalisatie: Demonstreert dat een model dat uitsluitend is getraind op de SICE (multi-exposure) dataset effectief kan generaliseren naar Infrarood-Zichtbaar, Medische en Semantische Segmentatietaken zonder fine-tuning.

4. Experimentele Resultaten

CDNet werd geëvalueerd op vier taken: Multi-Exposure Fusion (MEF), Infrarood-Zichtbaar Fusie (IVF), Medische Afbeeldingsfusie (MIF) en IVF voor Semantische Segmentatie.

• Efficiëntie: CDNet is extreem lichtgewicht, bevat slechts 6.5K parameters (ongeveer 1/94 van GIFNet) en vereist 0.4 GFLOPs (ongeveer 1/93 van GIFNet). Het bereikt een inferentietijd van 1.55 ms voor 256×256 afbeeldingen.
• Prestaties (IVF-taak):
  • Op de TNO-dataset presteert CDNet 1.23 dB beter in PSNR dan de op één na beste methode en bereikt het de laagste artifact-metriek (Nabf = 0.0012).
  • Op de RoadScene-dataset overtreft het de nummers twee met 1.59 dB in PSNR.
• Prestaties (MEF & MIF): CDNet bereikt state-of-the-art of concurrerende resultaten op MEFB, SICE, PET-MRI en SPECT-MRI datasets, vaak als eerste rankend in PSNR, SSIM en perceptuele kwaliteit (HyperIQA).
• Downstream Taak: Bij semantische segmentatie (FMB-dataset) leverden gefuseerde afbeeldingen van CDNet de hoogste mIoU (57.0%) en mAcc (65.1%) op, en presteerden ze beter dan andere fusiemethoden.
• Ablatiestudies: Bevestigden dat de verenigde update-strategie het aantal parameters met ongeveer 18% en de inferentietijd met ongeveer 26% reduceert in vergelijking met alternerende updates. Het HLIF-verlies bleek robuust en transferabel, en verbeterde de prestaties wanneer toegepast op andere basislijnnets.

5. Betekenis

Dit paper presenteert een paradigma-verschuiving in deep unfolding voor afbeeldingsfusie. Door te bewegen van alternerende minimalisatie naar gezamenlijke unfolding, demonstreert CDNet dat hoge-fideliteit fusie kan worden bereikt met extreme rekenkundige efficiëntie.

• Edge-deploy: De drastische reductie in parameters en FLOPs maakt hoogwaardige MSIF haalbaar voor randapparatuur (bijvoorbeeld drones, mobiele robots) waar eerdere DUN's te zwaar waren.
• Universele Fusie: Het vermogen om te trainen op één dataset (SICE) en te deployen over diverse modaliteiten (medisch, thermisch, blootstelling) zonder hertraining, adresseert een grote bottleneck in praktische implementatie, waardoor de behoefte aan taak-specifieke datacollectie en modeltraining wordt verminderd.
• Interpreteerbaarheid: De methode behoudt de interpreteerbaarheid van modelgedreven optimalisatie (via de dictionary-structuur) terwijl het gebruikmaakt van de efficiëntie van deep learning, en biedt een transparante en efficiënte oplossing voor multi-source perceptie.