EvaNet: Towards More Efficient and Consistent Infrared and Visible Image Fusion Assessment

Probleemstelling

De evaluatie van beeldfusie (specifiek infrarood en zichtbaar licht, IVIF) staat momenteel voor twee fundamentele uitdagingen:

1. Gebrek aan consistentie: Bestaande evaluatiemetrics zijn vaak rechtstreeks overgenomen van andere visuele taken (zoals super-resolutie of denoising) zonder aanpassing aan de unieke aard van beeldfusie. Deze traditionele metrics, gebaseerd op complexe signaalverwerkingstechnieken (zoals DCT en wavelet-transformaties), slagen er vaak niet in om de werkelijke kwaliteit van het gefuseerde beeld correct weer te geven. Ze vertonen een inconsistentie waarbij een betere visuele weergave niet altijd leidt tot een hogere metrische score.
2. Rekenkundige inefficiëntie: De evaluatiefase is een knelpunt in de huidige werkstromen. Het evalueren van een volledige dataset met traditionele metrics kan dagen duren, terwijl het trainen en infereren van het fusiemodel zelf veel sneller gaat. Traditionele metrics vereisen vaak aparte, sequentiële uitvoeringen voor elke metrische berekening, wat leidt tot een enorme tijdsinvestering.

Methodologie: EvaNet

De auteurs stellen EvaNet voor, een unificerend, leerbaar evaluatiekader dat specifiek is ontworpen voor IVIF-taken. De kern van de methode bestaat uit de volgende componenten:

• Deel-en-heers Strategie (Divide-and-Conquer): In plaats van het gefuseerde beeld direct te vergelijken met de bronbeelden, decomposeert EvaNet het gefuseerde resultaat eerst in zijn infrarood- en zichtbare componenten. Dit gebeurt via lichte "informatie-probes" (gebaseerd op FusionBooster). Vervolgens wordt de mate van informatiebehoud voor elke gescheiden component afzonderlijk gemeten. Dit ontkoppelt het evaluatieproces en maakt een fijnmazige analyse mogelijk.
• Multi-head Architectuur: EvaNet is een lichtgewicht netwerk dat meerdere evaluatiemetrics (bijv. VIF, Qabf, SSIM, PSNR) gelijktijdig voorspelt in één enkele forward pass. Dit elimineert de noodzaak voor meerdere, tijdrovende berekeningen.
• Perceptuele Omgevingsbeoordeling (LLM-geïnformeerd): Een innovatief aspect is de integratie van een "omgevingsbranch". Deze branch gebruikt de redeneercapaciteit van een Groot Taalmodel (LLM, specifiek ChatGPT-4o) om de omstandigheden van het tafereel (zoals verlichting en obstructie) te beoordelen. Deze beoordeling wordt gebruikt om een adaptieve wegingsfactor ($ENV$) te genereren. Hierdoor kan het model straffen toepassen op de zichtbare modality als deze onder slechte omstandigheden (bijv. weinig licht) minder betrouwbaar is, waardoor de balans tussen de modaliteiten dynamisch wordt aangepast.
• Contrastief Leren: Tijdens het trainingstraject wordt een contrastieve leerstrategie toegepast. Het model leert om gelijke paren (ontdecomposeerde component en origineel bronbeeld) te onderscheiden van ongelijk paren (willekeurige beelden), wat zorgt voor robuustere en meer discriminerende voorspellingen.
• Consistentie-evaluatieprotocol: De auteurs introduceren een nieuw protocol om de consistentie van metrics te meten. Dit vergelijkt de rangschikking van fusiemethoden gebaseerd op de metric met een onafhankelijke referentie: ofwel een no-reference beeldkwaliteitsmodel (DeepIQA) of de prestaties in downstream taken (zoals objectdetectie en segmentatie).

Belangrijkste Bijdragen

1. EvaNet Framework: Het eerste leerbare kader dat traditionele fusiemetrics berekent met verbeterde consistentie en snelheid.
2. Efficiëntie: Een lichtgewicht multi-head architectuur die meer dan 1000x sneller is dan traditionele evaluatiemethoden, terwijl het meerdere metrics in één keer levert.
3. Fijnmazige Evaluatie: Een mechanisme dat de bijdrage van elke modality (infrarood vs. zichtbaar) analyseert, gewogen door een omgevingsbewuste factor die door een LLM wordt gegenereerd.
4. Consistentie Protocol: De introductie van een objectieve methode om de betrouwbaarheid van metrics te valideren op basis van perceptuele en taakgerelateerde referenties, zonder afhankelijk te zijn van Ground Truth (die bij IVIF vaak ontbreekt).

Resultaten

Uitgebreide experimenten op meerdere benchmarks (LLVIP, RoadScene, TNO, MSRS) tonen het volgende aan:

• Snelheid: EvaNet kan 8 metrics voor de volledige LLVIP-testset (3463 beelden) in minder dan een minuut evalueren, terwijl traditionele methoden hier meer dan 24 uur voor nodig hebben.
• Consistentie: EvaNet verbetert de consistentie van bestaande metrics aanzienlijk. Metrics zoals VIF en Qabf, wanneer aangepast door EvaNet, vertonen een sterkere correlatie met menselijke waarneming en downstream taakprestaties (detectie en segmentatie).
• Ablatie-studies: Het verwijderen van de omgevingsbranch of de contrastieve leerstrategie leidt tot een duidelijke daling in consistentie, wat de noodzaak van deze componenten bevestigt.
• Generalisatie: Het model presteert goed op verschillende datasets en kan ook worden toegepast op referentievrije metrics (zoals Entropie), waarbij het de paradoxale resultaten van traditionele referentievrije metrics corrigeert.

Betekenis

Dit werk is significant omdat het een fundamentele verschuiving bewerkstelligt in hoe beeldfusie wordt geëvalueerd. Het verlegt de focus van handgemaakte, trage en vaak inconsistente signalverwerking naar een efficiënt, leerbaar en contextbewust paradigma.

• Voor onderzoekers: Het biedt een snelle en betrouwbare manier om nieuwe fusiemethoden te testen, waardoor iteratiecyclus wordt versneld.
• Voor de praktijk: Het zorgt ervoor dat de gekozen evaluatiemetrics beter overeenkomen met wat mensen zien en wat downstream AI-taken nodig hebben, wat cruciaal is voor toepassingen zoals nachtzicht, medische beeldvorming en autonoom rijden.
• Voor de community: Het introduceert een gestandaardiseerde manier om de betrouwbaarheid van nieuwe metrics te valideren, wat de kwaliteit van toekomstig onderzoek in dit domein zal verhogen.

Kortom, EvaNet lost het probleem op van de "efficiëntie-consistentie gap" in de beeldfusie-evaluatie en stelt een nieuwe standaard voor voor het beoordelen van fusiekwaliteit.