There and Back Again: A Flexible-Frame Transformer for Multi-Exposure Fusion

Technische Samenvatting: FreeMEF – Een Flexibele Frame-Transformer voor Multi-Exposure Fusie

Probleemstelling
Multi-Exposure Fusion (MEF) beoogt High Dynamic Range (HDR) beelden te reconstrueren door meerdere Low Dynamic Range (LDR) frames te fuseren die zijn vastgelegd bij verschillende belichtingsniveaus. Hoewel op leren gebaseerde benaderingen dit veld hebben geavanceerd, worden ze gehinderd door twee kritieke beperkingen die praktische implementatie in de weg staan:

1. Beperkingen van vaste inputs: Bestaande architecturen zijn ontworpen voor een specifiek, vast aantal inputframes (bijv. 2, 3 of 5). In realistische scenario's waar belichtingsstrategieën variëren, vereisen deze modellen architecturale aanpassingen en hertraining voor verschillende frame-aantallen, wat de efficiëntie van de implementatie ondermijnt.
2. De Gelijkenisparadox: Conventionele aandachtmechanismen (attention mechanisms) vertrouwen op inter-frame gelijkenis om informatie te aggregeren. Echter, in HDR-imaging vertonen de regio's die de meeste restauratie vereisen (verzadigde overbelichte of onderbelichte gebieden) een extremer lage pixel-gewijze gelijkenis met hun tegenhangers in normaal belichte frames. Standaard cross-attention mechanismen, die prioriteit geven aan regio's met een hoge gelijkenis, falen erdoor niet effectief complementaire informatie te extraheren uit deze cruciale gebieden, wat leidt tot een slechte herstel van details.

Methodologie: FreeMEF
De auteurs stellen FreeMEF voor, een flexibele frame-transformer framework dat referentie-features ontkoppelt van basis-features, waardoor één enkel model een arbitrair aantal inputsequenties kan verwerken zonder hertraining. De architectuur bestaat uit twee primaire componenten:

1. Recurrent State Space Module (RSSM):

   • In plaats van frames parallel te verwerken, fuseert RSSM sequentieel de features van een arbitraal aantal input-exposities.
   • Het maakt gebruik van een Attentive State-Space Equation (ASE) om globale spatio-temporele contexten te vangen met lineaire computationele complexiteit.
   • De module hanteert een deformabele uitlijningstrategie om beweging tussen frames af te handelen en werkt een verborgen staat (hidden state) recurrent bij. Dit stelt het netwerk in staat om multi-frame informatie te aggregeren in een enkele globale gefuseerde feature ($H_T$), ongeacht het aantal inputs.

2. Global Feature Guided Block (GFGB):

   • Dit blok verwerkt het basisframe met de geaggregeerde globale feature ($H_T$) als hulpbron voor geleiding. Het bestaat uit twee sub-modules die zijn ontworpen om de gelijkenisparadox op te lossen en de belichtingsregulatie te optimaliseren:
     • Extremity-Aware Hybrid Attention (EAHA): Om de gelijkenisparadox aan te pakken, genereert EAHA een hybride query-vector. Het schat een extremiteitskaart (extremity map) om verzadigde regio's te identificeren. In deze regio's schakelt het model over van de onbetrouwbare basis-frame query ($Q_{base}$) naar een referentie-query ($Q_{ref}$) afgeleid van de globale historie. Dit stelt het model in staat om structurele priors uit de globale context te gebruiken om afgeknipte details te herstellen waar de pixel-gewijze gelijkenis laag is.
     • Affine-Injection Feed-Forward Network (AFFN): Standaard Feed-Forward Networks (FFNs) missen het vermogen om zich aan te passen aan globale belichtingsverschuivingen. AFFN injecteert globale radiantie-informatie in de FFN via affine modulatie (schalen met $\gamma$ en verschuiven met $\beta$). Dit kalibreert expliciet de contrast en helderheid van lokale features op basis van de high-dynamic-range statistieken die in de globale historie behouden blijven.

Belangrijkste Bijdragen

• Flexibele Frame-Architectuur: FreeMEF is de eerste MEF-methode die conceptueel referentie-features ontkoppelt van basis-features, waardoor één enkel model kan trainen en infereren op een arbitraal aantal inputframes zonder architecturale herontwerp of hertraining.
• Recurrente Fusiemechanisme (RSSM): Een nieuw module dat exposure-features progressief aggregeert met behulp van state-space modellering, waarbij variabele inputlengtes worden opgevangen terwijl de globale context behouden blijft.
• Oplossing voor de Gelijkenisparadox: De introductie van GFGB, specifelijk EAHA en AFFN, lost effectief het falen van standaard attention in verzadigde regio's op en bereikt nauwkeurige helderheidscontrole.
• Superieure Prestaties: De methode demonstreert state-of-the-art prestaties kwantitatief en kwalitatief over meerdere datasets.

Experimentele Resultaten
De auteurs hebben FreeMEF geëvalueerd op drie benchmark-datasets: Kalantari et al., Real-HDRV, en SICE.

• Kwantitatieve Prestaties: Op de Kalantari-dataset behaalde FreeMEF een PSNR van 28.418 dB, waarmee het de op één na beste methode (AFUNet) met 1.192 dB versloeg. Op Real-HDRV verbeterde het de PSNR met 0.515 dB ten opzichte van de runner-up.
• Generalisatie (Cross-Dataset/Variabele Frames): In cross-dataset evaluaties (getraind op Kalantari, getest op SICE met 2, 3 en 5 frames), presteerde FreeMEF consequent beter dan fixed-input baselines. Opvallend genoeg liet het significante winst zien in 2-frame en 5-frame scenario's waar andere methoden hertraining of architecturale wijzigingen vereisten. Zo verbeterde FreeMEF op de 5-frame SICE subset de PSNR met 1.116 dB ten opzien van de op één na beste methode.
• Efficiëntie: Het model behoudt een lage computationele kosten, waarbij het ongeveer 39% en 56% minder FLOPs bespaart vergeleken met AFUNet en HDR-Transformer, terwijl het aantal parameters geschikt blijft voor mobiele implementatie.
• Visuele Kwaliteit: Kwalitatieve vergelijkingen tonen superieure herstel van tegenlicht gezichten en bewegende onderwerpen, met effectieve onderdrukking van motion ghosting artefacten die gebruikelijk zijn bij parallelle fusiemethoden.

Betekenis en Claims
Het artikel claimt dat FreeMEF de fundamentele rigiditeit van huidige MEF-systemen aanpakt. Door af te stappen van de fixed-input beperkingen en parallelle fusie-paradigma's, maakt het voorgestelde "there and back again" recurrente mechanisme een naadloze adaptatie mogelijk aan diverse real-world belichtingsconfiguraties. De auteurs stellen dat hun aanpak niet alleen de herstelkwaliteit in uitdagende verzadigde regio's verbetert, maar ook een efficiënter en veelzijdiger framework voor HDR-imaging vestigt, waardoor de noodzaak voor meerdere gespecialiseerde modellen voor verschillende aantallen frames wordt geëlimineerd.

Beperkingen
De auteurs erkennen dat hoewel FreeMEF robuust presteert, er lichte kleurafwijkingen kunnen optreden in de gefuseerde resultaten vergeleken met de ground truth. Dit wordt toegeschreven aan te grote verschillen tussen de belichtingsniveaus, wat kan veroorzaken dat kleuren afwijken van de werkelijke scène-verschijning.