There and Back Again: A Flexible-Frame Transformer for Multi-Exposure Fusion

Sintesi Tecnica: FreeMEF – Un Transformer a Frame Flessibile per la Fusione Multi-Esposizione

Problema
La fusione multi-esposizione (MEF) mira a ricostruire immagini ad alta gamma dinamica (HDR) fondendo più fotogrammi a bassa gamma dinamica (LDR) catturati a diversi livelli di esposizione. Sebbene gli approcci basati sull'apprendimento abbiano fatto progressi in questo campo, essi affrontano due criticità fondamentali che ne ostacolano l'implementazione pratica:

1. Vincoli di Input Fissi: Le architetture esistenti sono progettate per un numero specifico e fisso di fotogrammi in ingresso (ad esempio, 2, 3 o 5). Negli scenari reali, dove le strategie di esposizione variano, questi modelli richiedono modifiche architettoniche e riaddestramento per diversi conteggi di fotogrammi, minando l'efficienza di implementazione.
2. Il Paradosso della Similarità: I convenzionali meccanismi di attenzione si basano sulla similarità inter-frame per aggregare le informazioni. Tuttavia, nell'imaging HDR, le regioni che richiedono il maggior restauro (aree sovraesposte o sottoesposte sature) presentano una similarità pixel-per-pixel estremamente bassa rispetto alle loro controparti in fotogrammi con esposizione normale. I normali meccanismi di cross-attention, che danno priorità alle regioni ad alta similarità, non riescono a recuperare efficacemente le informazioni complementari da queste aree critiche, portando a un scarso recupero dei dettagli.

Metodologia: FreeMEF
Gli autori propongono FreeMEF, un framework transformer a frame flessibile che scinde le caratteristiche di riferimento dalle caratteristiche di base, consentendo a un singolo modello di gestire lunghezze di sequenza di input arbitrarie senza riaddestramento. L'architettura è composta da due componenti primarie:

1. Modulo di Spazio di Stato Ricorrente (RSSM):

   • Invece di elaborare i fotogrammi in parallelo, l'RSSM fonde sequenzialmente le caratteristiche di un numero arbitrario di esposizioni in ingresso.
   • Utilizza un'Equazione di Spazio di Stato Attentiva (ASE) per catturare contesti spazio-temporali globali con complessità computazionale lineare.
   • Il modulo impiega una strategia di allineamento deformabile per gestire il movimento tra i fotogrammi e aggiorna uno stato nascosto in modo ricorrente. Ciò consente alla rete di aggregare le informazioni multi-frame in un'unica caratteristica fusa globale ($H_T$), indipendentemente dal numero di input.

2. Blocco di Guida delle Caratteristiche Globali (GFGB):

   • Questo blocco elabora il fotogramma di base utilizzando la caratteristica globale aggregata ($H_T$) come guida ausiliaria. Comprende due sotto-moduli progettati per risolvere il paradosso della similarità e ottimizzare la regolazione dell'esposizione:
     • Attenzione Ibrida Consapevole dell'Estremità (EAHA): Per affrontare il paradosso della similarità, l'EAHA genera un vettore di query ibrido. Essa stima una mappa di estremità per identificare le regioni sature. In queste regioni, il modello passa dalla query del fotogramma base inaffidabile ($Q_{base}$) a una query di riferimento ($Q_{ref}$) derivata dalla cronologia globale. Ciò consente al modello di utilizzare i priori strutturali dal contesto globale per restaurare i dettagli tagliati dove la similarità pixel-per-pixel è bassa.
     • Rete Feed-Forward di Iniezione Affine (AFFN): Le reti Feed-Forward (FFN) standard mancano della capacità di adattarsi ai cambiamenti globali di esposizione. L'AFFN inietta informazioni di radianza globale nel FFN tramite modulazione affine (scala $\gamma$ e shift $\beta$). Questo ricalibra esplicitamente il contrasto e la luminosità delle caratteristiche locali basandosi sulle statistiche ad alta gamma dinamica preservate nella cronologia globale.

Contributi Chiave

• Architettura a Frame Flessibile: FreeMEF è il primo metodo MEF che scinde concettualmente le caratteristiche di riferimento dalle caratteristiche di base, consentendo a un singolo modello di addestrare e inferire su un numero arbitrario di fotogrammi in ingresso senza ridisegno architettonico o riaddestramento.
• Meccanismo di Fusione Ricorrente (RSSM): Un modulo innovativo che aggrega progressivamente le caratteristiche di esposizione utilizzando la modellazione dello spazio di stato, accogliendo lunghezze di input variabili mantenendo il contesto globale.
• Risoluzione del Paradosso della Similarità: L'introduzione di GFGB, specificamente EAHA e AFFN, risolve efficacemente il fallimento dell'attenzione standard nelle regioni sature e ottiene un controllo preciso della luminosità.
• Prestazioni Superiori: Il metodo dimostra prestazioni allo stato dell'arte quantitativamente e qualitativamente su molteplici dataset.

Risultati Sperimentali
Gli autori hanno valutato FreeMEF su tre dataset di riferimento: Kalantari et al., Real-HDRV e SICE.

• Prestazioni Quantitative: Sul dataset Kalantari, FreeMEF ha raggiunto un PSNR di 28,418 dB, superando il secondo miglior metodo (AFUNet) di 1,192 dB. Su Real-HDRV, ha migliorato il PSvere PSNR di 0,515 dB rispetto al secondo classificato.
• Generalizzazione (Cross-Dataset/Variabili di Frame): Nelle valutazioni cross-dataset (addestramento su Kalantari, test su SICE con 2, 3 e 5 fotogrammi), FreeMEF ha costantemente superato i baseline a input fisso. In particolare, ha mostrato guadagni significativi negli scenari a 2 e 5 fotogrammi dove altri metodi richiedevano riaddestramento o cambiamenti architettonici. Ad esempio, sul subset a 5 fotogrammi di SICE, FreeMEF ha migliorato il PSNR di 1,116 dB rispetto al secondo miglior metodo.
• Efficienza: Il modello mantiene un basso costo computazionale, risparmiando circa il 39% e il 56% in FLOPs rispetto ad AFUNet e HDR-Transformer, rispettivamente, mantenendo conteggi di parametri adatti all'implementazione mobile.
• Qualità Visiva: I confronti qualitativi mostrano un recupero superiore di volti retroilluminati e soggetti in movimento, con un efficace soppressione degli artefatti da ghosting del movimento comuni nei metodi di fusione in parallelo.

Significatività e Rivendicazioni
L'articolo sostiene che FreeMEF affronti la rigidità fondamentale degli attuali sistemi MEF. Allontanandosi dai vincoli di input fissi e dai paradigmi di fusione in parallelo, il proposto meccanismo ricorrente "there and back again" permette un'adattabilità fluida a diverse configurazioni di esposizione del mondo reale. Gli autori affermano che il loro approccio non solo migliora la qualità del restauro nelle difficili regioni sature, ma stabilisce anche un framework più efficiente e versatile per l'imaging HDR, eliminando la necessità di molteplici modelli specializzati per diversi conteggi di fotogrammi.

Limitazioni
Gli autori riconoscono che, sebbene FreeMEF operi in modo robusto, possono verificarsi lievi deviazioni di colore nei risultati fusi rispetto alla verità fondamentale (ground truth). Ciò è attribuito a gap eccessivamente ampi tra i livelli di esposizione, che possono causare deviazioni del colore rispetto all'aspetto reale della scena.