Sintesi Tecnica: DeLux – Restauro Cross-Modale di Artefatti Locali in Video Utilizzando Dati Neuromorfici

1. Definizione del Problema

Le telecamere RGB convenzionali sono suscettibili a gravi artefatti di illuminazione, come riflessi di lente (lens flare), bagliori (glare), sovraesposizione e sfarfallio (flicker), particolarmente in scene esterne con intervalli dinamici estremi. Tali artefatti causano spesso una perdita localizzata di informazioni dove le intensità dei pixel sono completamente saturate o tagliate (clipped), rendendo impossibile il recupero tramite la normale post-elaborazione basata solo su RGB. I metodi di restauro esistenti affrontano tipicamente questi problemi in modo isolato (ad esempio, solo per il bagliore o solo per la sovraesposizione) o si affidano al tone mapping globale. Quest'ultimo approccio preserva l'integrità strutturale degli artefatti ottici (come i raggi del flare) pur comprimendo l'intervallo dinamico, fallendo nel recuperare i dettagli completamente oscurati dalla degradazione. Inoltre, la letteratura attuale manca di un paradigma generalizzato capace di affrontare simultaneamente diverse degradazioni di illuminazione spazialmente discrete.

2. Metodologia: La Pipeline DeLux

Gli autori propongono DeLux, una pipeline modulare, end-to-end e di prova di concetto che sfrutta gli stream di eventi neuromorfici come un prior strutturale per guidare il rilevamento mirato e l'inpainting di artefatti di illuminazione in video RGB. Il framework scinde esplicitamente il rilevamento dell'artefatto dalla fusione multimodale e dall'inpainting dell'immagine. La pipeline consiste in quattro fasi distinte:

1. Ricostruzione Event-to-Video: I dati di eventi asincroni provenienti da una telecamera neuromorfica vengono convertiti in fotogrammi video in scala di grigi densi utilizzando modelli pre-addestrati (E2VID o E2VID++). Queste ricostruzioni fungono da modalità secondaria, catturando i cambiamenti di luminosità con precisione al microsecondo e un intervallo dinamico superiore a 140 dB, anche quando i sensori RGB sono saturati.
2. Rilevamento dell'Artefatto: Una rete di segmentazione dedicata basata su UNet elabora il fotogramma RGB in ingresso per generare una mappa di confidenza pixel-per-pixel (maschera dell'artefatto) che indica la probabilità della presenza di un artefatto (bagliore, flare, sovraesposizione, sfarfallio). Questo passaggio è addestrato su maschere di artefatti generate sinteticamente per generalizzare tra diverse condizioni.
3. Fusione Multimodale: Il fotogramma RGB, la ricostruzione basata su eventi e la maschera dell'artefatto vengono concatenati lungo la dimensione dei canali. Un modulo convoluzionale fonde questi input per creare una rappresentazione unificata. Fondamentalmente, la maschera dell'artefatto funge da interfaccia di override manuale, consentendo di configurare il comportamento di fusione durante l'inferenza senza necessità di riaddestramento. Questa fase assicura che i dettagli strutturali dallo stream di eventi siano utilizzati principalmente nelle regioni corrotte.
4. Rimozione dell'Artefatto: Un modulo finale basato su UNet esegue un inpainting mirato. Riceve la rappresentazione fusa e produce un'immagine RGB pulita e priva di artefatti. Il modello è addestrato per ripristinare le regioni corrotte preservando al contempo il contenuto non interessato.

Strategia di Addestramento:
La pipeline viene addestrata tramite ottimizzazione congiunta dei moduli di rilevamento, fusione e rimozione, mentre il ricostruttore event-to-video rimane congelato. L'obiettivo di addestramento combina tre componenti di perdita (loss):

• Perdita di Rilevamento ($L_{det}$): Huber loss tra le maschere degli artefatti predette e quelle ground-truth.
• Perdita di Ricostruzione ($L_{recon}$): Una combinazione di Mean Absolute Error (MAE), Multi-Scale Structural Similarity (MS-SSIM), perdita percettiva VGG e regolarizzazione Total Variation (TV).
• Perdita Non-Maschera ($L_{nm}$): Un termine di coerenza che penalizza le modifiche nelle regioni non-artefatto, garantendo che il modello non alteri i pixel puliti.

Dati:
Il sistema è addestrato su un dataset ibrido composto da artefatti sintetici iniettati in fotogrammi puliti (utilizzando CARLA e Cityscapes) e dati neuromorfici reali (DSEC, E2VID). Per la valutazione nel mondo reale, gli autori hanno selezionato finestre temporali specifiche da filmati automobilistici in cui si verificano naturalmente artefatti severi.

3. Contributi Chiave

• Nuova Direzione di Ricerca: Il documento introduce il "restauro locale cross-modale degli artefatti", un paradigma che tratta i deboli artefatti di illuminazione localizzati come una perdita di informazione specifica della modalità, mitigata dall'integrazione di una modalità di rilevamento secondaria (eventi neuromorfici) per guidare l'inpainting RGB.
• Framework DeLux: Il primo sistema progettato per rilevare e rimuovere molteplici tipi di artefatti di illuminazione all'interno di un singolo pipeline di deep learning, fondendo il video standard con i dati di eventi neuromorfici.
• Benchmark Rigoroso: Gli autori stabiliscono un benchmark che comprende sia artefatti di illuminazione sintetici che reali, fornendo un protocollo di valutazione per futuri modelli di restauro cross-modali. Rilasciano strumenti di generazione di artefatti sintetici e dataset curati del mondo reale per favorire ulteriore ricerca.

4. Risultati Sperimentali

Gli autori hanno valutato DeLux rispetto a baseline allo stato dell'arte, inclusi modelli di restauro a singola modalità (Flare7K++, Wu et al., SHDR), un approccio unificato a singola rete (DAD†) e modelli HDR guidati da eventi (HDRev-Diff).

• Prestazioni sui Dati Sintetici: DeLux ha ottenuto le prestazioni più elevate per tutti i tipi di artefatti (bagliore, flare, sovraesposizione) in termini di MS-SSIM, PSNR e MAPE. Ha raggiunto un MS-SSIM medio superiore a 0,99 in tutti i tipi di artefatti, superando significativamente i baseline solo RGB e i modelli HDR guidati da eventi.
• Prestazioni nel Mondo Reale: Su filmati automobilistici reali, DeLux ha dimostrato una riduzione fino all'88% della severità dell'artefatto (misurata tramite la metrica personalizzata Strong Artifact Suppression, SAS). Al contrario, i baseline di tone-mapping globale come HDRev-Diff spesso non riuscivano a sopprimere gli artefatti localizzati, risultando in punteggi SAS negativi per alcune sequenze.
• Efficienza: DeLux opera a 16,5 FPS con 90,2 milioni di parametri su una NVIDIA A100, rendendolo di un ordine di grandezza più veloce e leggero rispetto ai baseline basati su diffusione (ad esempio, HDRev-Diff a 1,1 FPS con 1,6 miliardi di parametri).
• Studi di Ablazione: Lo studio ha confermato che la rimozione della modalità di eventi (DeLux-NE) o del rilevatore esplicito (DeLux-ND) degrada severamente le prestazioni. È stato scoperto che la perdita non-maschera ($L_{nm}$) è critica per bilanciare l'accuratezza del rilevamento con una ricostruzione localizzata controllata.

5. Significato e Rivendicazioni

Il documento afferma che DeLux rappresenta un distacco significativo dagli approcci di miglioramento globale. Separando esplicitamente il rilevamento dell'artefatto dalla fusione multimodale, il framework impedisce l'alterazione non voluta delle regioni di immagine pulite, permettendo alla rete di utilizzare selettivamente la modalità secondaria solo dove il sensore RGB ha fallito.

Gli autori posizionano DeLux come un modello di riferimento per affrontare gravi degradazioni d'immagine localizzate utilizzando modalità di rilevamento secondarie. Sostengono che questo approccio cross-modale vada oltre i vincoli del singolo sensore, offrendo una via verso sistemi di elaborazione delle immagini altamente affidabili capaci di operare in condizioni di illuminazione avverse.

Limitazioni Riconosciute dagli Autori:

• Scene Statiche: Le telecamere a eventi intrinsecamente faticano in scene stazionarie dove non vengono generati eventi, sebbene l'architettura modulare consenta l'integrazione di altre modalità (es. termiche) per mitigare il problema.
• Valutazione Sintetica: Sebbene siano stati utilizzati overlay sintetici di alta qualità, essi non possono riprodurre completamente l'interazione fisica complessa della luce nei veri assemblaggi di lenti.
• Coerenza Temporale: Poiché l'implementazione attuale ripristina i fotogrammi indipendentemente, i risultati non sono garantiti nella coerenza temporale, il che potrebbe causare sfarfallio visibile. Gli autori identificano la modellazione multi-frame come una direzione necessaria per il lavoro futuro.
• Ottimizzazione: La dipendenza da un ricostruttore E2VID congelato limita l'ottimizzazione end-to-end completa, suggerendo che pipeline future potrebbero ingerire direttamente le rappresentazioni grezze degli eventi.