🔬 optics

Engram-E2VID: Reference-Based Event-to-Video Reconstruction via Generative Activation of Appearance Engrams

Engram-E2VID è un framework di ricostruzione da eventi a video basato su un riferimento che sfrutta un backbone di diffusione a singolo step per guidare strutturalmente l'attivazione generativa degli engrammi di aspetto codificati da un fotogramma di riferimento, consentendo il recupero ad alta fedeltà di fotogrammi RGB target da flussi di eventi sparsi anche in presenza di movimenti complessi e intervalli temporali prolungati.

Autori originali: Feiyu Ji, Xiang Li, Hao Ma, Tianxiang Huang, Qingxin Lu, Mengqi Ji, Lei Han, Xiaokang Yang, Xiaoyun Yuan

Pubblicato 2026-08-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Feiyu Ji, Xiang Li, Hao Ma, Tianxiang Huang, Qingxin Lu, Mengqi Ji, Lei Han, Xiaokang Yang, Xiaoyun Yuan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di ricreare una scena di un film, ma di avere a disposizione solo due strumenti molto strani. Il primo è una singola fotografia perfetta della scena prima che l'azione abbia inizio. Il secondo è un flusso caotico di minuscole scintille invisibili che volano intorno ogni volta che qualcosa si muove o cambia luminosità. Queste scintille, chiamate "eventi", sono incredibilmente veloci e dettagliate riguardo al movimento, ma sono completamente cieche al colore, alla trama o a ciò che le cose siano realmente. Sono come un sussurro spettrale di movimento senza un corpo.

Gli scienziati hanno a lungo cercato di usare queste scintille per ricostruire le parti mancanti di un film, ma è come cercare di dipingere un ritratto usando solo una mappa di dove ha soffiato il vento. I vecchi metodi spesso si smarriscono quando le cose si muovono troppo lontano o troppo velocemente, producendo immagini sfocate, spettrali o completamente errate. Questo è l'enigma che un team di ricercatori della Shanghai Jiao Tong University e di altre istituzioni ha deciso di risolvere. Si sono chiesti: "Come possiamo prendere quel flusso caotico di scintille di movimento e combinarlo con la nostra foto iniziale per ricostruire un fotogramma di un video cristallino, anche se è passato molto tempo?"

La risposta che hanno trovato è un nuovo sistema chiamato Engram-E2VID. Pensatelo come una squadra di costruzione magica che non si limita a fare copia-incolla della vecchia foto. Inveio, costruisce un "ponteggio" o uno scheletro della nuova scena utilizzando le scintille di movimento. Questo ponteggio dice al sistema dove le cose si stanno muovendo e come la struttura sta cambiando. Poi, il sistema attinge dal suo archivio di memoria — la foto originale — e recupera i specifici "engram di aspetto" (che sono come frammenti di memoria dettagliati di come appaiono gli oggetti).

Ecco la parte intelligente: invece di cercare di stirare la vecchia foto per adattarla alla nuova posizione (il che di solito la rende deformata e sfocata), il sistema utilizza un processo di "attivazione" intelligente. Chiede al ponteggio: "Ehi, mi serve la trama di una palla rossa qui, e la pelliccia di un gatto lì". Il ponteggio indica i punti giusti, e il sistema afferra i frammenti di memoria perfetti per riempirli. Se ci sono parti della scena che erano completamente nascoste o nuove, una potente "immaginazione" dell'IA (chiamata modello di diffusione) interviene per riempire i vuoti in modo realistico.

I risultati sono impressionanti. Quando testato su tre diversi dataset del mondo reale, questo nuovo metodo non si è limitato a funzionare; ha funzionato molto meglio dei precedenti migliori tentativi. In termini semplici, ha reso le immagini ricostruite significativamente più nitide e accurate. Nello specifico, ha migliorato il punteggio della qualità dell'immagine (PSNR) fino a 3,29 dB e ha ridotto la sfocatura visiva (LPIPS) fino a 0,08 rispetto al metodo esistente più forte che utilizzava gli stessi input.

Forse il ritrovamento più eccitante è quanto bene gestisce il tempo. Di solito, più a lungo si aspetta tra la foto iniziale e il nuovo fotogramma che si vuole creare, peggiore diventa l'immagine. Ma Engram-E2VID degrada molto più lentamente. Anche quando il divario temporale era ampio, ha mantenuto i dettagli nitidi e le strutture corrette, mentre altri metodi iniziavano a sfocare e ad allucinare forme strane. I ricercatori suggeriscono che separando la "struttura" (il ponteggio) dall' "aspetto" (gli engram) e lasciando che comunichino tra loro in modo intelligente, possono ricostruire scene che sono complesse, si muovono velocemente o sono lontane dalla foto originale, il tutto senza bisogno di una seconda foto per aiutarli. È un po' come essere in grado di ricordare esattamente l'aspetto del volto di un amico, anche se si è spostato in una stanza completamente diversa e sta correndo in giro, semplicemente conoscendo la disposizione della stanza e il suono dei suoi passi.

Sintesi Tecnica: Engram-E2VID

Problematica
La ricostruzione di eventi da video basata su riferimento mira a recuperare i fotogrammi RGB target utilizzando un fotogramma di riferimento e il flusso di eventi asincroni catturati nell'intervallo tra i timestamp di riferimento e target. Sebbene le telecamere a eventi offrano una risoluzione temporale al microsecondo e un elevato intervallo dinamico, esse codificano solo variazioni di intensità logaritmica relativa piuttosto che l'aspetto assoluto, il colore o la texture. Ciò rende la ricostruzione fedele intrinsecamente un problema mal posto.

La sfida centrale risiede nell'associare le strutture sparse e asincrone derivate dagli eventi al tempo target con le informazioni di aspetto rilevanti dal fotogramma di riferimento. I metodi esistenti si affidano tipicamente alla stima di campi di moto per deformare (warp) il fotogramma di riferimento. Tuttavia, in presenza di movimenti complessi, occlusioni o lunghi intervalli temporali, la semplice deformazione fallisce nel ricostruire regioni appena rivelate o sostanzialmente alterate. Inoltre, recenti approcci basati sulla diffusione che utilizzano gli eventi come condizionamento ausiliario spesso mancano di un meccanismo esplicito per associare le strutture derivate dagli eventi con gli indizi di aspetto del riferimento, portando a inconsistenze strutturali o contenuti allucinati.

Metodologia
Gli autori propongono Engram-E2VID, un framework guidato dalla struttura che ricostruisce i fotogrammi target attraverso la "attivazione generativa di engrammi di aspetto". Il metodo opera all'interno di un backbone di diffusione a singolo step e consiste in due fasi primarie:

Stima dello Scaffold Strutturale (Structural Scaffold Estimation):
Il flusso di eventi asincroni tra i timestamp di riferimento ( $t_0$ ) e target ( $t_k$ ) viene convertito in una rappresentazione voxel spazio-temporale di eventi ( $V$ ). Un leggero dual-encoder U-Net elabora sia il voxel di eventi che il fotogramma di riferimento per stimare uno "scaffold di struttura-moto" ( $\tilde{I}^s_{t_k}$ ). Questo scaffold non è richiesto di essere fotorealistico; la sua funzione primaria è quella di esporre i confini del moto e le strutture della scena al modello di diffusione.
Attivazione dell'Engram di Aspetto (Appearance Engram Activation):
Lo scaffold e il fotogramma di riferimento vengono codificati in rappresentazioni latenti ( $z_s$ e $z_r$ ) utilizzando un encoder VAE congelato.
- Engram: I token latenti di riferimento ( $z_r$ ) fungono da "engram di aspetto", conservando ricche informazioni visive.
- Token dello Scaffold: I token latenti dello scaffold ( $z_s$ ) codificano le informazioni strutturali al tempo target.
- Latent Interaction Attention (LIA): Viene introdotta una nuova interfaccia di interazione in cui i latenti dello scaffold e del riferimento vengono impilati e riorganizzati in una sequenza congiunta di token. All'interno dei blocchi transformer del backbone di diffusione, i livelli di self-attention permettono ai token strutturali di interagire con gli engram di aspetto rilevanti e di attivarli. Questa associazione avviene nello spazio dei token piuttosto che attraverso un diretto trasferimento pixel-per-pixel, consentendo al modello di accedere all'aspetto del riferimento nonostante significativi spostamenti spaziali.

Il framework impiega un processo di diffusione a singolo step (adattato da SD-Turbo con LoRA) dove i token strutturali derivati dallo scaffold agiscono come query per recuperare gli engram rilevanti. Una connessione skip con convoluzioni inizializzate a zero preserva l'informazione strutturale dallo scaffold per prevenire il drift. Per l'inferenza ad alta risoluzione, il processo viene applicato in modo tile-wise con finestre sovrapposte.

Contributi Chiave

Scaffold di Moto-Struttura al Tempo Target: Gli autori introducono uno scaffold che integra i dati degli eventi con il contesto di riferimento per fornire una guida strutturale esplicita per la ricostruzione, invece di fare affidamento esclusivamente sul warping del moto.
Interfaccia di Interazione Struttura-Engram: Stabiliscono un meccanismo in cui i token strutturali derivati dallo scaffold attivano gli engram di aspetto rilevanti all'interno di un backbone di diffusione a singolo step. Questa associazione nello spazio dei token evita una rigida corrispondenza pixel-per-pixel, consentendo una ricostruzione robusta sotto grandi spostamenti.
Prestazioni e Robustezza: Esperimenti estesi dimostrano che il metodo raggiunge una qualità visiva e una fedeltà strutturale superiori rispetto ai baseline allo stato dell'arte, con un tasso di degradazione notevolmente più lento all'aumentare dell'intervallo di ricostruzione.

Risultati Sperimentali
Il metodo è stato valutato su tre dataset sincronizzati evento-frame: BS-ERGB, ERF-X170FPS e HQ-EVFI.

Prestazioni Quantitative: Engram-E2VID ha superato costantemente il più forte baseline a stesso input (RE-VDM). I miglioramenti includono un aumento fino a 3.29 dB in PSNR e una riduzione fino a 0.08 in LPIPS attraverso i benchmark.
Robustezza a Lunghi Intervalli: All'aumentare dell'intervallo temporale (skip), Engram-E2VID ha mostrato una degradazione delle prestazioni significativamente più lenta rispetto ai metodi basati sul warping (es. VFPSIE) e ad altri approcci basati sulla diffusione. Ad esempio, sul dataset BS-ERGB, il calo di PSNR dallo skip 1 a 7 è stato di soli 1.85 dB per Engram-E2VID, rispetto ai 4.30 dB di VFPSIE.
Risultati Qualitativi: I confronti visivi hanno mostrato bordi degli oggetti più nitidi, meno artefatti visivi e una migliore preservazione della struttura della scena e dei dettagli di aspetto, particolarmente nelle regioni con moto complesso o occlusione.

Significatività e Rivendicazioni
Il paper sostiene che Engram-E2VID affronti il limite fondamentale dei metodi basati sul riferimento disaccoppiando la guida strutturale dal recupero dell'aspetto. Organizzando l'aspetto del riferimento come "engram" e permettendo alle strutture target di "attivarli" tramite l'attenzione, il framework consente una ricostruzione fedele senza fare affidamento sulla diretta corrispondenza dei pixel. Gli autori affermano che questo approccio sfrutta efficacementamente il prior di diffusione per risolvere le ambiguità in regioni incerte o appena rivelate, mantenendo al contempo la coerenza strutturale. I risultati suggeriscono che questa associazione nello spazio dei token è particolarmente vantaggiosa per lunghi intervalli temporali dove il tradizionale stima del moto fallisce. Il paper conclude che il metodo raggiunge una ricostruzione di alta qualità senza una regolarizzazione esplicita della coerenza temporale, mantenendo la coerenza temporale attraverso fotogrammi ricostruiti indipendentemente.

Articoli simili