Engram-E2VID: Reference-Based Event-to-Video Reconstruction via Generative Activation of Appearance Engrams

Technische Samenvatting: Engram-E2VID

Probleemstelling
Referentie-gebaseerde event-to-video reconstructie beoogt doel-RGB-frames te herstellen met behulp van een referentiekader en de asynchrone event-stroom die is vastgelegd over het interval tussen de referentie- en doel-tijdstempels. Hoewel event-camera's een microseconde temporele resolutie en een hoog dynamisch bereik bieden, coderen ze slechts relatieve log-intensiteitsveranderingen in plaats van absolute verschijning, kleur of textuur. Dit maakt getrouwe reconstructie inherent een slecht gesteld probleem (ill-posed).

De centrale uitdaging ligt in het associëren van de ijle, asynchrone event-afgeleide structuren op het doel-tijdstip met de relevante informatie over de verschijning uit het referentiekader. Bestaande methoden vertrouwen doorgaans op het schatten van bewegingsvelden om het referentiekader te warpen. Echter, onder complexe beweging, occlusie of lange temporele intervallen, faalt eenvoudige warping bij het reconstrueren van nieuw onthulde of substantieel gewijzigde regio's. Bovendien missen recente diffusie-gebaseerde benaderingen die events als hulp-conditionering gebruiken vaak een expliciet mechanisme om event-afgeleide doelstructuren te associëren met referentie-verschijningskenmerken, wat leidt tot structurele inconsistenties of gehallucineerde inhoud.

Methodologie
De auteurs stellen Engram-E2VID voor, een structuur-gestuurd framework dat doel-frames reconstrueert door middel van de "generatieve activatie van verschijnings-engrams". De methode opereert binnen een one-step diffusie-backbone en bestaat uit twee primaire stadia:

1. Schatting van de Structurele Scaffold:
   De asynchrone event-stroom tussen de referentie ($t_0$) en doel ($t_k$) tijdstempels wordt omgezet in een spatiotemporele event-voxel representatie ($V$). Een lichtgewicht dual-encoder U-Net verwerkt zowel de event-voxel als het referentiekader om een "bewegings-structuur scaffold" ($\tilde{I}^s_{t_k}$) te schatten. Deze scaffold hoeft niet fotorealistisch te zijn; de primaire functie is het blootleggen van bewegingsgrenzen en scènestructuren aan het diffusiemodel.

2. Activatie van Verschijnings-Engrams:
   De scaffold en het referentiekader worden gecodeerd naar latente representaties ($z_s$ en $z_r$) met behulp van een bevroren VAE-encoder.

   • Engrams: De referentie latente tokens ($z_r$) dienen als "verschijnings-engrams", die rijke visuele informatie behouden.
   • Scaffold Tokens: De scaffold latente tokens ($z_s$) coderen de structurele informatie van het doel-tijdstip.
   • Latent Interaction Attention (LIA): Een nieuw interactie-interface wordt geïntroduceerd waarbij scaffold- en referentie-latents worden gestapeld en geherordend in een gezamenlijke token-sequentie. Binnen de transformer-blokken van de diffusie-backbone maken self-attention lagen het mogelijk dat structurele tokens interageren met en relevante verschijnings-engrams activeren. Deze associatie vindt plaats in de token-ruimte in plaats van via directe pixel-gewijze transfer, waardoor het model toegang heeft tot de referentie-verschijning ondanks aanzienlijke ruimtelijke verplaatsing.

   Het framework maakt gebruik van een one-step diffusieproces (aangepast van SD-Turbo met LoRA), waarbij de op de scaffold gebaseerde structurele tokens fungeren als queries om relevante engrams op te halen. Een skip-verbinding met zero-initialized convoluties behoudt de structurele informatie van de scaffold om drift te voorkomen. Voor hoge-resolutie inferentie wordt het proces toegepast op een tile-wijze met overlappende vensters.

Belangrijkste Bijdragen

• Doel-Tijd Bewegings-Structuur Scaffold: De auteurs introduceren een scaffold die event-data integreert met referentie-context om expliciete structurele sturing te bieden voor reconstructie, in plaats van enkel te vertrouwen op bewegings-warping.
• Structuur-naar-Engram Interactie-interface: Zij vestigen een mechanisme waarbij scaffold-afgeleide structurele tokens relevante verschijnings-engrams activeren binnen een one-step diffusie-backbone. Deze associatie in de token-ruimte vermijdt rigide pixel-gewijze correspondentie, wat robuuste reconstructie mogelijk maakt bij grote verplaatsingen.
• Prestaties en Robuustheid: Uit uitgebreide experimenten blijkt dat de methode een superieure visuele kwaliteit en structurele getrouwheid bereikt vergeleken met de sterkste state-of-the-art baselines, met een opvallend langzamere degradatiesnelheid naarmate het reconstructie-interval toeneemt.

Experimentele Resultaten
De methode werd geëvalueerd op drie gesynchroniseerde event-frame datasets: BS-ERGB, ERF-X170FPS en HQ-EVFI.

• Kwantitatieve Prestaties: Engram-E2VID presteerde consequent beter dan de sterkste gelijke-input baseline (RE-VDM). Verbeteringen omvatten een toename van maar liefst 3,29 dB in PSNR en een reductie van tot wel 0,08 in LPIPS over de benchmarks.
• Robuustheid bij Lange Intervallen: Naarmate het temporele interval (skip) toenam, vertoonde Engram-E2VID een aanzienlijk langzamere prestatie-degradatie vergeleken met warping-gebaseerde methoden (bijv. VFPSIE) en andere diffusie-gebaseerde benaderingen. Zo was bijvoorbeeld op de BS-ERGB dataset de PSNR-daling van skip 1 naar 7 slechts 1,85 dB voor Engram-E2VID, vergeleken met 4,30 dB voor VFPSIE.
• Kwalitatieve Resultaten: Visuele vergelijkingen toonden scherpere objectgrenzen, minder visuele artefacten en een betere preservatie van scène-structuur en verschijningsdetails, met name in regio's met complexe beweging of occlusie.

Betekenis en Claims
Het artikel claimt dat Engram-E2VID de fundamentele beperking van bestaande referentie-gebaseerde methoden aanpakt door structurele sturing te ontkoppelen van verschijningsretrieval. Door de referentie-verschijning te organiseren als "engrams" en de doelstructuren toe te staan deze via aandacht te "activeren", maakt het framework getrouwe reconstructie mogelijk zonder afhankelijk te zijn van directe pixel-correspondentie. De auteurs stellen dat deze aanpak effectief de diffusie-prior benut om ambiguïteiten in onzekere of nieuw onthulde regio's op te lossen, terwijl de structurele consistentie behouden blijft. De resultaten suggereren dat deze associatie in de token-ruimte bijzonder voordelig is voor lange temporele intervallen waar traditionele bewegingsschatting faalt. Het artikel concludeert dat de methode hoogwaardige reconstructie bereikt zonder expliciete temporele consistentie-regularisatie, waarbij de temporele coherentie over onafhankelijk gereconstrueerde frames behouden blijft.