Engram-E2VID: Reference-Based Event-to-Video Reconstruction via Generative Activation of Appearance Engrams

Resumo Técnico: Engram-E2VID

Problema
A reconstrução de vídeo a partir de eventos baseada em referência visa recuperar quadros RGB alvo utilizando um quadro de referência e o fluxo de eventos assíncronos capturados durante o intervalo entre os carimbos de tempo da referência e do alvo. Embora as câmeras de eventos ofereçam resolução temporal de microssegundos e alto alcance dinâmico, elas codificam apenas mudanças relativas de log-intensidade, em vez de aparência, cor ou textura absolutas. Isso torna a reconstrução fiel inerentemente mal posta.

O desafio central reside em associar as estruturas esparsas e assíncronas derivadas de eventos no tempo alvo com a informação de aparência relevante do quadro de referência. Os métodos existentes normalmente dependem da estimativa de campos de movimento para deformar (warp) o quadro de referência. No entanto, sob movimento complexo, oclusão ou intervalos temporais longos, a simples deformação falha em reconstruir regiões recém-reveladas ou substancialmente alteradas. Além disso, abordagens recentes baseadas em difusão que utilizam eventos como condicionamento auxiliar frequentemente carecem de um mecanismo explícito para associar as estruturas derivadas de eventos com as pistas de aparência da referência, levando a inconsistências estruturais ou conteúdo alucinado.

Metodologia
Os autores propõem o Engram-E2VID, um framework guiado por estrutura que reconstrói quadros alvo através da "ativação generativa de engramas de aparência". O método opera dentro de um backbone de difusão de um único passo e consiste em duas etapas primárias:

1. Estimativa de Andaime Estrutural (Structural Scaffold Estimation):
   O fluxo de eventos assíncronos entre os carimbos de tempo da referência ($t_0$) e do alvo ($t_k$) é convertido em uma representação de voxel de evento espaço-temporal ($V$). Um U-Net de codificador duplo leve processa tanto o voxel de evento quanto o quadro de referência para estimar um "andaime de estrutura-movimento" ($\tilde{I}^s_{t_k}$). Este andaime não precisa ser fotorrealista; sua função principal é expor limites de movimento e estruturas da cena ao modelo de difusão.

2. Ativação de Engrama de Aparência (Appearance Engram Activation):
   O andaime e o quadro de referência são codificados em representações latentes ($z_s$ e $z_r$) usando um codificador VAE congelado.

   • Engramas: Os tokens latentes da referência ($z_r$) servem como "engramas de aparência", retendo informações visuais ricas.
   • Tokens de Andaime: Os tokens latentes do andaime ($z_s$) codificam a informação estrutural do tempo alvo.
   • Interação de Atenção Latente (LIA - Latent Interaction Attention): Uma nova interface de interação é introduzida onde os latentes do andaime e da referência são empilhados e rearranjados em uma sequência de tokens conjunta. Dentro dos blocos de transformer do backbone de difusão, camadas de autoatenção permitem que os tokens estruturais interajam com e ativem engramas de aparência relevantes. Esta associação ocorre no espaço de tokens em vez de através de uma transferência direta pixel a pixel, permitindo que o modelo acesse a aparência da referência apesar de grandes deslocamentos espaciais.

O framework utiliza um processo de difusão de um único passo (adaptado do SD-Turbo com LoRA), onde os tokens estruturais derivados do andaime atuam como consultas (queries) para recuperar engramas relevantes. Uma conexão de salto (skip connection) com convoluções de inicialização zero preserva a informação estrutural do andaime para evitar o desvio (drift). Para inferência de alta resolução, o processo é aplicado de maneira segmentada por blocos (tile-wise) com janelas sobrepostas.

Principais Contribuições

• Andaime de Estrutura-Movimento de Tempo-Alvo: Os autores introduzem um andaime que integra dados de eventos com contexto de referência para fornecer orientação estrutural explícita para a reconstrução, em vez de depender apenas de deformação de movimento (motion warping).
• Interface de Interação Estrutura-para-Engrama: Eles estabelecem um mecanismo onde os tokens estruturais derivados do andaime ativam engramas de aparência relevantes dentro de um backbone de difusão de um único passo. Esta associação no espaço de tokens evita a correspondência rígida pixel a pixel, permitindo uma reconstrução robusta sob grandes deslocamentos.
• Desempenho e Robustez: Experimentos extensivos demonstram que o método alcança qualidade visual e fidelidade estrutural superiores em comparação com as principais linhas de base (baselines) de mesmo estado da arte, com uma taxa de degradação notavelmente mais lenta conforme o intervalo de reconstrução aumenta.

Resultados Experimentais
O método foi avaliado em três conjuntos de dados sincronizados de eventos-quadros: BS-ERGB, ERF-X170FPS e HQ-EVFI.

• Desempenho Quantitativo: O Engram-E2VID superou consistentemente a linha de base de mesmo input mais forte (RE-VDM). As melhorias incluíram um aumento de até 3,29 dB no PSNR e uma redução de até 0,08 no LPIPS nos benchmarks.
• Robustez de Longo Intervalo: À medida que o intervalo temporal (skip) aumentava, o Engram-E2VID exibiu uma degradação de desempenho significativamente mais lenta em comparação com métodos baseados em deformação (ex: VFPSIE) e outras abordagens de difusão. Por exemplo, no conjunto de dados BS-ERGB, a queda de PSNR do skip 1 para 7 foi de apenas 1,85 dB para o Engram-E2VID, comparado a 4,30 dB para o VFPSIE.
• Resultados Qualitativos: Comparações visuais mostraram bordas de objetos mais nítidas, menos artefatos visuais e melhor preservação da estrutura da cena e detalhes de aparência, particularmente em regiões com movimento complexo ou oclusão.

Significância e Alegações
O artigo afirma que o Engram-E2VID aborda a limitação fundamental dos métodos de referência existentes ao desacoplar a orientação estrutural da recuperação de aparência. Ao organizar a aparência da referência como "engramas" e permitir que as estruturas alvo os "ativem" via atenção, o framework possibilita uma reconstrução fiel sem depender de correspondência direta de pixels. Os autores sustentam que esta abordagem aproveita efetivamente o prior de difusão para resolver ambiguidades em regiões incertas ou recém-reveladas, mantendo a consistência estrutural. Os resultados sugerem que esta associação no espaço de tokens é particularmente vantajosa para intervalos temporais longos, onde a estimativa de movimento tradicional falha. O artigo conclui que o método alcança reconstrução de alta qualidade sem regularização explícita de consistência temporal, mantendo a coerência temporal entre quadros reconstruídos independentemente.