Resumo Técnico: ENCORE – Refinamento de Movimento Complementar Assistido por Eventos para Compressão de Vídeo Aprendida

1. Definição do Problema

A compressão de vídeo aprendida (LVC) depende fortemente de um modelagem temporal precisa para explorar a redundância entre quadros adjacentes. No entanto, os codecs existentes inferem o movimento unicamente a partir de quadros RGB amostrados discretamente. Essa abordagem torna-se pouco confiável em cenários que envolvem movimento rápido, desfoque de movimento (motion blur), oclusão, texturas fracas, baixa iluminação ou mudanças abruptas de brilho. A modelagem temporal imprecisa degrada a qualidade da predição, aumenta a incerteza nas representações de movimento e resíduo e, consequentemente, eleva as taxas de bits (bitrates).

Embora a compressão multimodal exista, a maioria dos métodos ou codifica conjuntamente múltiplas modalidades (ex: RGB-D, estéreo) ou utiliza modalidades auxiliares para orientação semântica (ex: texto-para-imagem). Há uma carência de métodos que utilizem um fluxo temporal auxiliar especificamente para refinar a estimativa de movimento para a compressão de vídeo RGB sem reconstruir o sinal auxiliar em si. As câmeras de eventos, que capturam assincronamente mudanças de intensidade detalhadas com alta resolução temporal e faixa dinâmica, oferecem evidências complementares aos quadros RGB em relação à dinâmica inter-quadro. No entanto, a fusão ingênua de dados de eventos frequentemente introduz ruído e redundância, falhando em melhorar o desempenho da compressão.

2. Metodologia

Os autores propõem o ENCORE (Event-Assisted Complementary Motion Refinement), um framework que integra fluxos de eventos como uma modalidade auxiliar para refinar a estimativa de movimento dentro de um pipeline padrão de compressão de vídeo aprendida. O sistema mantém o RGB como o único alvo de codificação e reconstrução, utilizando os eventos apenas para auxiliar a modelagem de movimento do codificador.

O framework é construído sobre o backbone HyTIP e insere três módulos especializados na interface de estimativa de movimento do lado do codificador:

A. Representação de Movimento Complementar (CMR)

O módulo CMR decompõe características RGB e de eventos alinhadas em três componentes distintos para evitar a diluição de pistas complementares:

1. Movimento Comum ($F^c_t$): Estruturas suportadas por ambas as modalidades (ex: padrões de deslocamento dominante).
2. Movimento Específico de RGB ($F^{r,s}_t$): Informação única da aparência densa do RGB.
3. Movimento Específico de Evento ($F^{e,s}_t$): Dinâmicas únicas do fluxo de eventos (ex: transições rápidas de brilho).

Esta decomposição é imposta via uma perda de reconstrução (para preservar a informação original) e uma perda de separação (para garantir a ortogonalidade entre os ramos), impedindo que o ramo comum duplique a informação específica da modalidade.

B. Calibração Informada por Energia Espacial e Redundância (SERIC)

Nem todas as respostas de eventos são úteis; algumas são ruído, redundantes com o RGB ou fracas. O SERIC identifica e calibra a evidência de evento mais valiosa:

• Mapa de Atividade ($E_t$): Mede a energia local (magnitude ao quadrado) da característica específica de evento para identificar regiões ativas.
• Mapa de Novidade ($N_t$): Calcula a discrepância entre a característica de evento e a característica RGB (projetada no espaço de eventos) para identificar evidências não explicadas pelo RGB.
• Estimativa de Utilidade: Uma função aprendível combina $E_t$ e $N_t$ para gerar um mapa de utilidade ($U_t$). Este mapa suprime respostas fracas ou redundantes enquanto retém regiões onde os eventos fornecem evidências dinâmicas novas e de alta energia.
• Predição de Correção: A característica de evento calibrada é combinada com o movimento comum para prever uma correção de fluxo candidata ($\Delta v_t$).

C. Roteamento Consciente de Energia (EAR)

A etapa final determina onde e quão fortemente a correção candidata deve refinar o fluxo RGB inicial.

• A rede de roteamento recebe como entrada a atividade local, a novidade, a magnitude do fluxo RGB inicial e a magnitude da correção.
• Ela produz um mapa de roteamento espacial ($G_t \in [0, 1]$) que atua como um portão (gate).
• Fluxo Refinado: O vetor de movimento final é computado como $v^{evt}_t = v^r_t + G_t \odot \Delta v_t$.
• Este mecanismo garante que, em regiões onde o fluxo RGB já é confiável, a correção seja suprimida (aproximando-se de zero), evitando perturbações desnecessárias. Em regiões com dinâmicas complementares fortes, a correção é aplicada.

D. Otimização

O sistema é treinado de ponta a ponta para minimizar o custo de taxa-distorção ($L_{RD}$) do vídeo RGB reconstruído. Perdas auxiliares são usadas durante o treinamento para guiar a decomposição e o alinhamento, mas são descartadas na inferência:

• Perdas de Reconstrução ($L_r, L_s$): Impõem a qualidade da decomposição CMR.
• Perda de Alinhamento de Movimento ($L_m$): Destila o deslocamento RGB confiável para o ramo de eventos usando uma máscara de confiabilidade derivada do erro fotométrico.
• Perda de Warping ($L_w$): Supervisiona o fluxo refinado minimizando o erro de warping do quadro anterior.

3. Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Primeira Aplicação: Tanto quanto os autores sabem, este é o primeiro trabalho a utilizar dados de eventos como uma modalidade auxiliar especificamente para compressão de vídeo RGB, melhorando a predição temporal enquanto mantém o RGB como o alvo exclusivo de codificação.
2. Framework de Refinamento Progressivo: O desenvolvimento de uma arquitetura inovadora (CMR, SERIC, EAR) que separa explicitamente o movimento comum e o específico de cada modalidade, identifica evidências de eventos ativas não explicadas pelo RGB e roteia espacialmente a correção de fluxo resultante.
3. Avaliação Abrangente: Experimentos extensos em três conjuntos de dados RGB-evento (BS-ERGB, HQ-EVFI, CED) e dois cenários de Grupo de Quadros (GOP), demonstrando ganhos consistentes de codificação com um aumento marginal na complexidade computacional (aumento de 7,3% nos GFLOPs por P-frame).

4. Resultados Experimentais

Os autores avaliaram o ENCORE contra um baseline HyTIP apenas de RGB e uma abordagem de concatenação ingênua de RGB+Evento.

• Datasets: BS-ERGB (primário), HQ-EVFI (alta taxa de quadros) e CED (sensor diferente).
• GOP Curto (GOP=8): No BS-ERGB, o ENCORE alcançou uma economia de BD-rate de 19,31% em PSNR-RGB e 16,73% em MS-SSIM-RGB. A abordagem de concatenação ingênua teve um desempenho pior que o baseline, destacando a necessidade dos módulos de refinamento propostos.
• GOP Longo (GOP=32): No BS-ERGB, o ENCORE alcançou até 20,80% de economia de BD-rate em PSNR-RGB e 22,14% em MS-SSIM-RGB.
• Generalização: Ganhos consistentes foram observados no HQ-EVFI e CED, demonstrando robustez através de diferentes condições de captura e tipos de sensores.
• Complexidade: O framework adiciona apenas um aumento de 7,3% nos GFLOPs totais por P-frame em comparação ao backbone.

5. Significância e Alegações

O artigo posiciona o ENCORE como uma solução para as limitações da modelagem temporal baseada apenas em RGB em cenários desafiadores de compressão de vídeo. Sua significância reside em:

• Eficiência: Demonstra que sensores auxiliares podem reduzir significativamente a taxa de bits sem o overhead de reconstruir o sinal auxiliar ou codificar conjuntamente múltiplas modalidades.
• Robustez: Ao calibrar e rotear explicitamente a evidência de eventos, o método evita as armadilhas da fusão de características ingênua, lidando efetivamente com o ruído e a redundância inerentes aos fluxos de eventos.
• Praticidade: O framework integra-se perfeitamente em pipelines de compressão aprendida existentes (especificamente HyTIP) com mudanças arquiteturais mínimas e baixo overhead computacional, tornando-o um candidato viável para futuros padrões de compressão de vídeo onde câmeras de eventos possam estar disponíveis.

Os autores permanecem modestos, observando que, embora os resultados sejam consistentes e significativos, o método é projetado especificamente para cenários onde os dados de eventos estão sincronizados e disponíveis no codificador, e o cabeçalho auxiliar é descartado na inferência.