TETO: Tracking Events with Teacher Observation for Motion Estimation and Frame Interpolation

Resumo Técnico: TETO (Tracking Events with Teacher Observation)

1. O Problema

As câmeras de eventos (event cameras) capturam mudanças de brilho por pixel com resolução temporal de microssegundos, fornecendo informações de movimento contínuas que são perdidas entre os quadros discretos das câmeras RGB tradicionais. Isso as torna ideais para estimativa de movimento em cenas dinâmicas e de alta velocidade.

No entanto, existem desafios significativos na área:

• Dependência de Dados Sintéticos: Os métodos atuais de estimativa de movimento baseados em eventos dependem fortemente de grandes volumes de dados sintéticos (simulados).
• Gap Sim-to-Real: Existe uma grande discrepância entre dados sintéticos e reais. Os dados sintéticos frequentemente falham em capturar a dinâmica temporal real dos eventos (como a distribuição do Inter-Event Interval - IEI), apresentando artefatos periódicos e não refletindo a complexidade de interações de objetos e oclusões do mundo real.
• Escassez de Dados Reais Anotados: Não há grandes conjuntos de dados reais de eventos com anotações de movimento (como fluxo óptico denso ou trajetórias de pontos) para treinamento supervisionado.
• Custo Computacional: Gerar dados sintéticos de alta qualidade é computacionalmente caro e limitado em escala.

O objetivo central do trabalho é: Como realizar estimativa de movimento baseada em eventos utilizando apenas uma pequena quantidade de dados reais não anotados?

2. Metodologia

Os autores propõem o TETO, um framework teacher-student (professor-aluno) que aprende estimativa de movimento a partir de apenas ~25 minutos de gravações reais não anotadas, através de destilação de conhecimento de um rastreador RGB pré-treinado.

A. Curação de Dados e Amostragem Consciente do Movimento

• Seleção de Dados: O modelo é treinado em cerca de 25 minutos de dados reais pareados (Evento-RGB) selecionados rigorosamente (ex: conjuntos EHPT-XC e ERF-X170FPS) que garantem alinhamento espacial preciso e diversidade de movimento.
• Geração de Pseudo-rótulos: Um rastreador RGB pré-treinado (o "Professor", baseado em AllTracker) gera pseudo-rótulos de trajetórias e fluxo óptico denso a partir dos quadros RGB.
• Decomposição de Movimento: Para evitar que o modelo aprenda apenas o movimento da câmera (ego-motion), que domina os eventos, o fluxo óptico do professor é decomposto. Um modelo afim global é estimado via RANSAC para isolar o movimento residual dos objetos.
• Amostragem de Consultas (Query Sampling): O sistema sobreamostra pontos de consulta nas regiões de movimento residual (objetos dinâmicos), garantindo que o modelo aprenda a rastrear objetos independentes e não apenas o fundo estático.

B. Arquitetura do Modelo (Estudante)

• Rede de Concentração (Concentration Network): Como os eventos são esparsos e temporais, uma rede leve (U-Net) converte pilhas de eventos multiescala em uma representação de 3 canais, compatível com o codificador do rastreador RGB pré-treinado.
• Estimativa Conjunta: O modelo estudante prevê simultaneamente trajetórias de pontos (rastreamento esparso) e fluxo óptico denso em uma única passagem.
• Objetivo de Treinamento: O modelo é supervisionado pelas pseudo-rótulos do professor usando perda de trajetória (ponderada por visibilidade e confiança) e perda de consistência de fluxo.

C. Interpolação de Quadros de Vídeo (VFI)
O estimador de movimento do TETO é utilizado como prior explícito para um framework de interpolação de vídeo baseado em difusão:

1. Máscara de Movimento de Eventos: Derivada diretamente da acumulação de eventos brutos, identifica regiões dinâmicas para guiar a geração.
2. Warpping no Espaço Latente: O fluxo óptico denso do TETO é usado para alinhar espacialmente os quadros de borda no espaço latente antes da difusão.
3. Atenção Guiada por Trajetória: As trajetórias de pontos do TETO supervisionam os mapas de atenção do Video Diffusion Transformer (DiT), garantindo correspondências geométricas precisas durante a geração de quadros intermediários.

3. Principais Contribuições

1. Eficiência de Dados: Demonstração de que é possível alcançar desempenho state-of-the-art (SOTA) em estimativa de movimento baseada em eventos usando apenas ~25 minutos de dados reais não anotados, eliminando a necessidade de pipelines de síntese massivos.
2. Framework de Destilação: Proposta de um método eficaz para transferir capacidades de correspondência de rastreadores RGB para o domínio de eventos, superando o gap sim-to-real através da curadoria de dados e amostragem inteligente.
3. Aplicação em Interpolação: Criação de um pipeline de interpolação de vídeo que utiliza sinais de movimento explícitos (fluxo e trajetórias) de eventos para melhorar significativamente a fidelidade da síntese em cenas dinâmicas.
4. Novas Métricas: Introdução do OATS (Object-Adherent Trajectory Score), uma métrica proxy para avaliar rastreamento em cenas altamente dinâmicas sem anotações de verdade absoluta, utilizando segmentação de objetos (SAM3).

4. Resultados

O TETO foi avaliado em múltiplos benchmarks do mundo real:

• Rastreamento de Pontos (EVIMO2): Alcançou o melhor desempenho (SOTA) em todas as métricas (AJ, $\delta_{x}^{avg}$, OA), superando métodos treinados com horas de dados sintéticos massivos (como ETAP e MATE).
• Fluxo Óptico (DSEC): No cenário zero-shot (sem ajuste fino no domínio de direção), superou vários métodos supervisionados e auto-supervisionados. Com ajuste fino usando pseudo-rótulos, superou todos os métodos comparados em erro angular (AE) e erro de ponto final (EPE).
• Interpolação de Vídeo (BS-ERGB e HQ-EVFI):
  • Alcançou a melhor qualidade perceptual (FID e LPIPS mais baixos) em benchmarks de movimento extremo.
  • Produz bordas mais nítidas e menos artefatos de "fantasma" em comparação com métodos baseados apenas em RGB ou fluxos ópticos tradicionais.
• Robustez: O modelo demonstrou capacidade de rastrear objetos em condições extremas (noite, alta velocidade, oclusão) onde o modelo professor (RGB) falha, provando que o estudante aprendeu a aproveitar as pistas temporais dos eventos.

5. Significância e Impacto

O trabalho TETO representa uma mudança de paradigma na visão computacional baseada em eventos:

• Qualidade > Quantidade: Demonstra que a qualidade dos dados reais (mesmo em pequena escala) é superior à escala de dados sintéticos quando combinada com estratégias de aprendizado adequadas (destilação e curadoria).
• Viabilidade Prática: Remove a barreira de entrada para aplicações de eventos, que antes exigiam infraestrutura complexa de geração de dados sintéticos.
• Sinergia Multimodal: Mostra como a fusão de sensores de eventos (alta velocidade) com modelos de difusão de vídeo pode resolver problemas fundamentais de interpolação e síntese em cenas dinâmicas, abrindo caminho para aplicações em robótica, direção autônoma e realidade aumentada onde o tempo de resposta e a precisão do movimento são críticos.