EgoVITA: Learning to Plan and Verify for Egocentric Video Reasoning

1. O Problema

A compreensão de vídeos em primeira pessoa (egocêntricos) apresenta desafios únicos devido à observabilidade parcial, movimento contínuo da câmera e oclusões frequentes. Modelos de Linguagem Multimodal (MLLMs) atuais, embora avançados, falham neste cenário ao gerar respostas que parecem plausíveis, mas são visualmente inconsistentes ou mal fundamentadas.

As principais deficiências identificadas são:

• Falta de Raciocínio Procedural: Os modelos têm dificuldade em prever como as ações e os estados dos objetos evoluem ao longo do tempo.
• Alucinações Espaciais e Temporais: Eles frequentemente falham em manter representações coerentes de objetos e objetivos ao longo da sequência temporal.
• Esquecimento Catastrófico: Técnicas de ajuste fino supervisionado (SFT) em dados egocêntricos tendem a melhorar o desempenho nesse domínio específico, mas degradam significativamente a capacidade do modelo em tarefas de vídeo em terceira pessoa (exocêntricas), limitando a generalização.
• Falta de Validação Cruzada: Não existem mecanismos explícitos para validar previsões de primeira pessoa contra restrições mais amplas da cena (como layout e affordances de objetos) que são mais facilmente percebidas de uma perspectiva externa.

2. Metodologia: EgoVITA

O EgoVITA (Egocentric Video Intelligence and Thinking Agent) é um framework que decompõe o raciocínio em vídeo egocêntrico em um processo estruturado de "Planejar e Verificar", utilizando Aprendizado por Reforço (RL).

Arquitetura de Duas Etapas

O modelo gera uma trajetória de raciocínio dividida em três segmentos contíguos:

1. Planejamento Egocêntrico (<ego_plan>): O modelo gera uma sequência causal de ações antecipadas a partir da perspectiva de primeira pessoa (ex: "Pegar a faca", "Colocar na tábua").
2. Verificação Exocêntrica (<exo_verify>): Uma etapa dedicada audita o plano gerado a partir de uma perspectiva de terceira pessoa. O modelo avalia se as ações planejadas são fisicamente plausíveis dadas a disposição da cena, affordances dos objetos e contexto observável (ex: "A faca está visível no balcão. O plano é consistente").
3. Resposta Final (<answer>): A resposta final é condicionada tanto ao plano quanto à verificação.

Treinamento e Otimização

O treinamento ocorre em duas fases:

• Fase I (SFT - Ajuste Fino Supervisionado): Inicializa o modelo para gerar trajetórias de "planejar-verificar" usando dados anotados por humanos (EgoProceL e HD-EPIC), transformados em raciocínios de cadeia de pensamento (Chain-of-Thought) por um modelo professor (Qwen2.5-VL-72B).
• Fase II (GRPO - Otimização de Política Relativa de Grupo): Otimiza a política usando o algoritmo GRPO. Em vez de recompensas esparsas (apenas acerto/erro final), o framework utiliza dois sinais de recompensa densa:
  • Ancoragem Cruzada Antecipatória (ACMG - Anticipatory Cross-Modal Grounding): Uma recompensa densa que alinha as cláusulas do plano egocêntrico com quadros visuais futuros. O modelo projeta o estado textual do plano em um espaço de embedding visual e calcula a similaridade de cosseno com os próximos $N$ quadros (janela temporal). Isso força o modelo a "olhar para frente" e garantir que suas previsões correspondam à evolução visual real.
  • Recompensa de Confiança (Confidence Reward): Reforça a consistência da verificação de terceira pessoa. Inicialmente, usa um modelo professor para guiar a verificação; posteriormente, usa um mecanismo de auto-avaliação (ranking) para preferir verificações que melhor reconciliam o plano com as observações visuais.

Regularização Exocêntrica

Para evitar o esquecimento catastrófico de tarefas em terceira pessoa, o treinamento intercala atualizações do GRPO com um passo de regularização leve em um conjunto de dados exocêntrico (MSR-VTT), garantindo que o modelo mantenha capacidades gerais de raciocínio visual.

3. Principais Contribuições

1. Framework de Decomposição: Propõe a separação explícita entre planejamento egocêntrico e verificação exocêntrica, criando um mecanismo de feedback cruzado entre perspectivas sem exigir pares de vídeo sincronizados (ego-exo).
2. Mecanismos de Recompensa Densa: Introduz a recompensa ACMG para alinhamento temporal com o futuro e a recompensa de Confiança para validação lógica, superando as limitações de recompensas esparsas baseadas apenas no formato ou na resposta final.
3. Generalização Cruzada: Demonstra que é possível melhorar o raciocínio procedimental em primeira pessoa sem sacrificar (e até melhorando) o desempenho em benchmarks de vídeo em terceira pessoa, resolvendo o problema do "esquecimento catastrófico".

4. Resultados

O EgoVITA foi avaliado em vários benchmarks de estado da arte, utilizando modelos base como Qwen2.5-VL-7B, InternVL3.5-8B e Qwen3-VL-8B.

• Desempenho em Vídeo Egocêntrico:
  • Superou o Qwen2.5-VL-7B em +7.7 pontos no benchmark EgoBlind (assistência visual para cegos).
  • Melhorou em +4.4 pontos no EgoOrient (orientação egocêntrica).
  • Ganhos consistentes em EgoPlan, EgoThink e EOC-Bench.
• Desempenho em Vídeo Exocêntrico:
  • Ao contrário de métodos anteriores (como o EgoThinker) que sofrem degradação em tarefas gerais, o EgoVITA manteve ou melhorou o desempenho em benchmarks como Video-MME, MVBench e DocVQA.
  • Por exemplo, o InternVL-3.5 ganhou +2.7 pontos no Video-MME após o treinamento com EgoVITA.
• Eficiência de Dados: Alcançou resultados de ponta (SOTA) utilizando apenas 47k amostras de treinamento, comparado a métodos que exigem milhões de amostras e sofrem com perda de generalização.
• Análise de Ablação: Estudos mostraram que a remoção da etapa de verificação exocêntrica prejudica o desempenho geral, e a remoção da recompensa ACMG reduz significativamente a capacidade de raciocínio temporal. A regularização exocêntrica foi crucial para reverter o esquecimento catastrófico.

5. Significado e Impacto

O trabalho do EgoVITA representa um avanço significativo na compreensão de vídeos egocêntricos ao abordar a lacuna fundamental entre a previsão de ações de primeira pessoa e a validação física do mundo.

• Mudança de Paradigma: Move-se de uma abordagem puramente generativa para uma abordagem de raciocínio estruturado com verificação, inspirada em processos cognitivos humanos de planejamento e auditoria.
• Robustez e Segurança: A capacidade de detectar inconsistências visuais e lógicas (como mostrado nos exemplos de qualidades onde o modelo corrige alucinações sobre objetos ou passos omitidos) é vital para aplicações de assistentes pessoais e tecnologias assistivas para pessoas com deficiência visual.
• Escalabilidade: A demonstração de que é possível transferir conhecimento entre perspectivas (ego/exo) sem dados pareados sincronizados abre caminho para o treinamento de agentes robóticos e assistentes de IA mais robustos e generalizáveis, utilizando dados disponíveis publicamente de forma mais eficiente.

Em resumo, o EgoVITA estabelece um novo estado da arte ao provar que a decomposição de tarefas complexas em planejamento e verificação, combinada com recompensas de aprendizado por reforço densas e orientadas ao futuro, é a chave para um raciocínio procedural robusto em vídeos de primeira pessoa.