Resumo Técnico: EgoAVU: Compreensão Audiovisual Egocêntrica

Declaração do Problema

A compreensão de vídeos egocêntricos é crítica para a inteligência incorporada (embodied intelligence) e realidades mistas, mas apresenta desafios únicos devido ao movimento altamente dinâmico da câmera, campos de visão limitados e oclusões frequentes do próprio usuário. Embora os modelos de linguagem de grande escala multimodais (MLLMs) recentes possam processar entradas visuais e auditivas, sua capacidade de compreender conjuntamente sinais audiovisuais em ambientes egocêntricos permanece subexplorada.

O principal gargalo é a falta de dados de alta qualidade e em larga escala com informações conjuntas coerentes entre as modalidades. Os conjuntos de dados egocêntricos existentes (ex: Ego4D, MultiHop-EgoQA) dependem fortemente de narrações humanas que frequentemente tendem para interações humano-objeto, carecendo de um contexto ambiental mais amplo e de sinais auditivos diversos. Além disso, os benchmarks existentes focam primordialmente em pistas visuais, falhando em avaliar o raciocínio audiovisual integrado. Mesmo os MLLMs capazes de lidar com ambas as modalidades (ex: Qwen2.5-Omni, Video-LLaVA2) são predominantemente treinados em dados exocêntricos, levando a uma lacuna significativa em sua capacidade de generalizar para a dinâmica egocêntrica, resultando frequentemente em um viés para sinais visuais e negligência de pistas auditivas.

Metodologia: O Pipeline EgoAVU

Para abordar essas limitações, os autores introduzem o EgoAVU, um motor de dados totalmente automatizado e escalável projetado para gerar dados audiovisual-linguagem diversos e de alta qualidade a partir de conjuntos de dados egocêntricos públicos (especificamente o Ego4D). O pipeline consiste em quatro componentes principais:

1. Melhoria da Narração Egocêntrica:
   Em vez de depender de um único MLLM para processar áudio e vídeo simultaneamente (o que os autores descobriram que leva ao viés de modalidade e alucinação), o EgoAVU emprega uma abordagem modular usando MLLMs de código aberto especializados.

   • Visual: Um legendador de imagens (ex: Qwen2.5-VL) processa o quadro central para gerar descrições espaciais detalhadas.
   • Temporal/Ação: Um legendador de vídeo (ex: Qwen2.5-Omni sem áudio) gera narrações coerentes em nível de vídeo.
   • Áudio: O mesmo modelo atua como um legendador de áudio (sem vídeo) para produzir narrações auditivas detalhadas, capturando tanto sons de primeiro plano (ex: impactos) quanto sons de fundo (ex: vento).
   • Essas saídas unimodais são alinhadas temporalmente para enriquecer as narrações humanas originais.

2. Filtragem de Vídeo para Diversidade:
   Para garantir que o conjunto de dados capture dinâmicas audiovisuais ricas, o sistema calcula a Razão Tipo-Token de Média Móvel (MATTR) nas narrações aprimoradas tokenizadas. Vídeos com pontuações MATTR baixas (indicando descrições repetitivas ou estáticas) são filtrados, retendo apenas clipes com alta diversidade lexical de objetos, ações e sons.

3. Geração de Narração Áudio-Visual via Grafos de Contexto Multimodal (MCG):
   Para fundir as narrações unimodais independentes em uma descrição conjunta coerente, o EgoAVU constrói um Grafo de Contexto Multimodal (MCG). Um LLM (LLaMA-70B) analisa as narrações aprimoradas para extrair relações estruturadas:

   • Objetos de Interação: Objetos fisicamente manipulados pelo usuário.
   • Objetos de Fundo: Objetos visíveis, mas não interagidos.
   • Sons de Primeiro Plano: Sons correlacionados com ações específicas ou fontes visíveis.
   • Sons de Fundo: Sons sem fundamentação visual.
     O LLM então utiliza o MCG e as narrações aprimoradas para gerar uma narração audiovisual unificada e densa que vincula explicitamente ações, objetos e sons.

4. Geração de QA (Perguntas e Respostas):
   Usando as narrações unificadas, o sistema sintetiza pares de pergunta-resposta cobrindo cinco categorias:

   • Abertas: Associação Fonte-Som (SSA), Narração de Segmento Audiovisual (AVSN) e Narração Densa Audiovisual (AVDN).
   • Fechadas: Raciocínio Temporal (TR) e Alucinação Audiovisual (AVH).

Principais Contribuições

• EgoAVU-Instruct: Um conjunto de dados de treinamento em larga escala composto por 3 milhões de amostras audiovisual-linguagem derivadas de 9.000 vídeos egocêntricos.
• EgoAVU-Bench: Um benchmark de avaliação verificado manualmente contendo 3.000 pares de QA em 900 vídeos distintos, cobrindo diversas tarefas e cenários (cozinhar, construção, etc.) com uma duração média de vídeo de 4 minutos.
• Motor de Dados Automatizado: Um pipeline escalável que utiliza modelos de código aberto para gerar dados audiovisuais conjuntos sem depender de APIs de código fechado, garantindo a reprodutibilidade.
• Taxonomia de Tarefas: Um framework estruturado para avaliar a compreensão audiovisual egocêntrica, distinguindo entre fundamentação (grounding), raciocínio temporal e alucinação.

Resultados

Os autores avaliaram os MLLMs existentes e seus próprios modelos ajustados (fine-tuned) no EgoAVU-Bench:

• Limitações das Linhas de Base (Baselines): Os MLLMs existentes (incluindo Qwen2.5-Omni, VideoLLaVA2 e MiniCPM-o) demonstraram limitações significativas. Eles exibiram um forte viés para sinais visuais, frequentemente negligenciando pistas auditivas ou falhando em associar corretamente sons com suas fontes visuais.
  • Associação Fonte-Som (SSA): Os modelos de base pontuaram abaixo de 1.6/5 em avaliações de LLM-como-juiz.
  • Raciocínio Temporal (TR): A melhor linha de base alcançou apenas 53,2% de precisão.
  • Alucinação (AVH): Modelos frequentemente alucinaram fontes de som, com precisão abaixo de 43%.
• Ganhos de Desempenho: O ajuste fino de MLLMs (especificamente o Qwen2.5-Omni 7B) no EgoAVU-Instruct resultou em melhorias substanciais:
  • Até 113,3% de melhoria relativa de desempenho em tarefas abertas.
  • Até 44,5% de melhoria relativa de desempenho em tarefas fechadas.
  • Reduções significativas nas taxas de alucinação em ações, objetos e sons.
• Generalização: Os ganhos de desempenho foram transferidos para outros benchmarks egocêntricos, como EgoTempo (ganho de até 28,1% de precisão) e EgoIllusion (ganho de até 7,2%), mantendo um desempenho competitivo em benchmarks exocênticos como VideoMME e AVQA.

Significância e Alegações

O artigo afirma que o EgoAVU aborda uma lacuna crítica na inteligência incorporada ao fornecer o primeiro framework automatizado e em larga escala para gerar e avaliar a compreensão audiovisual egocêntrica. O trabalho demonstra que:

1. Os atuais MLLMs são visualmente enviesados: Eles lutam para integrar pistas auditivas em contextos dinâmicos de primeira pessoa sem treinamento específico.
2. A geração de dados modular é eficaz: Usar modelos especializados para extrair características unimodais antes de fundi-las via grafos de contexto produz dados conjuntos de maior qualidade do que o prompting multimodal direto.
3. Potencial de autoaprendizado: O estudo destaca que alavancar as capacidades unimodais dos MLLMs pode melhorar efetivamente suas capacidades de múltiplas modalidades, sugerindo um caminho para futuros sistemas de autoaperfeiçoamento.

Os autores reconhecem que seus dados de treinamento, embora filtrados, ainda contêm o ruído inerente aos outputs de MLLMs de código aberto, mas postulam que isso diminuirá conforme os modelos unimodais subjacentes melhorarem. O código, os dados e os benchmarks são liberados para a comunidade para facilitar pesquisas adicionais neste domínio.