Resumo Técnico: TRACE – Compreensão de Eventos em Múltiplos Vídeos e Geração de Afirmações Guiada por Ancoragem de Evidências

Declaração do Problema

A compreensão de eventos em múltiplos vídeos exige que os modelos não apenas reconheçam o conteúdo visual, mas localizem e atribuam peças específicas de evidência dispersas em corpora de vídeo longos e heterogêneos para responder a consultas de usuários. Os Modelos Atuais de Visão-Linguagem de Grande Escala (LVLMs) enfrentam dificuldades nesse regime devido a dois modos de falha primários:

1. Saturação de Contexto: Os LVLMs possuem janelas de contexto limitadas, forçando uma subamostragem temporal agressiva que frequentemente omite momentos breves e ricos em informações (por exemplo, faixas de notícias, placares ou sobreposições de transmissão) críticos para consultas factuais.
2. Atenção Desalinhada: Quando solicitados diretamente com vídeo bruto, os LVLMs tendem a focar em conteúdo visualmente saliente em vez de evidências relevantes para a consulta, produzindo resumos narrativos amplos em vez de afirmações precisas e atribuíveis.

As abordagens existentes frequentemente dependem de expansão de contexto à força bruta ou amostragem uniforme de quadros, o que falha em abordar o desafio central de identificar quais quadros importam antes de processá-los.

Metodologia: O Framework TRACE

O TRACE introduz um paradigma de ancoragem antes do raciocínio. Em vez de pedir a um LVLM que descubra evidências e gere afirmações conjuntamente, o framework decompõe a tarefa em uma etapa de ancoragem baseada em texto e leve, seguida por raciocínio multimodal guiado.

1. Ancoragem de Vídeo Estruturada

O sistema converte primeiro vídeos longos e não estruturados em uma linha do tempo pesquisável por texto usando processamento leve e não visual:

• Detecção de Objetos: O YOLOv12 processa quadros amostrados para detectar objetos (por exemplo, pessoas, microfones, pódios). Padrões de co-ocorrência fornecem sinais contextuais (por exemplo, identificar uma conferência de imprensa).
• Reconhecimento de Texto (OCR): Um módulo de OCR extrai texto visível de sobreposições de transmissão, placares e legendas inferiores. Isso captura sinais semânticos de alta precisão (entidades, estatísticas, locais) que os detectores de objetos perdem.
• Construção da Linha do Tempo: Esses fluxos são mesclados em uma linha do tempo cronológica e serializável por texto $F = \{(t, D_t, T_t)\}$, onde $D_t$ representa objetos detectados e $T_t$ representa texto OCR.

2. Localização de Evidências Condicionada à Consulta

Um LLM apenas de texto (Qwen3-30B) opera na linha do tempo estruturada para realizar a localização de evidências sem invocar um codificador de visão:

• Alinhamento: A linha do tempo é particionada em janelas e serializada. O LLM alinha essas representações de texto com a consulta do usuário e a persona para identificar momentos relevantes.
• Ponte da Lacuna: Esta etapa traduz saídas de detectores de baixo nível em intenção semântica, identificando evidências indiretas (por exemplo, uma sobreposição de "porcentagem de votos") mesmo sem correspondências explícitas de palavras-chave.
• Resumo de Ancoragem: O LLM sintetiza uma descrição semântica coerente da evidência localizada, atuando como uma ponte entre a percepção bruta e o raciocínio a jusante.

3. Geração de Afirmações Guiada por Ancoragem

Um LVLM a jusante (Qwen3-VL-30B) gera afirmações condicionadas a orientações explícitas:

• Seleção Híbrida de Quadros: A entrada visual combina quadros amostrados uniformemente (para cobertura narrativa) com quadros-chave direcionados à orientação identificados durante a etapa de localização.
• Alinhamento Temporal: Os índices dos quadros são passados como metadados posicionais explícitos para preservar o espaçamento temporal nas incorporações de posição rotativa do modelo, garantindo que as anotações de texto se alinhem com os tokens visuais.
• Fusão de Evidências: O LVLM recebe os quadros híbridos, a consulta, a persona, o resumo de ancoragem e anotações estruturadas (carimbos de data/hora, objetos, OCR). É instruído a gerar afirmações de uma única frase fundamentadas em evidências observadas, priorizando fatos específicos sobre paráfrases vagas.

4. Consolidação de Afirmações entre Vídeos

Afirmações de múltiplos vídeos são agregadas para formar um relatório de evento unificado:

• Agrupamento Semântico: As afirmações geradas são incorporadas e agrupadas com base na similaridade.
• Verificação: Um LLM verifica os agrupamentos sob um critério estrito de "mesma proposição" para distinguir paráfrases genuínas de afirmações factualmente distintas.
• Propagação de Citações: O sistema retém a afirmação mais completa em informações como representação canônica e propaga a união das citações de vídeo de suporte em todos os membros do agrupamento, maximizando o recall de citações.

Contribuições Principais

1. Pipeline Guiado por Ancoragem: Uma arquitetura inovadora que constrói uma linha do tempo de vídeo estruturada e pesquisável por texto via OCR e detecção de objetos, permitindo a localização de evidências condicionada à consulta antes da inferência visual dispendiosa.
2. Paradigma de Ancoragem Antes do Raciocínio: Uma estratégia que separa a descoberta de evidências da geração multimodal, abordando o gargalo de contexto e o desalinhamento de atenção dos LVLMs atuais.
3. Framework Híbrido: Um sistema que combina seleção direcionada de quadros-chave com deduplicação de afirmações entre vídeos e propagação de citações.
4. Desempenho de Ponta: Alcançamento dos melhores resultados na avaliação MAGMaR 2026 e forte generalização no conjunto de dados WikiVideo.

Resultados Experimentais

Os autores avaliaram o TRACE na Trilha Oracle MAGMaR 2026 (8 tópicos de eventos noticiosos do mundo real) e no conjunto de dados WikiVideo (52 consultas, 398 vídeos).

Resultados MAGMaR 2026

• Desempenho Geral: O TRACE alcançou as pontuações mais altas na tabela de classificação oficial, com um F1 Médio de 0,499 (InfoF1: 0,551, CiteF1: 0,447), superando a equipe em segundo lugar (HAIVLab) por 0,049 pontos.
• Comparação com Baselines: Comparado a uma baseline não orientada Qwen3-VL-30B no conjunto de validação, o TRACE melhorou o MiRAGE F1 médio macro de 0,705 para 0,811.
• Recall de Citações: A melhoria mais significativa foi no recall de citações, subindo de 0,440 para 0,628 (+42,7% relativo), demonstrando a capacidade do framework de identificar e citar a gama completa de fontes relevantes em vez de apenas o vídeo mais saliente.
• Avaliação Humana: O TRACE ficou em segundo lugar na avaliação humana (3,825/5,0), ficando atrás da equipe principal por apenas 0,008 pontos.

Generalização WikiVideo

• O TRACE manteve o F1 Médio mais alto (0,879) no WikiVideo, superando as baselines Qwen3-VL-8B e Qwen3-VL-30B.
• Embora a margem absoluta tenha sido menor devido à duração mais curta e distribuição uniforme dos vídeos do WikiVideo (o que beneficia a amostragem uniforme), o método ainda alcançou o maior recall de citações (0,838).

Estudos de Ablação

• Impacto da Ancoragem: Todas as variantes do pipeline superaram a baseline não orientada mais forte, confirmando que a ancoragem multimodal é a principal fonte de melhoria.
• Estratégia de Agregação: Agregação de similaridade baseada em incorporação com verificação por LLM (EMBED-SIM) superou a fusão pura por LLM, particularmente no F1 de citações.
• Aumento de Quadros-Chave: Adicionar quadros-chave direcionados à orientação melhorou o Recall de Informações (InfoR), mostrando que a ancoragem baseada em texto direciona com sucesso o modelo para evidências visuais perdidas pela amostragem uniforme.

Significado e Afirmações

O artigo argumenta que a ancoragem baseada em percepção estruturada é um princípio eficaz e transferível para a atribuição de afirmações em vídeo. Ao transferir o ônus da localização de evidências da etapa dispendiosa de raciocínio visual para uma etapa leve e serializável por texto, o TRACE mitiga a saturação de contexto e direciona a capacidade visual para momentos evidencialmente relevantes.

Os autores afirmam que essa abordagem:

• Resolve o problema da "agulha no palheiro" na compreensão de vídeos longos sem exigir janelas de contexto massivas.
• Melhora a completude factual e a fidelidade de atribuição, que são críticas para a compreensão de eventos em múltiplos vídeos.
• Fornece uma alternativa escalável ao processamento de contexto longo à força bruta, pois a etapa de ancoragem é rápida, determinística e interpretável.

O artigo conclui que, embora o método alcance resultados de ponta, limitações permanecem, incluindo a dependência do vocabulário COCO-80 para detecção de objetos (limitando o reconhecimento de entidades específicas de domínio) e a natureza não diferenciável do pipeline, o que impede a recuperação de erros de ponta a ponta. Sugere-se trabalho futuro para incluir detecção de vocabulário aberto e amostragem adaptativa de quadros.