Resumo Técnico: CRAFT (Targeting Adaptivo de Quadros-Chave Refinado por Crítico)

Definição do Problema

O artigo aborda a Resposta a Perguntas (QA) sobre Múltiplos Vídeos Fundamentada em eventos de notícias do mundo real, visando especificamente a tarefa oráculo MAGMaR 2026. Neste cenário, um sistema deve responder a uma consulta sintetizando evidências de uma coleção de vídeos heterogêneos. A tarefa impõe restrições rigorosas:

1. Fundamentação Multi-Fonte: As respostas devem ser derivadas de evidências visuais, textuais (na tela) ou faladas distribuídas em múltiplos clipes de vídeo.
2. Atribuição ao Nível de Afirmação: Cada declaração no relatório gerado deve ser rastreável a um vídeo-fonte específico e a um carimbo de tempo.
3. Métricas de Avaliação: O desempenho é medido em seis eixos: Precisão/Recall/F1 de Referência (precisão/completude do conteúdo) e Precisão/Recall/F1 de Citação (precisão da atribuição).

Os autores identificam três desafios principais na compreensão de vídeos de notícias de longa duração:

• Gargalos de Orçamento de Tokens: Entradas na escala de horas excedem as janelas de contexto de Modelos Visão-Linguagem (VLMs), forçando uma amostragem uniforme que frequentemente truncar evidências relevantes.
• Alucinação: VLMs frequentemente geram afirmações sem suporte, particularmente em relação a entidades de cauda longa, detalhes numéricos e cronometragem de eventos, mesmo quando quadros relevantes estão presentes.
• Dominância da Fala: Informações críticas (entrevistas, declarações oficiais) são frequentemente faladas e não visuais, levando à perda de informações em pipelines baseados apenas em visão, especialmente em coberturas não em inglês.

Metodologia: O Pipeline CRAFT

O CRAFT é um pipeline condicionado à consulta projetado para integrar seleção dinâmica de quadros-chave, extração de evidências multimodais e verificação iterativa de afirmações.

1. Fluxo de Evidências Multimodais

• Pré-processamento: Vídeos longos são divididos em blocos de 120 segundos para evitar truncamento silencioso.
• ASR e Tradução: Cada vídeo único é transcrito uma vez usando Qwen3-ASR-1.7B, com fallback para Whisper-large-v3 para idiomas de recursos limitados (por exemplo, Birmanês, Nepali). As transcrições são traduzidas para inglês se necessário. O sistema filtra saídas degeneradas de ASR (por exemplo, loops repetitivos de tokens) antes do processamento.
• Seleção Dinâmica de Quadros-Chave (DKS): Em vez de amostragem uniforme, o DKS seleciona quadros com base na similaridade imagem-texto com a consulta usando codificadores CLIP. Isso cria um clipe visual compacto e específico da consulta para cada par vídeo-consulta, equilibrando relevância com cobertura temporal.

2. Extração de Afirmações Condicionada à Consulta

O VLM base (Qwen3.5-9B) processa a persona, a consulta, a transcrição ASR e os quadros selecionados pelo DKS para gerar afirmações atômicas.

• Atomicidade: As afirmações são restritas a declarações declarativas únicas para garantir verificabilidade independente.
• Marcação de Modalidade: Cada afirmação é marcada com sua fonte de evidência (visual, texto na tela ou ASR).

3. Loop de Refinamento de Afirmações Guiado por Crítico

Um loop híbrido de crítico refina iterativamente as afirmações (até 4 rodadas) para eliminar alucinações e contradições:

• Fundamentação Temporal (UNLI): Um modelo UNLI pontua a implicação entre cada afirmação e seu segmento de vídeo citado. Afirmações com pontuações baixas são sinalizadas como sem suporte.
• Triagem Cruzada de Afirmações (DeBERTa-v3 MNLI): Um codificador cruzado verifica contradições entre pares de afirmações dentro de um vídeo.
• Julgamento (Llama-3.2-3B): Um julgador especializado verifica potenciais contradições, fornecendo confirmação binária e dicas de reparo.
• Feedback: O relatório do crítico é alimentado de volta ao VLM para reextrair, corrigir ou remover afirmações.

4. Consolidação e Mesclagem de Citações

• Agrupamento de Evidências: Afirmações refinadas de todos os vídeos relevantes são agregadas em um pool ao nível da consulta.
• Pontuação: As afirmações são reavaliadas usando o modelo UNLI para classificar a confiança da evidência.
• Mesclagem de Citações: O relatório final é gerado por um LLM apenas de texto (Qwen3.5-9B). Se múltiplas afirmações suportarem o mesmo fato, o sistema emite o fato uma vez, mas anexa todos os identificadores de fonte de suporte. Isso preserva o recall de citação enquanto suprime redundância semântica.

Contribuições Principais

1. Fluxo de Evidências Multimodais: Um pipeline que combina divisão em blocos de 120 segundos, ASR por vídeo com fallback multilíngue e seleção dinâmica de quadros-chave condicionada à consulta para fornecer aos VLMs evidências visuais e faladas direcionadas.
2. Loop Híbrido de Crítico: Um mecanismo de verificação multiestágio que integra UNLI para fundamentação temporal, DeBERTa-v3 para triagem de contradições e Llama-3.2-3B para julgamento, permitindo reparo iterativo de afirmações antes da consolidação.
3. Formatação de Afirmações Atômicas e Mesclagem de Citações: Uma estratégia que decompõe evidências em unidades atômicas verificáveis e as consolida em um relatório onde cada fato é emitido uma vez com atribuição completa de fonte, otimizando tanto a precisão de referência quanto o recall de citação.

Resultados Experimentais

O sistema foi avaliado no MAGMaR 2026 e em uma conversão WikiVideo (52 consultas de eventos não sobrepostos).

• Desempenho MAGMaR 2026: O CRAFT alcançou a melhor pontuação média geral (0,739), Recall de Referência (0,810) e F1 de Citação (0,635) entre todas as configurações avaliadas.
• Desempenho WikiVideo: O CRAFT alcançou uma pontuação média de 0,823, demonstrando generalização além do conjunto de dados MAGMaR.
• Insights de Ablação:
  • Loop de Crítico e Afirmações Atômicas: Esses componentes impulsionaram os ganhos mais significativos sobre a linha de base vanilla.
  • ASR: Adicionar ASR melhorou significativamente o Recall de Referência e o F1 de Citação, destacando a importância do conteúdo falado.
  • Independência do Backbone: Ganhos do loop de crítico e do ASR foram observados em diferentes VLMs base (Qwen3.5-9B, Qwen3-VL-30B, Molmo2-8B, Gemma-4-31B).
  • Seleção de Quadros: A Seleção Dinâmica de Quadros-Chave (DKS) melhorou a precisão sob orçamentos de quadros reduzidos em comparação com a amostragem uniforme, embora ocasionalmente tenha trocado recall.
  • Necessidade de Componentes: Substituir críticos especializados (UNLI, DeBERTa, Llama) por modelos de propósito geral resultou em degradação de desempenho, particularmente nas métricas de citação.

Significado e Afirmações

O artigo afirma que o CRAFT demonstra a eficácia da agregação de evidências centrada em afirmações para QA fundamentada em múltiplos vídeos. Ao desacoplar a extração da verificação e impor afirmações atômicas fundamentadas em fontes, o sistema aborda o problema da "fidelidade de citação", onde a geração aumentada por recuperação frequentemente falha em atribuir corretamente fatos às fontes.

Os autores observam que, embora o CRAFT supere linhas de base fortes, o recall de citação permanece uma métrica desafiadora, indicando que a atribuição exata de afirmação a vídeo ainda é uma dificuldade em aberto. O trabalho sugere que melhorias futuras devem focar na cobertura de evidências, recuperação entre vídeos e capacidades de ASR multilíngue. O sistema é apresentado como um pipeline modular onde o loop de crítico e o aumento por ASR fornecem ganhos ortogonais à escolha do backbone VLM subjacente.