Resumo Técnico: MARQUIS

Declaração do Problema

O artigo aborda o desafio da geração de artigos fundamentados a partir de corpora de vídeo em larga escala. Embora os arquivos de vídeo ofereçam documentação imediata e abrangente de eventos do mundo real, converter essa evidência audiovisual bruta em artigos analíticos bem referenciados permanece um processo amplamente manual. Os sistemas automatizados atuais enfrentam limitações significativas em ambas as extremidades do pipeline:

1. Recuperação: Os métodos existentes lutam com consultas complexas e multifacetadas que não podem ser capturadas por um único vetor de incorporação. Frequentemente, falham em trazer à tona todos os vídeos relevantes quando uma consulta combina múltiplas necessidades de informação implícitas e explícitas.
2. Geração: Os modelos de geração enfrentam restrições de memória ao processar contextos longos e de múltiplos vídeos. Além disso, os Modelos Visão-Linguagem (VLMs) existentes são tipicamente projetados para tarefas de baixo nível (legendagem, QA centrada em entidades) em vez da síntese de alto nível necessária para a geração de artigos. Frequentemente, falham em raciocinar através de múltiplos vídeos ou sintetizar evidências de forma coerente.

Essas limitações se acumulam em um pipeline completo: erros de recuperação propagam evidências ausentes ou irrelevantes para a etapa de geração, onde os modelos já lutam para raciocinar sobre o contexto que recebem.

Metodologia: O Pipeline MARQUIS

Os autores apresentam o MARQUIS (Geração de Artigo Multimodal via Recuperação, Decomposição de Consulta, Calibração de Incerteza e Síntese Iterativa de Evidências), um pipeline de três etapas projetado para abordar modularmente essas limitações.

Etapa 1: Recuperação de Vídeo

O pipeline de recuperação opera em duas etapas para lidar com consultas complexas:

• Decomposição e Expansão de Consulta: Em vez de codificar uma consulta complexa e instrucional como um único vetor, o sistema usa um LLM para decompor a consulta em $N$ subconsultas atômicas. Cada subconsulta visa um único fato recuperável e é formulada como uma frase de pesquisa concisa.
• Recuperação Densa: Tanto a consulta original quanto as subconsultas decompostas são recuperadas contra um índice omnimodal usando OmniEmbed, produzindo listas classificadas dos principais candidatos.
• Fusão de Classificação: As listas classificadas das subconsultas são agregadas usando estratégias como Fusão de Classificação Recíproca (RRF), Soma/Máximo/Média de similaridade ou RRF Ponderada.
• Reclassificação: Os candidatos fundidos (top 100) são passados para o RankVideo, um reclassificador nativo de vídeo, para reordenar a lista com base em julgamentos refinados, equilibrando desempenho e escalabilidade.

Etapa 2: Extração de Informação e Calibração

Os vídeos recuperados são convertidos em artefatos de evidência estruturados e calibrados:

• Fluxos de Extração: O sistema emprega três componentes de extração complementares usando o Qwen3.5:
  1. Notas Agnósticas à Consulta: Captura eventos visuais diretamente observáveis, OCR e conteúdo falado sem condicionamento a uma consulta específica.
  2. Afirmações Condicionadas à Consulta: Extrai afirmações especificamente relevantes para a necessidade de informação, evitando descrições genéricas ou inferências não fundamentadas.
  3. Extração de Pergunta-Resposta (QA): Decompõe necessidades de informação em subperguntas e as responde usando conteúdo de vídeo recuperado e transcrições. Isso inclui variantes de tiro único e iterativas.
• Calibração: Cada artefato extraído (nota, afirmação ou par QA) é pontuado em relação ao seu vídeo de origem pelo CLUE, um modelo de inferência incerta multimodal calibrado. Isso produz uma probabilidade de suporte ($s_\theta \in [0, 1]$) estimando se o vídeo suporta a afirmação. Esta etapa separa a criação de evidências da estimativa de suporte, permitindo a filtragem de afirmações não fundamentadas antes da geração.

Etapa 3: Geração de Artigo

O pipeline sintetiza evidências filtradas em um artigo citado. Os autores comparam três estratégias:

• BULLET: Renderiza evidências diretamente como uma lista numerada com citações embutidas (baseline conservadora).
• CAG (Geração de Artigo Colaborativa): Uma baseline de passagem única que organiza evidências e gera um artigo citado em uma única passagem de síntese.
• GINGER: Uma abordagem em etapas que agrupa evidências em facetas temáticas, classifica os clusters por relevância, resume cada cluster em uma frase citada e, finalmente, reescreve-as em um artigo coerente.

MARQUIS-RLM: Controle Recursivo

Os autores introduzem o MARQUIS-RLM, uma instância de Modelos de Linguagem Recursivos (RLMs). Este sistema trata os módulos do pipeline (recuperação, extração, QA, calibração) como ferramentas chamáveis dentro de um ambiente de memória persistente e estruturada.

• Loop Pensar-Agir-Observar: O LM Raiz planeja ações iterativamente, executa chamadas de ferramenta (por exemplo, video_qa, transcribe) e observa resultados.
• Memória Estruturada: Ao contrário dos RLMs padrão que dependem de janelas de contexto, o MARQUIS-RLM mantém um banco de memória dinâmico (tabelas de fatos, índices de palavras-chave) que pode ser pesquisado, reutilizado e revisado. Isso mitiga o esquecimento de informações e permite a resolução de conflitos entre vídeos e a identificação de lacunas de informação antes que o artigo final seja escrito.

Contribuições Principais

1. Pipeline MARQUIS: Um framework de três etapas para geração de artigos aumentada por recuperação de vídeo em larga escala que decompõe modularmente a recuperação, extração e geração.
2. Melhorias na Recuperação: Uma abordagem de recuperação em duas etapas combinando expansão de consulta com fusão de classificação e reclassificação nativa de vídeo, que melhora significativamente o desempenho de recuperação no benchmark MAGMaR2026.
3. Estratégias de Geração: Uma análise comparativa de geração baseada em afirmações, baseada em QA e controlada por RLM, demonstrando que a decomposição de consultas e QA fundamentada em vídeo melhoram as pontuações de preferência humana em relação às baselines.
4. Integração RLM: A introdução do MARQUIS-RLM, que usa memória estruturada e uso iterativo de ferramentas para gerenciar evidências, resolver conflitos e curar fatos, alcançando o maior recall de citação entre sistemas não-QA.

Resultados Experimentais

O sistema foi avaliado na tarefa compartilhada MAGMaR2026 (baseada em dados do WikiVideo).

• Recuperação: O pipeline de recuperação proposto melhorou o nDCG@10 de 0,195 para 0,759 sobre uma baseline de recuperação densa (OmniEmbed). A combinação de decomposição de consulta, fusão RRF ($K=10$) e reclassificação RankVideo produziu os melhores resultados.
• Geração de Artigo (Configuração Oracle): Na geração oracle (onde os sistemas recebem vídeos relevantes de verdade), o sistema ITER-QA-BASE melhorou a pontuação humana média de 3,09 para 3,83 sobre a baseline CAG.
• Comparação de Sistemas:
  • O GINGER superou a baseline CAG em pontuações humanas (3,12 vs 3,09) e precisão de citação, sugerindo que a decomposição em etapas ajuda a organizar evidências.
  • O MARQUIS-RLM alcançou uma pontuação humana de 3,30 e o recall de citação mais forte (27,2%) entre sistemas não-QA, embora tenha mostrado precisão mais baixa, indicando uma compensação entre cobertura e relevância.
  • Os sistemas baseados em QA (Iterativo e de Tiro Único) alcançaram as maiores pontuações humanas (até 3,83), mas sofreram falhas de "pontuação zero" quando o pipeline de QA não conseguia recuperar vídeos relevantes para tópicos específicos, levando a saídas vazias conservadoras.

Significado

O artigo argumenta que a geração fundamentada a partir de vídeo é melhor enquadrada como um problema de gerenciamento de evidências em vez de uma tarefa simples de resumo. Os autores afirmam que sistemas eficazes devem:

1. Recuperar amplamente decompondo consultas complexas.
2. Extrair evidências atomicamente.
3. Estimar o suporte da fonte via calibração.
4. Sintetizar apenas a partir de evidências selecionadas e verificadas.

O trabalho demonstra que a decomposição explícita de consultas e a reclassificação nativa de vídeo melhoram substancialmente a recuperação, enquanto estratégias de geração modular (agrupamento, QA, controle RLM) oferecem compensações complementares entre coerência, factualidade e cobertura de citações. Os autores sugerem que trabalhos futuros devem focar em melhorar a calibração aprendida, integração mais estreita de recuperação e extração, e métodos de geração que combinam organização estruturada de evidências com controle iterativo.