Resumo Técnico: VideoSEAL

Problema: Desalinhamento de Evidências na Compreensão de Vídeos Longos por Agentes

A compreensão de vídeos longos (LVU) apresenta um desafio único: evidências visuais relevantes são frequentemente esparsas e temporalmente dispersas dentro de conteúdo altamente redundante. Embora os atuais Modelos de Linguagem Multimodal Grandes (MLLMs) se destaquem no raciocínio com vídeos curtos, estendê-los para vídeos longos exige interação iterativa e agênica para navegar pelas linhas do tempo e recuperar evidências.

Os autores identificam um modo de falha crítico em sistemas agênicos existentes de LVU, denominado desalinhamento de evidências. Neste regime, agentes produzem respostas corretas que não são, na realidade, suportadas pelas evidências recuperadas ou inspecionadas. O artigo formaliza isso como o estado "correto, mas não fundamentado", onde um agente alcança correção de resultado ($C=1$), mas carece de fundamentação rastreável ($G=0$). Este fenômeno é impulsionado por duas pressões sistêmicas:

1. Pressão de Prompt (tempo de inferência): À medida que os rastros de interação tornam-se mais longos e ruidosos, o planejador é incentivado a ser decisivo sem localizar evidências de forma confiável. Isso desloca o comportamento de "busca por evidências" para "adequação de evidências", onde o agente depende de priores paramétricos ou modelos plausíveis para resolver incertezas, levando a alucinações semânticas.
2. Pressão de Recompensa (tempo de treinamento): O aprendizado por reforço (RL) padrão para LVU frequentemente emprega recompensas baseadas apenas no resultado (correção da resposta final) devido à escassez de rótulos de fundamentação temporal granular. Isso incentiva agentes a maximizar retornos via conclusão especulativa ou comportamentos de atalho, em vez de verificação rigorosa de evidências, ampliando o fosso entre precisão e fundamentação.

Os autores argumentam que a causa raiz dessas pressões é o paradigma de agente acoplado, onde um único modelo monolítico é responsável tanto pelo planejamento de longo horizonte (busca) quanto pela geração de respostas (autoridade) dentro do mesmo contexto compartilhado.

Metodologia: A Estrutura Desacoplada Planejador–Inspetor

Para abordar o desalinhamento de evidências, o VideoSEAL propõe um remédio estrutural: desacoplar o planejamento de longo horizonte da autoridade de resposta. A estrutura introduz duas entidades distintas:

1. O Planejador: Uma política de modelo de linguagem responsável exclusivamente pela busca de evidências. Ele navega pela linha do tempo do vídeo, formula consultas e recupera intervalos temporais candidatos usando ferramentas (indexação offline, recuperação e inspeção visual). Crucialmente, o planejador não gera a resposta final; ele mantém uma memória de busca estruturada e esparsa para evitar saturação de contexto.
2. O Inspetor: Um MLLM congelado que detém a autoridade de resposta exclusiva. Ele recebe evidências de vídeo candidatas submetidas pelo planejador e realiza verificação em nível de pixel. O inspetor emite um veredito binário de suficiência ($z_t \in \{0, 1\}$):
   • Se $z_t=1$, a evidência é considerada suficiente, e o inspetor gera a resposta final.
   • Se $z_t=0$, o inspetor retorna um sinal "BUSCAR MAIS" com feedback sobre evidências ausentes, forçando o planejador a continuar a busca.

Componentes Técnicos Chave:

• Interfaces de Ferramentas: O sistema utiliza VisualRetrieve (busca semântica sobre legendas/incorporações pré-computadas) e VisualInspect (verificação em nível de pixel de intervalos específicos).
• Treinamento: O planejador é otimizado usando Otimização de Política Relativa em Grupo (GRPO), enquanto o inspetor permanece congelado. O design de recompensa inclui uma recompensa terminal acionada por evidências que escala com a sobreposição temporal entre os intervalos acessados e a evidência de verdade fundamental, incentivando o alinhamento sem exigir retreinamento completo da base visual.
• Modularidade: A arquitetura suporta atualizações "plug-and-play". O inspetor pode ser substituído por um MLLM mais forte no momento da inferência para melhorar a fidelidade de verificação, sem retreinar o planejador.

Contribuições Principais

1. Diagnósticos de Desalinhamento de Evidências: O artigo introduz dois diagnósticos complementares para quantificar o desalinhamento:
   • Fundamentação Temporal ($G_t$): Mede se o agente acessa regiões temporais relevantes (usando IoU temporal).
   • Fundamentação Semântica ($G_s$): Utiliza um juiz LLM para verificar se a resposta final é logicamente suportada pelas saídas das ferramentas no rastro.
     Estes diagnósticos revelam o regime "correto, mas não fundamentado" e quantificam a "taxa de alucinação temporal" ($H_t$) e a "taxa de alucinação semântica" ($H_s$).
2. Estrutura Desacoplada Planejador–Inspetor: Uma arquitetura inovadora que separa a busca de evidências da geração de respostas. Ao acionar a resposta final na verificação em nível de pixel, a estrutura impede respostas não suportadas impulsionadas por saídas de ferramentas não verificadas.
3. Ganhos Empíricos e Escalabilidade: A estrutura demonstra melhorias consistentes em quatro benchmarks de vídeos longos (MLVU, LongVideoBench, LVBench, VideoMME). Notavelmente, ela escala monotonicamente com orçamentos de busca maiores e modelos inspetores mais fortes, enquanto as bases acopladas frequentemente estagnam ou degradam devido à saturação de contexto.

Resultados

Os autores avaliam o VideoSEAL contra modelos proprietários, MLLMs de código aberto e estruturas agênicas existentes (tanto acopladas quanto desacopladas).

• Precisão: O VideoSEAL alcança 55,1% no LVBench e 62,0% no LongVideoBench, superando as bases acopladas por margens significativas (por exemplo, +20,5% no LVBench sobre a versão acoplada da mesma base).
• Fundamentação: A estrutura reduz significativamente a alucinação. No LVBench, alcança uma fundamentação semântica ($G_s$) de 0,808 (comparado a ~0,25–0,47 para as bases) e reduz a alucinação semântica ($H_s$) para 0,113.
• Propriedades de Escala:
  • Escala de Busca: Aumentar o orçamento de busca ($K$) melhora o desempenho do VideoSEAL, enquanto agentes acoplados regredem após certo ponto devido à saturação de contexto.
  • Escala Perceptiva: Atualizar o inspetor de um modelo de 7B para um de 72B produz ganhos substanciais de precisão sem retreinar o planejador, demonstrando a modularidade da abordagem.
• Capacidade de Recusa: O inspetor distingue efetivamente entre evidências suficientes e insuficientes, recusando-se a responder (emitindo $z=0$) em clipes não-alvo significativamente mais frequentemente do que em clipes de verdade fundamental, reduzindo assim o chute.

Significado e Alegações

O artigo alega que o principal motor de desempenho em QA de vídeos longos por agentes não é meramente modelos maiores ou funções de recompensa melhores, mas a separação arquitetônica entre planejamento e autoridade de resposta. Ao desacoplar esses papéis, o VideoSEAL mitiga a "pressão de prompt" e a "pressão de recompensa" que levam ao desalinhamento de evidências.

Os autores posicionam este trabalho como uma mudança de paradigma: afastar-se do treinamento de um único agente acoplado para buscar e decidir, rumo a um sistema verificável e modular onde a geração de respostas é estritamente acionada por evidência visual. Esta abordagem aprimora a interpretabilidade (via trajetórias de busca) e a verificabilidade, oferecendo uma solução estrutural para o problema "correto, mas não fundamentado" que aflige os atuais agentes de vídeos longos. O trabalho sugere que futuras melhorias em LVU podem depender mais da fidelidade da inspeção em nível de pixel (percepção) do que da sofisticação do planejamento linguístico (raciocínio), desde que a lógica de planejamento seja sólida.