Resumo Técnico: AgentCVR

Definição do Problema

O Raciocínio entre Vídeos (Cross-Video Reasoning - CVR) representa uma fronteira crítica na inteligência multimodal, exigindo que modelos recuperem, alinhem e agreguem evidências distribuídas em múltiplos fluxos de vídeo independentes para responder a consultas complexas. Diferentemente de tarefas de vídeo único, onde as evidências estão localmente confinadas, o CVR envolve pistas esparsas e temporalmente desalinhadas que frequentemente exigem comparação explícita entre vídeos.

As abordagens atuais, principalmente Modelos de Linguagem Multimodal Grandes (MLLMs), tipicamente empregam um paradigma "passivo de passagem única". Nessa estratégia, todos os vídeos candidatos são codificados em um contexto comprimido compartilhado para gerar uma resposta em uma única etapa. Os autores argumentam que esse design é fundamentalmente falho para o CVR, pois comprimir vídeos longos em representações de tamanho fixo frequentemente obscurece evidências raras, mas críticas. Consequentemente, esses modelos lutam com atribuição fraca de evidências e comparação entre vídeos pouco confiável, particularmente para consultas temporais e comparativas.

Metodologia: AgentCVR

Para abordar essas limitações, os autores propõem o AgentCVR, um quadro que reformula o CVR de um problema de comprimento de contexto para uma tarefa ativa de aquisição de evidências. O sistema opera sob um paradigma multiagente e multipasso, em vez de uma inferência de passagem única.

1. Arquitetura Multiagente

O AgentCVR utiliza um Agente Mestre leve como controlador central que coordena iterativamente Agentes Visuais e Agentes de Áudio especializados.

• Agente Mestre: Em cada etapa, ele raciocina sobre a consulta do usuário e o histórico de interações acumulado para decidir dinamicamente qual agente específico de modalidade invocar, qual segmento temporal inspecionar e quando encerrar.
• Espaço de Ações: O espaço de ações é decomposto em três subespaços:
  • Consulta Visual: Especifica um ID de vídeo, intervalo temporal e prompt de foco para que o Agente Visual extraia observações textuais localizadas.
  • Consulta de Áudio: Aciona o Agente de Áudio para recuperar descrições de fala ou som de um intervalo específico, aproveitando sinais auditivos para alinhamento entre vídeos.
  • Ação de Resposta: Encerra o processo uma vez que evidências suficientes são coletadas para gerar a resposta final.
    Este design separa a coleta de evidências do raciocínio de alto nível, garantindo que o módulo de raciocínio receba entradas explícitas condicionadas à consulta, em vez de uma janela de contexto sobrecarregada.

2. Aprendizado por Reforço Simulado por Script (RL)

Para otimizar a política do Agente Mestre para tomada de decisão complexa e de longo horizonte, os autores introduzem o RL Simulado por Script. O RL online direto com inferência de vídeo bruto é proibitivamente caro devido à sobrecarga computacional de invocar repetidamente modelos pesados de visão e linguagem.

• Construção de Script Sintético: O ambiente de treinamento é um simulador leve baseado em texto. Um LLM gera scripts semânticos sintéticos ($W_{script}$) que definem conjuntos de vídeos, eventos ancorados temporalmente e relações entre vídeos. Esses scripts servem como um substituto para dados de vídeo brutos.
• Simulador Baseado em Texto ($M_{sim}$): Durante a exploração online, o simulador substitui a inferência de vídeo bruto. Dada uma ação do agente e uma fatia de script, $M_{sim}$ realiza uma busca semântica para gerar observações em linguagem natural que aproximam o feedback dos agentes visual e de áudio. Crucialmente, o simulador é restrito a retornar "nenhuma evidência" se nenhum evento relevante existir, prevenindo alucinações.
• Objetivo de Treinamento: O Agente Mestre é otimizado usando Otimização de Política Relativa de Grupo (GRPO). A função de recompensa consiste em:
  • Recompensa de Corretude: Um sinal esparsos baseado na precisão da resposta final.
  • Recompensa de Formatação: Uma recompensa auxiliar que incentiva formatos válidos de invocação de ferramenta para garantir execução estável.
• Transferência Sim-para-Real: A política aprendida no simulador baseado em script é transferida diretamente para o pipeline de inferência do mundo real, onde o agente interage com ferramentas visuais e de áudio reais sobre vídeos brutos.

Contribuições Principais

1. Mudança de Paradigma: O artigo propõe o AgentCVR, deslocando o paradigma do CVR da compressão de contexto passiva de passagem única para a aquisição ativa e multipasso de evidências.
2. RL Simulado por Script: Introduz um novo paradigma de treinamento que utiliza scripts semânticos gerados por LLM e um simulador leve baseado em texto para treinar políticas multiagente, contornando os altos custos da exploração multimodal online.
3. Validação Empírica: Experimentos extensivos demonstram que o AgentCVR alcança desempenho forte em tarefas abrangentes de CVR, superando bases de linha de referência de passagem única e igualando sistemas fechados de última geração em tarefas específicas de alinhamento e localização.

Resultados Experimentais

O quadro foi avaliado no CrossVid, um benchmark de grande escala especificamente projetado para CVR, cobrindo quatro dimensões: Análise Comparativa, Compreensão Temporal, Raciocínio Multivista e QA Livre.

• Desempenho: O AgentCVR (especificamente a variante de 8B) supera significativamente modelos de passagem única de código aberto (por exemplo, série Qwen3-VL) e agentes de vídeo único adaptados. Alcança desempenho comparável a modelos de fronteira fechados poderosos (por exemplo, Doubao-1.5-VL-pro, GPT-4.1, Gemini-2.5-Pro), particularmente em tarefas que exigem localização precisa de evidências e alinhamento entre vídeos granular.
• Estudos de Ablação:
  • Arquitetura: Substituir a base de linha de referência de passagem única pela arquitetura multiagente produziu melhorias claras nas escalas de 4B e 8B.
  • Treinamento: A introdução do RL Simulado por Script impulsionou ainda mais o desempenho, validando a necessidade de otimização explícita de política para dominar interações de longo horizonte.
  • Sinergia de Modalidade: Embora a percepção visual seja o principal motor da extração de evidências, a inclusão do Agente de Áudio forneceu pistas complementares, melhorando o desempenho em tarefas que exigem verificação cross-modal.
• Eficiência: A abordagem de RL Simulado por Script alcançou aproximadamente um acréscimo de velocidade de 5x na latência de treinamento em comparação com interações de vídeo do mundo real, mantendo alto alinhamento (consistência Sim-para-Real) na tomada de decisão.

Significado e Alegações

Os autores afirmam que o AgentCVR estabelece um caminho novo, eficiente e altamente interpretável para agentes multimodais raciocinarem ativamente em fluxos de vídeo complexos do mundo real. Ao tratar o CVR como um problema de aquisição de evidências, o quadro supera as limitações de sobrecarga de contexto dos MLLMs atuais.

O artigo reconhece modestamente que, embora o AgentCVR reduza a lacuna com sistemas fechados, uma lacuna marginal de desempenho permanece. Também nota limitações inerentes ao raciocínio de múltiplas voltas, como possível deriva de instruções, fechamento cognitivo prematuro em cenários ambíguos e maior latência de inferência em comparação com métodos de passagem única. O trabalho destaca a importância da percepção ativa e do aprendizado eficiente de políticas via simulação como componentes críticos para avançar a compreensão de vídeo além da análise de vídeo único.