A Skill-augmented Agentic Framework and Benchmark for Multi-Video Understanding

1. O Problema

Embora os Modelos de Linguagem Multimodal (MLLMs) tenham alcançado desempenho robusto na compreensão de vídeos únicos, sua capacidade de raciocinar através de múltiplos vídeos permanece limitada. As abordagens existentes enfrentam três desafios principais:

• Incompatibilidade Treinamento-Inferência: A maioria dos modelos é treinada em vídeos únicos, mas na inferência de múltiplos vídeos, os frames são concatenados em uma única sequência, criando uma distribuição de dados diferente daquela vista durante o treinamento.
• Perda de Informação: Para lidar com o orçamento limitado de contexto, os vídeos múltiplos frequentemente sofrem compressão agressiva de frames, levando à perda de detalhes temporais e visuais.
• Falta de Coordenação Explícita: Não há mecanismos explícitos para coordenar o raciocínio entre diferentes fluxos de vídeo, resultando em falhas em tarefas que exigem alinhamento cruzado e consistência.

Além disso, os benchmarks atuais focam principalmente em correspondência de nível de evento, negligenciando tarefas de nível de identidade, discriminação fina e raciocínio estruturado multi-etapa.

2. Metodologia

Os autores propõem duas contribuições principais: um novo benchmark (MVX-Bench) e um novo framework de agente (SAMA).

A. MVX-Bench (Benchmark de Múltiplos Vídeos Multidimensional)

O MVX-Bench reformula 11 tarefas clássicas de visão computacional em um formato unificado de perguntas e respostas (QA) com múltiplas escolhas envolvendo múltiplos vídeos.

• Estatísticas: 1.442 perguntas sobre 4.255 vídeos de diversos conjuntos de dados reais.
• Categorias de Tarefas:
  1. Percepção de Baixo Nível: Contagem (Counting), Detecção Forense (Forensic Detection), Similaridade de Vídeo.
  2. Correspondência de Nível Médio: Reidentificação (Re-ID), Correspondência de Ação (Action Matching), Estilo Artístico, Relação Espacial.
  3. Raciocínio de Alto Nível: Raciocínio de Múltiplas Vistas, Raciocínio Contrafactual, Entailment Defeasível (com revisão de crenças), Raciocínio de Sequência.
• Inovação: Diferente de benchmarks anteriores, o MVX-Bench exige que o modelo discente propriedades invariantes (como identidade ou estilo) de mudanças superficiais e realize inferências lógicas complexas (ex: "o que aconteceria se...").

B. SAMA (Skill-Augmented Agentic Framework)

O SAMA é o primeiro framework de agente explicitamente projetado para cenários de múltiplos vídeos. Em vez de uma inferência direta, ele utiliza uma abordagem iterativa e estruturada composta por duas camadas:

1. Núcleo do Agente (Agent Core):

   • Planejador (Planner): Um LLM apenas de texto (GPT-5.2 no experimento) que analisa a pergunta, seleciona ferramentas e define a estratégia.
   • Ferramentas Visuais (Tools): Um conjunto de 8 ferramentas divididas em três grupos:
     • Percepção: Leitor de Vídeo (LVLM), Ancoragem Temporal.
     • Detecção: Gráfico de Cena (Scene Graph), Rastreador de Objetos.
     • Outras: Similaridade Visual (CLIP), Recuperador de Legendas.
   • Habilidades (Skills): O diferencial do SAMA. São guias comportamentais estruturados que instruem o planejador sobre quando, como e em que ordem invocar as ferramentas. Exemplos incluem "Comparação de Múltiplos Vídeos" (prioriza similaridade visual para estilo) e "Ancoragem Temporal" (valida timestamps com leitura de vídeo).

2. Camada de Verificação Externa:

   • Detecção de Conflitos: Compara as saídas estruturadas de diferentes ferramentas. Se houver contradição (ex: o Leitor de Vídeo diz "luz vermelha" e o Gráfico de Cena detecta "verde"), o sistema aciona um mecanismo de Leitura Adaptativa.
   • Leitura Adaptativa: O planejador é instruído a reexaminar o vídeo com uma janela temporal mais estreita ou usar uma ferramenta diferente para resolver a inconsistência.
   • Agregação de Evidências: As evidências verificadas são consolidadas em um dicionário de memória estruturado para evitar o esquecimento de informações em contextos longos.

3. Principais Contribuições

1. Construção do MVX-Bench: Um benchmark abrangente que estende a avaliação de compreensão de vídeo para além da correspondência de eventos, incluindo tarefas de identidade, estilo forense e raciocínio lógico estruturado.
2. Framework SAMA: A introdução do primeiro framework de agente para múltiplos vídeos, que integra ferramentas visuais diversas, habilidades específicas para tarefas e um mecanismo de resolução de conflitos.
3. Validação Experimental: Demonstração de que a orquestração estruturada de ferramentas supera a concatenação direta de vídeos, permitindo que modelos menores alcancem desempenho de modelos proprietários grandes.

4. Resultados Experimentais

Os experimentos foram realizados no MVX-Bench, comparando o SAMA contra 20 modelos de código aberto (de 4B a 38B parâmetros) e modelos proprietários (GPT-4o, GPT-5.2).

• Desempenho Geral: O SAMA alcançou 52,7% de precisão geral, superando todos os modelos de código aberto e o GPT-4o (47,7%). O desempenho foi comparável ao GPT-5.2 (50,9%).
• Eficiência do Modelo Base: O SAMA utiliza um backbone visual de apenas 7B parâmetros (Qwen2.5-VL-7B). Sozinho, esse modelo atinge apenas 32,6% de precisão. Com o framework SAMA, a precisão salta para 52,7% (um ganho de 20,1 pontos percentuais), demonstrando que a orquestração de ferramentas libera capacidades latentes.
• Análise de Tarefas:
  • O SAMA mostrou força particular em tarefas de percepção fina e raciocínio complexo (Contagem: 41,2% vs 32,0%; Raciocínio Contrafactual: 32,0% vs 24,0%).
  • Modelos maiores não mostraram ganhos consistentes em tarefas de raciocínio lógico (ex: Raciocínio Contrafactual e Relação Espacial), sugerindo que essas capacidades não são propriedades emergentes apenas da escala.
• Estudos de Ablação:
  • Remover as Habilidades (Skills) reduziu a precisão de 60,0% para 51,7%, provando que a orientação procedural é crucial.
  • Remover a Detecção de Conflitos reduziu a precisão para 55,9%, indicando que a resolução de inconsistências entre ferramentas é vital para a confiabilidade.

5. Significado e Conclusão

Este trabalho demonstra que a abordagem de "concatenar e inferir" é insuficiente para a compreensão complexa de múltiplos vídeos. A introdução do SAMA prova que um framework de agente, equipado com habilidades específicas e mecanismos de verificação de conflitos, pode superar limitações de modelos de base e benchmarks existentes.

O MVX-Bench estabelece um novo padrão de avaliação, forçando os modelos a lidarem com a complexidade estrutural do mundo real (identidade, estilo, lógica contrafactual) em vez de apenas correspondência superficial de eventos. A pesquisa sugere que o futuro da compreensão de vídeo reside na orquestração inteligente de ferramentas especializadas e na capacidade de raciocínio iterativo e auto-corretivo, permitindo que modelos menores atinjam desempenho de ponta em tarefas complexas.