Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding

1. O Problema

A compreensão de vídeos longos (LVU - Long-Video Understanding) apresenta desafios significativos devido à alta densidade de informação e extensas janelas temporais. Embora os Agentes de Modelos de Linguagem Multimodal (MLLM) tenham avançado, eles ainda enfrentam dificuldades em:

• Raciocínio de Longa Cadeia: A decomposição simples de tarefas e mecanismos de colaboração básicos são insuficientes para problemas complexos que exigem múltiplos passos de inferência.
• Perda de Informação: Métodos que reduzem o contexto temporal através de recuperação baseada em embeddings (como RAG) tendem a perder informações cruciais de problemas complexos.
• Limitações de Grounding: A localização precisa de segmentos de vídeo relevantes para perguntas com intenções implícitas ou grandes intervalos temporais é frequentemente imprecisa em abordagens de agente único.
• Sobrecarga Cognitiva: Delegar todo o raciocínio a um único modelo LLM leva à degradação do desempenho quando a complexidade da tarefa excede a capacidade do modelo.

2. Metodologia: Symphony

O Symphony é um sistema multi-agente centralizado projetado para emular padrões de cognição humana, decompondo tarefas complexas de LVU em sub-tarefas especializadas e orquestrando-as através de um mecanismo de colaboração dinâmica aprimorado por reflexão.

Arquitetura dos Agentes

O sistema é composto por agentes funcionalmente especializados que operam de forma desacoplada para reduzir o custo de integração de informações:

1. Agente de Planejamento (Planning Agent): Atua como o coordenador central. Analisa a pergunta, decompõe o problema em sub-tarefas lógicas e orquestra a execução delegando tarefas aos outros agentes. Ele mantém o histórico da trajetória de raciocínio.
2. Agente de Grounding (Grounding Agent): Simula a função de "atenção". Seu objetivo é identificar e localizar os segmentos de vídeo relevantes.
   • Inovação: Utiliza um LLM para decompor e expandir a consulta (desambiguar conceitos abstratos) e um VLM (Vision-Language Model) para avaliar a relevância semântica entre a consulta aprimorada e os segmentos de vídeo, superando as limitações da recuperação baseada apenas em CLIP.
3. Agente de Subtítulos (Subtitle Agent): Analisa os subtítulos do vídeo para realizar reconhecimento de entidades, análise de sentimento e modelagem de tópicos, garantindo que informações textuais não sejam ignoradas.
4. Agente de Percepção Visual (Visual Perception Agent): Executa tarefas de percepção multidimensional usando ferramentas como:
   • Frame Inspector: Análise granular de segmentos temporais específicos.
   • Global Summary: Visão geral do conteúdo do vídeo.
   • Multi-Segment Analysis: Comparação e raciocínio entre segmentos não contíguos.
5. Agente de Reflexão (Reflection Agent): Atua como um verificador crítico (inspirado no framework Actor-Critic). Avalia a cadeia de raciocínio e a evidência acumulada. Se detectar inconsistências lógicas ou evidências insuficientes, gera críticas (critique) para iniciar uma nova rodada de refinamento, evitando respostas prematuras ou errôneas.

Mecanismo de Colaboração

O sistema opera em um ciclo iterativo:

• Raciocínio Direto: O agente de planejamento gera ações para os agentes especializados.
• Verificação e Reflexão: Após uma solução inicial, o agente de reflexão avalia a trajetória. Se a resposta não for "crível", o processo retorna ao planejamento para uma nova exploração do espaço de soluções.
• Seleção Dinâmica de Ferramentas: O agente de grounding adapta-se à complexidade da pergunta, escolhendo entre recuperação baseada em CLIP (para perguntas simples) ou pontuação baseada em VLM (para perguntas complexas e abstratas).

3. Principais Contribuições

• Paradigma Cognitivo Desacoplado: Propõe uma decomposição de tarefas baseada em dimensões funcionais (planejamento, atenção, percepção, linguagem) em vez de divisão por modalidade, reduzindo a sobrecarga cognitiva de modelos individuais.
• Mecanismo de Reflexão Aprimorado: Introduz um agente de reflexão independente que valida a cadeia de raciocínio, mitigando a "confiança excessiva" comum em agentes únicos e expandindo o espaço de exploração para problemas difíceis.
• Grounding Profundo e Semântico: Desenvolve um agente de grounding que combina a capacidade de raciocínio de LLMs (para expandir consultas) com a avaliação de relevância de VLMs, permitindo a localização precisa de conceitos abstratos e sequências temporais complexas.
• Desempenho State-of-the-Art (SOTA): O sistema alcançou os melhores resultados em quatro benchmarks principais de compreensão de vídeos longos.

4. Resultados Experimentais

O Symphony foi avaliado em quatro conjuntos de dados principais: LVBench, LongVideoBench, VideoMME e MLVU.

• LVBench: O sistema superou o método anterior mais avançado (DVD) em 5,0%, atingindo uma pontuação de 71,8%. Isso valida sua eficácia em tarefas de raciocínio complexo e localização temporal.
• LongVideoBench: Alcançou 77,1%, superando o VideoDeepResearch em 6,5% e modelos comerciais de ponta.
• VideoMME: Pontuação de 78,1%.
• MLVU: Pontuação de 81,0%.
• Análise de Componentes: Estudos de ablação mostraram que a remoção do agente de reflexão causou uma queda de 2,5% no desempenho, e a remoção do agente de grounding ou de percepção visual também degradou significativamente os resultados, confirmando a importância de cada módulo.
• Eficiência de Custo: O Symphony demonstrou ser mais eficiente em termos de custo (token) comparado a métodos que utilizam modelos proprietários caros (como OpenAI o3), utilizando modelos open-source robustos (DeepSeek R1, Seed 1.6 VL).

5. Significado e Impacto

O trabalho do Symphony representa um avanço significativo na área de IA multimodal ao demonstrar que a colaboração multi-agente inspirada na cognição humana é uma solução viável para superar as limitações de contexto e raciocínio dos modelos de linguagem atuais.

Ao invés de tentar escalar um único modelo para processar vídeos inteiros, o Symphony distribui a carga cognitiva, permitindo que o sistema lide com:

1. Intenções Implícitas: Entendendo o que não está explicitamente dito no vídeo.
2. Raciocínio de Múltiplos Passos: Conectando evidências espalhadas ao longo de horas de vídeo.
3. Grounding Preciso: Localizando exatamente onde e quando eventos ocorrem, mesmo em cenários complexos.

Isso abre caminho para aplicações reais mais robustas em áreas como análise de filmes, vigilância inteligente, cobertura esportiva e educação, onde a compreensão profunda e detalhada de vídeos longos é essencial.