Scaling Video Understanding via Compact Latent Multi-Agent Collaboration

1. Declaração do Problema

Os Modelos de Linguagem Multimodal Grandes (MLLMs) atuais enfrentam um gargalo fundamental na compreensão de vídeos longos devido a orçamentos de contexto de percepção limitados.

• A Limitação: Um único MLLM não consegue processar vídeos de alta resolução e longa duração sem subamostragem agressiva (temporal/espacial), o que leva a uma perda significativa de informações (por exemplo, perda de objetos específicos ou eventos temporais).
• Falha dos Métodos Agentes Existentes: As abordagens multi-agente existentes tentam mitigar isso por meio de pré-processamento baseado em regras (por exemplo, amostragem) ou recuperação. No entanto, essas abordagens frequentemente dependem de comunicação baseada em texto entre os agentes. O texto é perdedor para tarefas visuais, falhando em preservar detalhes de alta granularidade como movimento, relações espaciais e texturas. Além disso, pipelines baseados em texto são frequentemente caros e dependem da qualidade do texto intermediário, criando uma desconexão das representações visuais nativas.
• O Desafio Central: Como distribuir a carga de trabalho perceptiva entre múltiplos agentes sob orçamentos locais estritos, permitindo uma coordenação global eficiente e que preserve informações, sem depender de resumos textuais perdedores.

2. Metodologia: Framework MACF

Os autores propõem o MACF (Framework de Colaboração Multi-Agente), um sistema distribuído de ponta a ponta que desacopla os orçamentos de percepção por agente da complexidade global do vídeo.

A. Arquitetura

• Agentes Locais Distribuídos: O vídeo de entrada é particionado em segmentos temporais disjuntos. Cada segmento é processado por um agente local ($A_m$) operando sob um orçamento de percepção ($B_{per}$) estrito, definido pelo número máximo de pixels (quadros $\times$ resolução) que pode ingerir.
• Coordenador Central: Um agente coordenador ($A_0$) agrega informações de todos os agentes locais para produzir a resposta final.
• Comunicação Latente Nativa do Agente: Em vez de trocar legendas de texto, os agentes locais codificam suas observações em tokens latentes contínuos e compactos dentro de um espaço de incorporação compartilhado.
  • Cada agente $A_m$ mapeia sua entrada visual $X^{(m)}$ e consulta $q$ em uma sequência de comprimento fixo de tokens de comunicação $c^{(m)} \in \mathbb{R}^{K \times d}$.
  • O coordenador consome esses tokens diretamente, contornando a necessidade de geração e interpretação de texto.

B. Otimização e Treinamento Curricular

O treinamento direto de ponta a ponta é instável devido ao gargalo de "min-cut" no fluxo de informações. Os autores introduzem uma estratégia de treinamento curricular em três etapas:

1. Alinhamento Semântico: Os agentes aprendem a mapear entradas visuais para um espaço latente unificado usando supervisão de legendas. Isso garante que o coordenador possa decodificar os tokens em linguagem significativa, estabelecendo um canal de comunicação estável.
2. Resumo de Evidências: Os agentes são ajustados finamente em conjuntos de dados de Perguntas e Respostas sobre Imagens (Image-QA) para aprender a comprimir evidências relevantes para a tarefa em tokens compactos condicionados à consulta.
3. Colaboração Inter-Agente: O sistema completo é treinado em conjuntos de dados de Perguntas e Respostas sobre Vídeo (Video-QA). O coordenador aprende a fundir tokens distribuídos de múltiplos agentes para realizar raciocínio global.

3. Contribuições Principais

1. Formalização da Compreensão de Vídeo Multi-Agente com Restrição de Orçamento: O artigo define um cenário de problema onde tanto a percepção (pixels) quanto a comunicação (tokens) são estritamente limitadas, propondo um framework que escala o comprimento do vídeo aumentando o número de agentes, em vez do tamanho de entrada por agente.
2. Mecanismo de Comunicação Latente Nativa do Agente: Um protocolo inovador onde os agentes trocam vetores densos e contínuos em vez de texto. Isso preserva semânticas visuais de alta granularidade (por exemplo, cores específicas, texturas, relações espaciais) que são frequentemente perdidas na sumarização textual.
3. Estratégia de Treinamento Curricular: Uma abordagem de treinamento progressiva que estabiliza a otimização do espaço latente compartilhado, garantindo alinhamento semântico e agregação eficaz de evidências entre os agentes.

4. Resultados Experimentais

Os autores avaliaram o MACF em quatro benchmarks de vídeos longos: Video-MME, LongVideoBench, LVBench e MLVU-Test.

• Desempenho: O MACF supera consistentemente os MLLMs mais avançados (incluindo Qwen3-VL-8B, LLaVA-OneVision e GPT-4o) sob restrições idênticas de orçamento de percepção.
  • Exemplo: Usando o Qwen3-VL-8B como base, o MACF alcançou ganhos de +4,5% a +7,7% sobre o modelo base em todos os benchmarks.
  • No MLVU-Test, o MACF superou todos os modelos de código aberto comparados, mesmo aqueles sem restrições de orçamento de entrada.
• Eficiência de Comunicação:
  • Comparado à comunicação baseada em texto (MapReduce), o MACF melhorou o desempenho em 9,7% a 20,3%.
  • Comparado ao compartilhamento de cache KV (LatentMAS), o MACF melhorou o desempenho em 10,3% a 14,1%, enquanto alcançou latência significativamente menor e custos de throughput reduzidos.
• Análise Qualitativa: Em um estudo de caso envolvendo a cor da corda de um cachorro, agentes baseados em texto falharam porque um agente identificou erroneamente o cachorro devido a erros de compressão de texto. Os tokens latentes do MACF preservaram a evidência visual, permitindo que o coordenador identificasse corretamente a cor da corda.
• Escalabilidade: O desempenho escala linearmente com o número de agentes (capacidade temporal) e resolução espacial até atingir o gargalo de comunicação, demonstrando a capacidade do framework de lidar com vídeos mais longos adicionando mais agentes.

5. Significado e Impacto

• Mudança de Paradigma: O MACF se afasta de sistemas multi-agente centrados em texto em direção à colaboração nativa latente, provando que a comunicação visual-semântica direta é superior para tarefas de compreensão de vídeo.
• Escalabilidade: Oferece uma solução prática para análise de vídeos longos em restrições de hardware fixas (por exemplo, VRAM limitada ou janelas de contexto) distribuindo a carga em vez de comprimir a entrada.
• Generalização: O framework é agnóstico ao modelo, funcionando efetivamente com diferentes arquiteturas base (Qwen, LLaVA) por meio de módulos adaptadores, tornando-o adaptável a futuros desenvolvimentos de MLLM.
• Eficiência: Ao evitar a geração de texto autoregressiva para comunicação inter-agente, o MACF reduz significativamente a latência de inferência e a sobrecarga computacional em comparação com sistemas multi-agente baseados em recuperação ou texto.

Em conclusão, o MACF demonstra que desacoplar a percepção da complexidade por meio de colaboração latente compacta é uma estratégia altamente eficaz para escalar a compreensão de vídeo, preservando a fidelidade visual enquanto adere a orçamentos computacionais estritos.