Learning Transferable Topology Priors for Multi-Agent LLM Collaboration Across Domains

Resumo Técnico: Aprendizado de Priors de Topologia Transferíveis para Colaboração de LLMs Multi-Agente Através de Domínios

Declaração do Problema
Sistemas multi-agente baseados em Modelos de Linguagem de Grande Escala (LLMs) demonstraram forte potencial para raciocínio complexo ao coordenar agentes especializados por meio de comunicação estruturada. No entanto, em cenários multi-domínio (por exemplo, saúde, direito, ciência), os métodos existentes de evolução de topologia tipicamente constroem ou otimizam uma topologia de colaboração para cada consulta a partir do zero. Essa abordagem incorre em sobrecarga substancial de busca online, alto consumo de tokens no tempo de inferência e escalabilidade limitada. Os paradigmas atuais enfrentam um trade-off: métodos de prompting sem treinamento são limitados pelas capacidades congeladas do modelo subjacente, enquanto métodos de ajuste fino intensivos em treinamento correm o risco de esquecimento catastrófico e altos custos de armazenamento em múltiplos domínios. O desafio central é como reutilizar estruturas de colaboração eficazes entre domínios para adaptar-se a novas tarefas sem buscar repetidamente topologias de comunicação a partir do zero.

Metodologia: Framework TopoPrior
Os autores propõem o TopoPrior, um framework projetado para aprender priors de topologia transferíveis para colaboração de LLMs multi-agente. Em vez de tratar cada consulta como um novo problema de busca de topologia, o TopoPrior desloca parte da carga de busca da otimização online por consulta para o aprendizado offline de priors entre domínios. O framework consiste em dois componentes-chave:

1. Aprendizado de Priors de Topologia Transferíveis:
   Este módulo emprega um framework de grafo variacional condicional para capturar regularidades estruturais reutilizáveis em grafos de colaboração entre domínios.

   • Codificador Variacional: Utiliza uma Rede de Convolução em Grafos (GCN) para codificar grafos de colaboração de referência e suas consultas associadas em um espaço latente compartilhado.
   • Gerador Condicional: Reconstrói autoregressivamente topologias iniciais condicionadas à consulta a partir do prior latente aprendido e da consulta de entrada. Ele gera nós de agente (selecionando de um pool de papéis predefinido) e links de comunicação direcionados.
   • Prior Condicional: Mapeia consultas não vistas para regiões úteis do espaço latente de topologia, servindo como um prior específico da consulta quando grafos de referência não estão disponíveis no momento da inferência.

2. Adaptação Latente Condicionada à Consulta:
   Para garantir que os priors aprendidos sejam robustos entre domínios, mantendo-se sensíveis às necessidades específicas da consulta, o framework introduz um módulo de adaptação latente adversarial.

   • Um discriminador adversarial de domínio é aplicado à variável latente $z$ para reduzir a discrepância de domínio desnecessária durante o treinamento.
   • Isso é alcançado por meio de uma camada de reversão de gradiente (GRL), que alinha distribuições latentes entre domínios de origem sem apagar variações estruturais dependentes da consulta necessárias para a especialização da tarefa.

Principais Contribuições

• Formulação do Problema: Os autores formulam a inicialização de topologia para sistemas de LLMs multi-agente em cenários multi-domínio como um problema de aprendizado de prior de topologia transferível, onde estruturas de colaboração reutilizáveis são aprendidas offline para melhorar a evolução a jusante.
• Design do Framework: Eles propõem o TopoPrior, um framework leve que combina aprendizado de prior de topologia variacional condicional com adaptação latente condicionada à consulta para gerar grafos de colaboração iniciais informativos.
• Validação Empírica: Extensos experimentos nos benchmarks MMLU e C-Eval demonstram que o TopoPrior melhora o desempenho de raciocínio a jusante e a eficiência de tokens de inferência online através de múltiplos backbones heterogêneos de evolução de topologia, com sobrecarga de parâmetros modesta.

Resultados Experimentais
Os autores avaliaram o TopoPrior no MMLU e C-Eval (incluindo um subconjunto "Difícil") usando três backbones de LLM: Llama3-8B-Instruct, DeepSeek-V3-671B-Instruct e Qwen2.5-72B-Instruct. O framework foi integrado a quatro backbones existentes de evolução de topologia: G-Designer, AgentPrune, ARG-Designer e AgentDropout.

• Desempenho: A integração do TopoPrior melhorou consistentemente o desempenho a jusante. Por exemplo, no MMLU com Llama3-8B-Instruct, o TopoPrior+ARG melhorou a precisão média de 65,58% para 68,53% (+2,95 pontos). Ganhos semelhantes foram observados em outros backbones e modelos maiores.
• Eficiência: O framework reduziu significativamente o uso de tokens no tempo de inferência online, com reduções de até 40,22% observadas em certas configurações. Também reduziu o número de rodadas de comunicação necessárias para convergência.
• Eficiência de Parâmetros: O gerador de prior de topologia introduziu apenas 3,3 milhões de parâmetros treináveis adicionais (totalizando ~7,1M com o backbone), um aumento negligenciável em comparação com o backbone de 8B parâmetros e significativamente menor do que bases intensivas em treinamento como MoDULA ou MoDE.
• Ablação e Generalização: Estudos de ablação confirmaram que o objetivo de aprendizado de prior de topologia ($L_{prior}$) é o componente central, enquanto a adaptação latente ($L_{adapt}$) e o prior condicionado à consulta ($f_{prior}$) fornecem estabilidade. O framework também demonstrou robustez sob supervisão fraca (usando grafos de referência parcialmente convergidos) e generalização eficaz fora de domínio para domínios não vistos (por exemplo, Arte, Militar) ao mapear consultas para clusters latentes semanticamente plausíveis.

Significado e Alegações
O artigo afirma que a inicialização de topologia transferível é um mecanismo eficaz e leve para melhorar a eficiência da colaboração de LLMs multi-agente entre domínios. Ao amortizar o custo de busca de topologia entre consultas e domínios por meio de aprendizado de prior offline, o TopoPrior permite que sistemas multi-agente se adaptem a novas tarefas sem a alta sobrecarga de buscar topologias de comunicação a partir do zero.

Os autores enfatizam que sua abordagem é complementar aos backbones existentes de evolução de topologia, fornecendo um sinal de inicialização mais forte em vez de substituir os mecanismos de refinamento a jusante. Eles observam que, embora exista o custo offline de gerar grafos de referência, as economias de tokens durante a inferência podem amortizar esse custo em escalas de implantação suficientemente grandes (ponto de equilíbrio estimado em ~373.670 consultas para o conjunto de testes MMLU). O trabalho sugere que aprender regularidades estruturais reutilizáveis é uma direção prática para aprimorar a adaptabilidade e a eficiência de sistemas multi-agente, particularmente em cenários que exigem expertise diversificada em múltiplos domínios.