Recursive Multi-Agent Systems

1. Formulação do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) atuais frequentemente lutam com tarefas complexas devido à capacidade limitada, geração míope ou exploração ineficiente do espaço de soluções. Embora os Sistemas Multi-Agente (MAS) tenham surgido para abordar isso, organizando agentes especializados em fluxos de trabalho colaborativos, as abordagens existentes enfrentam limitações significativas:

• Latência Mediada por Texto: Os MAS padrão dependem da geração e troca explícita de texto entre agentes. Isso introduz latência substancial e sobrecarga de tokens, especialmente em configurações recursivas ou iterativas onde os agentes devem esperar que outros terminem de gerar texto antes de prosseguir.
• Ineficiência no Treinamento: Otimizar um MAS inteiro é difícil. Atualizar todos os parâmetros do modelo é computacionalmente caro, e as dependências sequenciais de texto frequentemente levam ao desaparecimento de gradientes durante a retropropagação, dificultando a aprendizagem de dinâmicas colaborativas complexas.
• Adaptação Estática: Muitos métodos existentes dependem de engenharia de prompts ou refinamento iterativo de contexto, o que melhora o alinhamento, mas não evolui fundamentalmente as capacidades de raciocínio interno dos agentes ou a estrutura colaborativa do sistema.

Os autores perguntam: A colaboração entre agentes pode ser escalada através da recursão e isso pode ser alcançado de forma mais eficiente operando no espaço latente em vez do espaço de texto?

2. Metodologia: RecursiveMAS

O artigo apresenta o RecursiveMAS, um framework que trata todo o sistema multi-agente como um cálculo recursivo unificado no espaço latente. Em vez de tratar agentes como entidades separadas trocando texto, o RecursiveMAS os trata como camadas em um loop recursivo, passando e refinando representações latentes (estados ocultos) em vez de tokens.

Componentes Arquiteturais Principais

1. Geração de Pensamentos Latentes (Loop Interno):

   • Cada agente realiza geração auto-regressiva não de tokens, mas de pensamentos latentes (embeddings contínuos de estado oculto).
   • Um RecursiveLink Interno ($R_{in}$) conecta a saída da última camada de um agente de volta ao seu espaço de embedding de entrada para o próximo passo. Isso permite que um agente refine iterativamente seu estado de raciocínio interno sem decodificar para texto.
   • $R_{in}$ é um módulo de projeção residual leve de 2 camadas: $R_{in}(h) = h + W_2 \sigma(W_1 h)$.

2. Colaboração entre Agentes (Loop Externo):

   • Agentes heterogêneos (diferentes tamanhos/arquiteturas de modelos) são conectados via um RecursiveLink Externo ($R_{out}$).
   • $R_{out}$ transforma o estado latente de um agente no espaço de embedding do próximo agente, permitindo transferência de informações perfeita entre diferentes tipos de modelos.
   • O sistema forma um loop fechado: Agente $A_1 \to A_2 \to \dots \to A_N \to A_1$. Apenas o agente final na última rodada de recursão decodifica o estado latente na saída de texto final.

3. Paradigma de Treinamento de Loop Interno-Externo:

   • Treinamento do Loop Interno: Cada agente é aquecido individualmente. O $R_{in}$ interno é treinado para alinhar os pensamentos latentes gerados pelo agente com a distribuição semântica da resposta de verdade (usando regressão de similaridade cosseno). Isso garante que os agentes possam gerar estados latentes significativos.
   • Treinamento do Loop Externo: Todo o sistema é co-otimizado. Os módulos externos $R_{out}$ são treinados usando um mecanismo compartilhado de atribuição de crédito baseado em gradientes. Os gradientes são retropropagados através do grafo de cálculo recursivo completo (através de todos os agentes e rodadas de recursão) usando uma perda padrão de Entropia Cruzada na saída final. Isso permite que o sistema aprenda a colaborar iterativamente.

Vantagens Teóricas

O artigo fornece duas justificativas teóricas principais para a recursão no espaço latente:

• Complexidade de Tempo de Execução: O RecursiveMAS substitui a decodificação dispendiosa no espaço de vocabulário ($O(|V|)$) pela projeção no espaço latente ($O(d_h^2)$). Como a dimensão oculta $d_h$ é muito menor que o tamanho do vocabulário $|V|$, a complexidade é reduzida significativamente.
• Estabilidade do Gradiente: A análise teórica mostra que a recursão baseada em texto sofre de desaparecimento de gradiente (norma do gradiente $\approx 0$) devido à operação softmax e restrições de entropia. Em contraste, o RecursiveMAS mantém gradientes estáveis e quase constantes (norma $\approx 1$) através das conexões residuais no espaço latente, facilitando o treinamento eficaz de recursão profunda.

3. Contribuições Principais

1. Recursão em Nível de Sistema: O primeiro framework a estender o princípio de escalonamento recursivo de modelos únicos para sistemas multi-agente heterogêneos, tratando todo o MAS como um loop unificado no espaço latente.
2. RecursiveLink Leve: Um módulo novo e eficiente em parâmetros ($R_{in}$ e $R_{out}$) que permite a geração de pensamentos latentes e transferência de estado entre agentes sem atualizar os parâmassivos dos LLMs base.
3. Otimização de Loop Interno-Externo: Um algoritmo de treinamento de duas etapas que desacopla a capacidade do agente (interno) da colaboração do sistema (externo), permitindo a co-otimização estável de todo o sistema.
4. Generalização: O framework é agnóstico à arquitetura e suporta padrões de colaboração diversos, incluindo Sequencial, Mixture-of-Experts, Destilação e Deliberação Integrada a Ferramentas.

4. Resultados Empíricos

Os autores avaliaram o RecursiveMAS em 9 benchmarks (Matemática, Ciência, Medicina, Busca, Código) usando 4 padrões de colaboração diferentes e diversas famílias de modelos (Qwen, Llama, Gemma, Mistral).

• Precisão: O RecursiveMAS alcançou uma melhoria média de precisão de 8,3% em comparação com baselines avançadas de agente único e multi-agente (incluindo sistemas recursivos baseados em texto).
  • Ganhos notáveis em tarefas intensivas de raciocínio: +18,1% no AIME2025, +13,0% no AIME2026.
• Eficiência (Velocidade):
  • Aceleração de Inferência: Alcançou 1,2× a 2,4× de aceleração de inferência ponta a ponta em comparação com MAS recursivos baseados em texto. A aceleração aumenta à medida que a profundidade da recursão aumenta, porque sistemas baseados em texto sofrem com custos de geração de tokens compostos.
  • Redução de Tokens: Reduziu o uso de tokens em 34,6% a 75,6% em comparação com baselines baseadas em texto, pois a maioria das interações ocorre no espaço latente comprimido.
• Leis de Escala:
  • Profundidade de Recursão: O desempenho melhora consistentemente à medida que o número de rodadas de recursão ($r=1, 2, 3$) aumenta.
  • Treinamento vs. Inferência: Uma recursão de treinamento mais profunda desloca a fronteira de desempenho para cima, e uma recursão de inferência mais profunda aproveita ainda mais a estrutura latente aprendida.
• Custo: Treinar o RecursiveMAS é significativamente mais barato do que o ajuste fino completo ou mesmo o ajuste fino LoRA de agentes únicos, pois apenas os módulos leves do RecursiveLink são atualizados (aprox. 0,31% dos parâmetros totais).

5. Significado

O RecursiveMAS representa uma mudança de paradigma na forma como sistemas multi-agente são projetados e treinados:

• Eficiência: Resolve o "imposto de tokens" da colaboração multi-agente, tornando o raciocínio iterativo viável para tarefas complexas sem latência ou custo proibitivos.
• Escalabilidade: Demonstra que o desempenho em nível de sistema pode ser escalado aprofundando o loop de recursão, de forma semelhante à maneira como modelos únicos escalam com a profundidade, mas aplicado a um ecossistema colaborativo.
• Estabilidade: Ao mover a colaboração para o espaço latente, supera os problemas de instabilidade de gradiente que historicamente afligiram o treinamento recursivo profundo em sistemas baseados em texto.
• Generalização: A capacidade do framework de generalizar através de diferentes topologias de agentes (sequencial, paralelo, destilação) sugere uma abordagem robusta e universal para escalar a colaboração entre agentes.

Em conclusão, o RecursiveMAS prova que a recursão no espaço latente é um eixo de escalabilidade viável e superior para sistemas multi-agente, oferecendo um caminho para IA colaborativa mais capaz, eficiente e treinável.