Resumo Técnico: STRONGER-MAS

Declaração do Problema

O artigo aborda o desafio subexplorado de aplicar Aprendizado por Reforço (RL) on-policy a Sistemas Multiagentes (MAS) para Grandes Modelos de Linguagem (LLMs). Embora o MAS melhore o desempenho por meio da orquestração baseada em papéis, e o RL fortaleça as políticas via recompensas do ambiente (por exemplo, Otimização de Política Relativa de Grupo, ou GRPO), a combinação de ambos apresenta dois gargalos críticos:

1. Desajuste Algorítmico: O GRPO padrão assume um único agente gerando múltiplas respostas para um mesmo prompt para formar um grupo de comparação. No MAS, os prompts diferem significativamente entre turnos e papéis devido aos históricos de interação evolutivos e contextos específicos de cada papel. A aplicação do agrupamento padrão leva a estimativas de vantagem inválidas porque os candidatos em um grupo não compartilham o mesmo prompt, violando a equidade necessária para a atribuição de crédito.
2. Limitações Sistêmicas: As estruturas de RL on-policy existentes (ex: VERL, AReaL) são projetadas para treinamento de modelo único e política única. Elas carecem de infraestrutura para suportar rollouts concorrentes de múltiplos agentes heterogêneos, gerenciar fluxos de trabalho de MAS diversos e realizar atualizações on-policy independentes para múltiplos modelos de política simultaneamente.

Metodologia

Os autores propõem o STRONGER-MAS, um framework que compreende um novo algoritmo (AT-GRPO) e um Sistema de Treinamento de MAS dedicado.

1. Algoritmo AT-GRPO

Otimização de Política Relativa Agente- e Turno-wise (AT-GRPO) adapta a otimização relativa de grupo para o ambiente multiagente.

• Amostragem Estruturada em Árvore: Em vez de amostrar $K$ trajetórias completas a partir do estado inicial (o que resulta em grupos incomparáveis após o primeiro turno), o sistema amostra $K$ ações candidatas em cada turno $t$ para cada agente $i$ a partir do estado atual.
• Agrupamento por Agente e Turno: As experiências são agrupadas com base no agente atuante e no número de turno específico. Uma chave de grupo única é gerada para cada par agente-turno. Isso garante que todos os $K$ candidatos dentro de um grupo compartilhem o mesmo prompt (contexto de observação + instruções específicas do papel + histórico de interação), satisfazendo o requisito para um cálculo de vantagem justo.
• Execução Gananciosa (Greedy): A partir dos $K$ candidatos amostrados, a ação com a maior recompensa é selecionada de forma gananciosa para prosseguir para o próximo turno, concentrando a exploração em decisões críticas de coordenação.
• Atribuição de Crédito: A função de recompensa combina uma recompensa de equipe global ($r_{team}$) e recompensas locais específicas do agente ($r_{loc}$) via um coeficiente de mistura $\alpha$: $r_{t,i} = \alpha r_{team} + r_{loc}$. Isso equilibra objetivos compartilhados com incentivos específicos de cada papel.

2. Sistema de Treinamento de MAS

Para suportar o AT-GRPO, os autores projetaram um novo sistema de treinamento que desacopla os pools de recursos para diferentes políticas:

• Pools de Recursos Independentes: Cada política (seja compartilhada ou específica de um papel) recebe um pool de recursos de GPU independente contendo um RolloutWorker (para inferência) e um UpdateWorker (para otimização).
• Rollouts Concorrentes: O sistema orquestra diversos fluxos de trabalho de MAS onde múltiplos agentes interagem com um pool de ambiente baseado em CPU.
• Roteamento Dinâmico: Os dados de trajetória gerados pelos agentes são roteados para o UpdateWorker específico correspondente à sua política atribuída, permitindo atualizações on-policy reais para múltiplos modelos simultaneamente.

Principais Contribuições

1. Algoritmo AT-GRPO: Um novo algoritmo de RL que permite a estimativa de vantagem válida em ambientes multi-turno e multiagente, agrupando experiências com base na identidade do agente e no número do turno, em vez de apenas no prompt inicial.
2. Sistema de Treinamento de MAS: Uma infraestrutura escalável capaz de executar rollouts para diversos fluxos de trabalho de MAS e realizar atualizações on-policy independentes para múltiplas políticas (tanto de compartilhamento de papel quanto de especialização de papel).
3. Validação Empírica: Experimentos extensos em quatro domínios (Jogos, Planejamento, Codificação, Matemática) demonstrando que o AT-GRPO supera significativamente o RL de agente único e as bases de comparação de MAS padrão.
4. Análise de Política: Uma investigação sistemática sobre as trocas entre políticas de compartilhamento de papel (um modelo para todos os agentes) e políticas de especialização de papel (modelos distintos por papel), mostrando que a escolha ideal depende das características da tarefa (ex: a especialização beneficia a codificação, enquanto o compartilhamento pode beneficiar a matemática).

Resultados

O método foi avaliado em modelos Qwen3 (1.7B e 8B) através de vários benchmarks:

• Planejamento de Longo Horizonte: O AT-GRPO supera um gargalo fundamental do RL de agente único. Em tarefas como Sokoban e Plan-Path, ele elevou a precisão de uma base de 14,0–47,0% para 96,0–99,5%.
• Codificação e Matemática: A abordagem gerou ganhos consistentes.
  • Codificação: Melhorias médias de 3,87–7,62% em benchmarks como LiveCodeBench e APPS.
  • Matemática: Melhorias médias de 9,0–17,93% em benchmarks como AIME e OlympiadBench.
• Especialização de Papel:
  • Em tarefas de codificação (Coder vs. Tester), as políticas especializadas por papel superaram as políticas compartilhadas, melhorando a precisão em ~3 pontos (Qwen3-1.7B).
  • Em tarefas de matemática, as políticas compartilhadas às vezes superaram as especializadas, sugerindo que a sobreposição funcional permite que um único modelo aproveite dados tanto de papéis de raciocínio quanto de uso de ferramentas.
• Escalabilidade: O sistema demonstrou escalabilidade eficaz com o aumento dos tamanhos de ensemble (ex: aumentando de 1 para 7 agentes), alcançando ganhos contínuos de desempenho onde os métodos de base saturaram.
• Comparação: O AT-GRPO superou frameworks de MARL existentes como MAPoRL, MARFT e CURE, particularmente em cenários de alinhamento iterativo de múltiplos turnos.

Significância e Alegações

O artigo afirma que o STRONGER-MAS fornece uma solução geral para treinar MAS baseados em LLM cooperativos. Sua significância reside em:

• Preenchendo a Lacuna: Ele integra com sucesso os pontos fortes do MAS (colaboração, especialização de papel) com os ganhos de desempenho do RL on-policy, uma combinação anteriormente dificultada por limitações algorítmicas e sistêmicas.
• Colaboração Emergente: Os resultados sugerem que o RL on-policy dentro do MAS promove a colaboração emergente, onde os agentes aprendem a coevoluir habilidades especializadas e alinhar suas ações de forma mais eficiente (reduzindo o número de turnos para resolver tarefas).
• Arquitetura Dependente de Tarefa: O trabalho destaca que não existe uma arquitetura de política "tamanho único"; a escolha entre políticas compartilhadas ou especializadas deve ser determinada pelas características específicas da tarefa (ex: sobreposição funcional vs. papéis distintos).
• Robustez: O método permanece eficaz mesmo quando utilizando recompensas esparsas de apenas resultado, indicando que as melhorias algorítmicas do AT-GRPO não dependem exclusivamente de modelagem complexa de recompensa.

Os autores concluem que seu framework oferece uma abstração escalável e fiel para treinar agentes de LLM cooperativos, superando os gargalos de coordenação que limitam as abordagens atuais de RL de agente único ou multiagente ingênuo.