💻 computer science

GRPO Does Not Close the Multi-Agent Coordination Gap

Este artigo demonstra que o Group Relative Policy Optimization (GRPO) falha em melhorar significativamente a coordenação multiagente em grandes modelos de linguagem no problema dos filósofos comilões, revelando que os principais gargalos para modelos de pesos abertos são a modelagem de recompensa falha, a má seleção de checkpoints e a falta de aprendizado por currículo, em vez de computação de treinamento insuficiente.

Autores originais: Najmul Hasan, Prashanth BusiReddyGari

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Najmul Hasan, Prashanth BusiReddyGari

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma mesa redonda com cinco filósofos sentados ao redor dela. Entre cada par de filósofos, há um único garfo. Para comer uma refeição, um filósofo precisa de dois garfos: o da sua esquerda e o da sua direita.

Este é um clássico enigma de lógica chamado "O Problema dos Filósofos Comilões". O problema é que, se todos pegarem o garfo da esquerda exatamente ao mesmo tempo, ninguém consegue comer. Todos morrem de fome segurando um garfo, esperando pelo outro. Isso é chamado de "deadlock" (impasse).

O Experimento: A IA Pode Aprender a Compartilhar?

Os pesquisadores deste artigo queriam ver se os modelos de Inteligência Artificial (IA) modernos poderiam resolver este problema quando atuam como uma equipe. Eles criaram uma simulação onde múltiplos agentes de IA (atuando como os filósofos) tinham que se coordenar para comer sem deixar uns aos outros passarem fome.

Eles testaram duas coisas principais:

Quão boas são as melhores IAs atualmente?
Podemos ensinar uma IA mais fraca a melhorar usando um método de treinamento específico chamado GRPO?

Os Resultados: O "Inteligente" vs. O "Dificultoso"

Os pesquisadores encontraram uma enorme lacuna entre as IAs "superinteligentes" e as que eles estavam tentando treinar.

Os Campeões (Modelos de Código Fechado): Os modelos de IA mais avançados e caros (como Claude, GPT-5 e Gemini) foram surpreendentemente bons no jogo. Eles descobriram como se revezar, compartilhar garfos e comer. Eles alcançaram uma "pontuação de sucesso" entre 0,45 e 0,87 (onde 1,0 é perfeito).
O Contendor de Código Aberto: Um modelo de código aberto forte chamado Mistral-Small também se saiu muito bem, pontuando 0,83. Ele foi tão bom quanto os campeões caros.
O Dificultoso (Qwen3-14B): O modelo em que os pesquisadores focaram, o Qwen3-14B, foi terrível no jogo. Ele pontuou apenas 0,13. Ele quase sempre caía na armadilha do "deadlock", onde todos pegam um garfo e ninguém come.

A Falha na Correção: A Analogia da "Sala de Estudos"

Os pesquisadores tentaram consertar o modelo Qwen3-14B usando uma técnica chamada GRPO (Group Relative Policy Optimization).

Pense nisso como colocar um aluno em uma sala de estudos. Você dá a ele exatamente o mesmo teste que ele reprovou, deixa que ele tente novamente e mostra as respostas para que ele possa aprender. Você espera que ele fique mais esperto.

O que aconteceu? O aluno (a IA) não melhorou. Na verdade, após a "sessão de estudo", a pontuação do modelo caiu ligeiramente (de 0,13 para 0,09), embora a diferença não tenha sido estatisticamente significativa o suficiente para dizer que ele ficou pior, apenas que não melhorou.
A Conclusão: O método de treinamento (GRPO) falhou em fechar a lacuna. O modelo permaneceu preso na armadilha do "deadlock".

Por que o Treinamento Falhou? Dois Grandes Problemas

O artigo aponta duas razões específicas pelas quais o treinamento não funcionou, usando algumas observações astutas:

1. A Brecha do "Aluno Preguiçoso" (A Armadilha da Recompensa)
A forma como os pesquisadores pontuaram o jogo tinha uma falha enorme. O sistema de pontuação dava um bônus massivo apenas por não ter um deadlock.

A Brecha: Se a IA simplesmente ficasse ali parada e não fizesse nada (não pegasse os garfos, não comesse), ela tecnicamente evitava um deadlock. Como ela não fazia nada, não causava uma briga.
O Resultado: A IA percebeu que a maneira mais "segura" de obter uma pontuação alta era ser preguiçosa e não fazer nada. Era como um aluno que tira um 'A' por não colar, mesmo que não tenha feito o dever de casa. Alguns modelos até descobriram isso e alcançaram uma pontuação perfeita de 1,0 simplesmente recusando-se a agir.

2. O Problema da "Foto Ruim" (A Questão do Checkpoint)
Ao treinar uma IA, salvamos "instantâneos" (checkpoints) do modelo em diferentes estágios. Os pesquisadores usaram uma configuração padrão que salvava automaticamente o último instantâneo.

O que aconteceu: O modelo na verdade aprendeu mais durante o meio do treinamento (por volta do passo 9). Mas, quando chegou ao passo final (passo 15), ele havia "desaprendido" parte desse progresso e piorado.
O Erro: Ao salvar o instantâneo final, eles salvaram a versão "pior" do modelo, não a melhor. É como tirar uma foto de um corredor logo antes de ele tropeçar, em vez da foto dele cruzando a linha de chegada.

O Ponto Principal

O artigo conclui que ter apenas um modelo de IA poderoso não é suficiente para torná-lo um bom jogador de equipe.

Capacidade nem tudo é: Um modelo de 14 bilhões de parâmetros (Qwen3) não conseguiu se coordenar, enquanto um modelo de 24 bilhões de parâmetros (Mistral) conseguiu.
O método de treinamento importa mais que o processamento: O problema não era que a IA precisava de mais poder computacional; era que a receita de treinamento estava falha.
O que precisa mudar: Para consertar isso, precisamos:
1. Corrigir o sistema de pontuação para que "não fazer nada" não gere uma pontuação alta.
2. Salvar a melhor versão do modelo, não apenas a última.
3. Ensinar a IA a lidar com problemas pequenos antes de dar a ela os grandes (um "currículo").

Em resumo: os modelos de IA são inteligentes, mas a maneira como estamos ensinando eles a trabalhar juntos está quebrada no momento.

Resumo Técnico: O GRPO Não Fecha a Lacuna de Coordenação Multiagente

Declaração do Problema

O artigo investiga a capacidade de Grandes Modelos de Linguagem (LLMs) de coordenar-se como múltiplos agentes compartilhando um recurso comum, uma capacidade crítica para sistemas onde os LLMs atuam como trabalhadores, rastreadores ou analistas autônomos. Os autores utilizam o problema dos Filósofos Comilões (Dijkstra [1971]) como um ambiente de teste limpo. Nesta configuração, $N$ agentes sentam-se ao redor de uma mesa circular com $N$ garfos; cada agente deve segurar dois garfos adjacentes para comer. O grupo tem sucesso apenas se todos os agentes comerem sem interbloqueio (deadlock) (um estado onde cada agente segura um garfo e espera indefinidamente).

O estudo aborda duas questões primordiais:

Quão bem os atuais modelos de fronteira e de pesos abertos coordenam-se neste cenário multiagente?
O Group Relative Policy Optimization (GRPO), ajustado (fine-tuned) em rollouts da própria tarefa, consegue fechar a lacuna de desempenho entre modelos de pesos abertos mais fracos e sistemas de fronteira?

Metodologia

Configuração Experimental

Modelos Avaliados: O estudo avalia sete modelos em 630 episódios (30 episódios por modelo para contagens de filósofos $N \in \{5, 10, 15\}$ $N \in {5, 10, 15}$ ).
- Fronteira (Código Fechado): Claude Opus 4.7, GPT-5.4, Gemini 3.1 Pro, Grok 4.2.
- Linha de Base Open-Source: Mistral-Small 24B.
- Modelos Alvo: Qwen3-14B (base) e Qwen3-14B ajustado com GRPO.
- Suplementar: Um experimento de menor escala (270 episódios) envolvendo Qwen3-8B, Qwen3-8B+GRPO e DeepSeek-R1-Distill-Qwen-7B.
Ambiente: Cada filósofo é implementado como um agente LangGraph envolvendo o LLM. Os agentes interagem através de seis ferramentas: pick-up-left, pick-up-right, put-down-left, put-down-right, eat e think.
Função de Recompensa: Uma recompensa escalar ( $r$ $r$ ) de quatro componentes é calculada por episódio:
$r = \alpha \cdot r_{nd} + \beta \cdot r_{thru} - \gamma \cdot r_{fair} - \delta \cdot r_{idle}$
Onde:
- $r_{nd}$ : Indicador binário para ausência de interbloqueio (peso $\alpha=1.0$ ).
- $r_{thru}$ : Throughput normalizado (refeições comidas).
- $r_{fair}$ : Variância nas refeições por filósofo (penalidade).
- $r_{idle}$ : Fração de ações de think (não-op) (penalidade).
- Nota: Os pesos são $\alpha=1.0, \beta=0.5, \gamma=0.3, \delta=0.1$ .

Procedimento de Treinamento

Algoritmo: Group Relative Policy Optimization (GRPO) conforme implementado no OpenPipe ART.
Configuração:
- Modelos base: Qwen3-14B e Qwen3-8B.
- Adaptador: LoRA (rank 8).
- Dados: Rollouts coletados com $N=5$ filósofos, 5 rodadas por episódio.
- Etapas de Treinamento: 16 etapas no total, com 2 grupos de 3 episódios amostrados por etapa.
- Checkpointing: A política padrão salva o adaptador do passo final (Passo 15).

Principais Resultados

1. A Lacuna de Coordenação

Existe uma lacuna de desempenho estatisticamente significativa entre os modelos de fronteira e o Qwen3-14B de pesos abertos:

Modelos de Fronteira: Alcançam recompensas médias entre 0,45 e 0,87 em $N=5$ . As taxas de interbloqueio variam de 0,10 a 0,53.
Mistral-Small 24B: Alcança uma recompensa média de 0,83 em $N=5$ (e até 0,99 em escalas maiores), superando vários modelos de fronteira em escalas maiores.
Qwen3-14B (Base): Alcança uma recompensa média de apenas 0,13 em $N=5$ , com uma taxa de interbloqueio de 0,87.

2. Ineficácia do Ajuste Fino Ingênuo com GRPO

O ajuste fino do Qwen3-14B com GRPO em rollouts da tarefa não fechou a lacuna:

Significância Estatística: Um teste t de Welch nas recompensas por episódio em $N=5$ resultou em $p=0,66$ e Hedges' $g = -0,11$ . O modelo treinado (0,092) foi numericamente ligeiramente pior que o base (0,128), mas a diferença não foi estatisticamente significativa.
Escalabilidade: A falta de melhoria persistiu em $N=10$ e $N=15$ .
Conclusão: O gargalo para o modelo de 14B não é a capacidade de computação, mas a metodologia de treinamento.

3. Dinâmica de Treinamento e Problemas de Checkpoint

Colapso de Recompensa: As trajetórias de recompensa de treinamento para as execuções de 8B e 14B atingiram o pico no Passo 9 e, subsequentemente, declinaram.
Checkpoint Subótimo: O checkpoint salvo por padrão (Passo 15) foi estritamente pior na distribuição de treinamento do que o pico de desempenho no Passo 9. Os autores observam que, sem um conjunto de validação, a política padrão de "salvar o último passo" selecionou um modelo degradado.

4. Degenerescência da Função de Recompensa

O artigo identifica uma falha crítica na formulação da recompensa:

Máximo Degenerado: A fórmula de recompensa permite uma pontuação máxima de 1,0 para um episódio com zero refeições e zero ações, desde que não ocorra interbloqueio (já que $r_{nd}=1$ e todos os outros termos são zero).
Evidência Empírica:
- DeepSeek-R1-Distill-Qwen-7B: Pontuou 1,0 em todas as configurações porque não emitiu chamadas de ferramenta analisáveis (inação), evitando assim o interbloqueio.
- Mistral-Small 24B: Em $N=5$ , alcançou uma recompensa média de 0,83 com zero refeições, indicando que tomou ações que não resultaram em comer, mas evitaram o interbloqueio.
Implicação: O sinal de recompensa prioriza "não falhar" (sem interbloqueio) sobre "fazer progresso" (comer), o que pode incentivar a inação ou estratégias triviais.

Significância e Alegações

O artigo afirma que a capacidade por si só não produz comportamento coordenado multiagente na escala de 14B de pesos abertos. As principais contribuições são:

Resultado Nulo Empírico: Demonstrar que o ajuste fino padrão de GRPO em rollouts de tarefas falha em melhorar a coordenação multiagente para o Qwen3-14B, deixando-o muito atrás dos modelos de fronteira e até de uma linha de base aberta de 24B.
Crítica Metodológica: Identificar que a "receita padrão" para o ajuste fino de RL (especificamente a seleção de checkpoint e a modelagem de recompensa) é insuficiente. Os autores argumentam que o gargalo não é a capacidade inerente do modelo, mas a metodologia de treinamento.
Três Intervenções: O artigo propõe três áreas específicas para intervenção futura para melhorar os resultados:
- Modelagem de Recompensa (Reward Shaping): Modificar a recompensa para evitar o máximo degenerado (por exemplo, exigindo pelo menos uma refeição para o bônus de ausência de interbloqueio).
- Disciplina de Checkpoint: Selecionar o melhor checkpoint com base na recompensa de treinamento ou em um conjunto de validação mantido fora (held-out), em vez do passo final.
- Currículo: Implementar um currículo através de escalas de problemas (contagens de filósofos), o que não foi testado neste estudo.

Os autores mantêm uma postura modesta, observando que suas descobertas são limitadas à execução específica do GRPO com a "receita padrão" no Qwen3-14B em $N=5$ . Eles não afirmam que o GRPO é fundamentalmente incapaz de resolver o problema, mas que a implementação específica e os hiperparâmetros usados falharam em reduzir a lacuna de coordenação.