Resumo Técnico: Quando o RL Multi-Agente Melhora os Fluxos de Trabalho de LLM?

Declaração do Problema

Os fluxos de trabalho com Modelos de Linguagem de Grande Escala (LLM) multi-agente emergiram como um método para aprimorar a precisão na tarefa final, roteando a inferência através de papéis especializados (por exemplo, geradores, avaliadores, agregadores). Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR), particularmente a Otimização de Política Relativa em Grupo (GRPO), tenha melhorado com sucesso o raciocínio de agente único em matemática e código, sua aplicação a sistemas multi-agente permanece pouco compreendida. Especificamente, a estabilidade do treinamento conjunto desses papéis especializados é incerta. Não está claro se o treinamento RL de ponta a ponta de fluxos de trabalho multi-agente produz melhorias em relação aos modelos base e, em caso afirmativo, como a escolha da estratégia de compartilhamento de política (Política Compartilhada vs. Política Isolada) interage com a topologia do fluxo de trabalho, o domínio da tarefa e a escala do modelo para determinar sucesso ou falha.

Metodologia

Os autores realizam um estudo empírico sistemático em uma grade controlada de quatro dimensões:

1. Fluxos de Trabalho: Três topologias distintas são avaliadas:
   • Aval-Otim: Um fluxo de trabalho de dois papéis (Gerador $\to$ Avaliador $\to$ Revisão).
   • Votação: Um fluxo de trabalho de dois papéis com multiplicidade de mesmo papel (3 Geradores $\to$ 1 Agregador).
   • Orch-Trab: Um fluxo de trabalho hierárquico de três papéis (Orquestrador $\to$ 3 Trabalhadores $\to$ Sintetizador).
2. Tarefas: Raciocínio matemático (DAPO-Math-17K) e geração de código (DeepCoder).
3. Escalas de Modelo: Três variantes do Qwen3 (0,6B, 1,7B, 4B parâmetros).
4. Estratégias de Compartilhamento de Política:
   • Política Compartilhada (SP): Todos os papéis em um fluxo de trabalho compartilham um único conjunto de parâmetros de política.
   • Política Isolada (IP): Cada tipo de papel distinto (por exemplo, todos os geradores compartilham um adaptador, todos os avaliadores compartilham outro) possui seus próprios parâmetros de política isolados.

Os experimentos utilizam GRPO sem penalidades KL explícitas contra uma política de referência. Cada configuração é comparada a um controle de modelo base e a um controle de RL de agente único (SA-RL) treinado na mesma tarefa e escala para isolar os ganhos específicos atribuíveis ao treinamento multi-agente. O estudo analisa a dinâmica de treinamento, incluindo normas de gradiente, razões de política em nível de token, colapso de entropia e trajetórias de precisão de validação.

Principais Contribuições

O artigo fornece um mapa empírico e uma explicação mecânica para a estabilidade e o desempenho de fluxos de trabalho de RL multi-agente:

1. Paisagem Empírica: O estudo estabelece que o RL multi-agente geralmente melhora em relação aos modelos base, mas a magnitude da melhoria não é uniforme. Depende conjuntamente da topologia do fluxo de trabalho, da tarefa específica e da escala do modelo, e não apenas da estratégia de compartilhamento de política.
2. Compensações de Compartilhamento de Política:
   • Política Isolada (IP): Tendência a atingir uma precisão de validação de pico mais alta ("teto mais alto"), mas é mais propensa à degradação no final do treinamento ou "penhascos de precisão terminal" ("piso mais baixo").
   • Política Compartilhada (SP): Apresenta desempenho mais conservador com picos mais baixos, mas evita a degradação abrupta observada na IP. No entanto, a SP não elimina a falha; ela redistribui a falha em padrões qualitativamente diferentes que podem não ser visíveis nas métricas de treinamento em nível de token.
3. Explicações Mecanísticas: Os autores identificam dois mecanismos distintos de gradiente em nível de papel impulsionados pela topologia do fluxo de trabalho e pelo roteamento de política:
   • Amplificação de Gradiente (sob IP): Em fluxos de trabalho com multiplicidade de mesmo papel (por exemplo, múltiplos geradores na Votação), agentes paralelos que recebem a mesma recompensa de resultado geram atualizações de gradiente coerentes. Isso amplifica a pressão de gradiente sobre os parâmetros do papel, fazendo com que ele se desvie mais rapidamente do que a política base pode absorver, levando ao colapso do desempenho.
   • Captura de Papel em Política Compartilhada (sob SP): Quando os papéis contribuem com quantidades assimétricas de massa de gradiente (devido ao comprimento ou frequência dos tokens), a política compartilhada é "capturada" pelo papel dominante. A vaga do papel capturado começa a produzir saídas características do papel dominante (por exemplo, um agregador emitindo justificativas verbosas em vez de seleções concisas), levando a assinaturas de falha específicas da tarefa e do fluxo de trabalho.

Resultados

• Desempenho: Em toda a matriz, o RL multi-agente geralmente supera os modelos base. No entanto, em células específicas (por exemplo, Votação em Matemática com modelos de 4B), as rotas IP atingem picos mais altos, mas sofrem quedas significativas, enquanto as rotas SP estagnam em níveis mais baixos, porém mais estáveis.
• Dinâmica de Treinamento: O treinamento IP mostra sistematicamente amplitudes maiores de norma de gradiente e convergência mais rápida no início, seguidas por degradação. O treinamento SP mostra amplitudes menores no lado do treinamento, mas ainda pode descer em estágios posteriores devido à captura de papel, um fenômeno frequentemente invisível para métricas agregadas em nível de token, como perplexidade ou divergência KL.
• Modos de Falha:
  • Falha IP: Caracterizada por aumentos abruptos na perplexidade por papel e normas de gradiente para o papel que carrega a multiplicidade (por exemplo, geradores na Votação), seguidos por um penhasco de validação.
  • Falha SP: Caracterizada por "captura de papel". Exemplos incluem avaliadores em Aval-Otim emitindo soluções semelhantes a código em tarefas de Matemática, ou agregadores na Votação emitindo texto verboso em vez de selos de seleção. Essas falhas são impulsionadas pelo vazamento da distribuição do papel dominante para a política compartilhada.

Significado e Alegações

O artigo afirma que o compartilhamento de política não é um mecanismo de segurança universal, mas uma escolha de design com compensações condicionais ao fluxo de trabalho e à tarefa. As descobertas reestruturam o treinamento SP de uma alavanca de estabilidade padrão para uma escolha auditável que requer consideração explícita da topologia do fluxo de trabalho, multiplicidade de papel e adequação da tarefa.

Os autores enfatizam que métricas agregadas (como precisão final) podem mascarar desvios críticos em nível de papel. Eles argumentam que os praticantes devem monitorar métricas de treinamento por papel (perplexidade, normas de gradiente) e inspecionar saídas de trajetória específicas de papel para detectar modos de falha como amplificação de gradiente ou captura de papel. O estudo conclui que as escolhas estruturais de fluxo de trabalho e adequação da tarefa accountam por mais variância na estabilidade do treinamento do que o eixo de compartilhamento de política sozinho, sugerindo que selecionar o fluxo de trabalho apropriado e monitorar comportamentos específicos de papel são mais críticos do que simplesmente escolher entre políticas compartilhadas ou isoladas.