Resumo Técnico: Compartilhamento de Experiência em Aprendizado por Reforço Mútuo para Modelos de Linguagem Heterogêneos

1. Declaração do Problema

O pós-treinamento atual de Aprendizado por Reforço (RL) para Modelos de Linguagem de Grande Escala (LLMs) opera principalmente como um esforço de política única. Neste fluxo de trabalho isolado, a exploração e a melhoria estão acopladas a uma única política, e experiências complementares descobertas por pares treinados simultaneamente são descartadas. Este isolamento é particularmente ineficiente em domínios de raciocínio com recompensas esparsas, onde políticas heterogêneas (variando em arquitetura, escala ou tokenizador) exibem vieses indutivos diversos e percorrem regiões distintas do espaço de soluções.

Duas barreiras principais impedem o compartilhamento dessas descobertas:

1. Heterogeneidade de Tokenizador: Políticas frequentemente utilizam tokenizadores distintos, tornando impossível a troca direta de traços em nível de token (log-probabilidades) sem tradução.
2. Mudança de Distribuição: A reutilização direta de rolagens de pares dentro de substitutos on-policy (como PPO ou GRPO) introduz uma mudança de distribuição significativa, levando a problemas de instabilidade e variância comuns no aprendizado off-policy.

O artigo pergunta: No regime padrão de pós-treinamento verificável de passo único para LLMs de pesos abertos, qual regime de compartilhamento de experiência é apropriado e quais compensações regimes alternativos induzem?

2. Metodologia

2.1 O Framework de RL Mútuo

Os autores introduzem um framework para Aprendizado por Reforço Mútuo onde políticas heterogêneas de LLM trocam experiências tipadas enquanto mantêm parâmetros, objetivos e tokenizadores separados. O sistema estende o framework VERL com três componentes principais:

• Troca de Experiência Compartilhada (SEE): Um mecanismo de fluxo de dados tipado onde políticas distintas publicam e assinam registros de experiência estruturada (rolagens, recompensas, vantagens e traços) enquanto preservam objetivos nativos por política.
• Alocação de Recursos Multi-Worker (MWRA): Gerencia a atribuição de workers e orçamentos de computação entre diferentes workers de política.
• Camada de Heterogeneidade de Tokenizador (THL): Uma interface crítica que conecta vocabulários incompatíveis. Ela realiza duas operações:
  1. Adaptação de Texto (Retokenização): Decodifica respostas de pares em texto e as re-codifica usando o tokenizador do aprendiz.
  2. Alinhamento de Distribuição de Política: Constrói alinhamentos de traços em nível de palavra. Agrega log-probabilidades de origem dentro de cada palavra textual e redistribui essa massa uniformemente entre os tokens de destino para essa palavra. Isso preserva a massa de probabilidade em nível de palavra, apesar de incompatibilidades de tokenização, com erros residuais limitados analisados teoricamente.

2.2 Três Provas Controladas

Para investigar a compensação estabilidade-suporte, os autores instanciam três regimes distintos de compartilhamento de experiência sobre a mesma atualização base de Otimização de Política Relativa a Grupo (GRPO):

1. Regime 1: Compartilhamento em Nível de Dados (Agrupamento de Rolagens de Pares - PRP)

   • Mecanismo: O aprendiz agrega rolagens de pares diretamente em seu próprio lote, tratando-as como trajetórias de treinamento suplementares.
   • Desafio: Requer lidar com a variância da razão de densidade entre a política do aprendiz e a política de comportamento do par. Os autores testam duas escolhas de denominador: um denominador "instantâneo do aprendiz" (ignorando as probabilidades reais de geração do par) e um denominador "par alinhado por THL" (usando o traço de verossimilhança registrado do par alinhado ao espaço de tokens do aprendiz).
   • Posição Teórica: Alto acoplamento; paga custos de variância da razão de densidade e custos residuais do THL.

2. Regime 2: Compartilhamento em Nível de Valor (Compartilhamento de Vantagem GRPO Cross-Policy - XGRPO)

   • Mecanismo: O aprendiz amostra suas próprias rolagens (estritamente on-policy), mas molda as vantagens usando estatísticas de recompensa agregadas em todo o pool de políticas.
   • Desafio: Nenhum em relação à tokenização, pois apenas recompensas escalares são trocadas.
   • Posição Teórica: Preserva o suporte do ator on-policy enquanto altera baselines escalares. Reduz a variância do gradiente sem introduzir sinais de trajetória off-policy.

3. Regime 3: Compartilhamento em Nível de Resultado (Transferência Gatilho de Sucesso - SGT)

   • Mecanismo: Trata as saídas de pares como certificados de resultado esparsos. A transferência é gatilho: ativa-se apenas quando o grupo de rolagens do próprio aprendiz contém nenhuma solução correta, mas pelo menos um par tem um sucesso verificado.
   • Processo: Uma trajetória de par verificada é injetada como uma amostra positiva esparsa (via perda de log-verossimilhança negativa) ao lado da atualização GRPO on-policy do aprendiz.
   • Posição Teórica: Fornece uma direção de pontuação de "conjunto de resgate". É condicionada ao par, acionada por falha e intercalada com o objetivo base de RL.

3. Contribuições Principais

1. Substrato de Framework: A introdução de um framework reproduzível (SEE, MWRA, THL) permitindo RL mútuo entre LLMs heterogêneos com tokenizadores incompatíveis. O THL fornece uma interface de alinhamento limitado para troca de texto e traços em nível de token.
2. Provas Controladas: A instanciação e comparação de PRP, XGRPO e SGT sob computação e hiperparâmetros correspondidos dentro de uma única pilha baseada em VERL. Isso preenche o espaço de projeto em três níveis distintos de acoplamento (dados, valor, resultado).
3. Caracterização Teórica: Uma análise de bandito contextual provando as diferenças estruturais entre as provas:
   • PRP: Expõe sensibilidade à variância da razão de densidade e resíduos do THL.
   • XGRPO: Preserva o suporte on-policy, mas não pode introduzir diretamente massa de probabilidade para sucessos exclusivos de pares (limite de suporte rígido).
   • SGT: Fornece uma direção de gradiente positivo em direção a sucessos verificados de pares especificamente no subconjunto de resgate.

4. Resultados Experimentais

A avaliação foca em raciocínio matemático (conjunto de dados MATH) usando um pool heterogêneo de modelos Qwen (Qwen2.5-Math-1.5B e Qwen3-1.7B-Base).

• Compartilhamento em Nível de Resultado (SGT) é Ótimo: O SGT ocupa o ponto favorável da compensação estabilidade-suporte. Alcança o melhor desempenho médio e progresso mais rápido no início e meio do treinamento em comparação com GRPO autônomo. Mantém-se na ou acima da curva de baseline em virtualmente todos os checkpoints.
  • Por quê: Fornece uma trajetória positiva faltante apenas quando o aprendiz falha, preservando a atualização on-policy para outros prompts.
• Compartilhamento em Nível de Valor (XGRPO) é Estável: O XGRPO acompanha de perto o GRPO autônomo, preservando a região de confiança e reduzindo a variância da baseline. Serve como uma baseline estável e de baixo acoplamento, mas não expande significativamente o suporte amostrado pelo aprendiz.
• Compartilhamento em Nível de Dados (PRP) é Instável: A reutilização direta de rolagens expõe a sensibilidade à divergência do aprendiz. Embora a correção de importância (via THL) mitigue alguns problemas, o PRP impõe uma carga de otimização maior em políticas mais fracas e reduz a precisão média em comparação com o SGT. Requer controle significativo de distribuição para permanecer estável.
• Assinaturas de Otimização:
  • O SGT mantém entropia comparável ou superior à do GRPO, mantendo o KL baixo.
  • O PRP reduz a entropia e aumenta desvios de KL, indicando forte acoplamento de distribuição.
  • O XGRPO permanece quase indistinguível da baseline de política única.
• Generalização: Os benefícios do SGT estendem-se a pools heterogêneos (por exemplo, Llama-Mist, Qwen-Phi4) e a benchmarks mais amplos de QA de senso comum/científico, mostrando ganhos de +10 a +30 pontos percentuais em algumas configurações heterogêneas.

5. Significado e Alegações

O artigo alega que o RL Mútuo transforma descobertas de pares em sinais de treinamento tipados para políticas heterogêneas de LLM sem fundir pesos ou substituir pipelines on-policy padrão.

• Insight Estrutural: O trabalho estabelece que, no regime avaliado, o compartilhamento em nível de resultado (SGT) é a abstração superior. Equilibra estabilidade (ao permanecer amplamente on-policy) com suporte (ao injetar trajetórias verificadas apenas quando necessário).
• Viabilidade da Heterogeneidade: Os autores demonstram que, com o substrato THL, políticas com tokenizadores diferentes podem trocar sinais efetivamente, tornando a questão "qual regime de compartilhamento de experiência é o correto" bem formulada e respondível.
• Eficiência: Diferentemente de algoritmos off-policy complexos que substituem pipelines padrão, esta abordagem integra experiências de pares nos substitutos on-policy padrão (GRPO/PPO) usados no RL contemporâneo de LLM, oferecendo um canal principiado para políticas aprenderem umas com as outras durante o treinamento.

Os autores concluem que, embora o compartilhamento em nível de dados (PRP) seja teoricamente possível com correção, é frágil; o compartilhamento em nível de valor (XGRPO) é estável, mas limitado na expansão de suporte; e o compartilhamento em nível de resultado (SGT) oferece a compensação mais favorável, fornecendo suporte verificado e direcionado exatamente onde o aprendiz é deficiente.