GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

Resumo Técnico: GRLO – Rumo a Aprendizado por Reforço Generalizável em Ambientes Abertos a Partir do Zero

Declaração do Problema
Avanços recentes no pós-treinamento de modelos de linguagem de grande escala (LLMs) bifurcaram-se amplamente em dois paradigmas: Aprendizado por Reforço a partir de Feedback Humano (RLHF), que otimiza preferências humanas, e Aprendizado por Reforço a partir de Recompensas Verificáveis (RLVR), que otimiza a correção em domínios como matemática e código. Embora o RLVR tenha demonstrado eficiência e desempenho superiores em tarefas específicas de raciocínio, ele sofre de limitações significativas: é computacionalmente caro, altamente dependente de sinais de verdade fundamental verificáveis e exibe transferência fraca para capacidades conversacionais gerais. Por outro lado, o RLHF padrão frequentemente requer dados em grande escala e específicos de domínio e luta para induzir capacidades amplas de raciocínio sem traços de raciocínio explícitos.

O problema central abordado por este trabalho é a "lacuna de cobertura de domínio": os métodos atuais ou se especializam pesadamente em domínios verificáveis (perdendo a capacidade de chat geral) ou exigem orçamentos computacionais massivos para alcançar capacidades amplas. Além disso, permanece incerto se o aprendizado por reforço conduzido em ambientes abertos e não verificáveis pode desbloquear capacidades conversacionais gerais que se transferem implicitamente para tarefas subsequentes de raciocínio e geração de código sem pós-treinamento específico de domínio.

Metodologia: GRLO
Os autores propõem o GRLO (Aprendizado por Reforço Generalizável a partir de Ambientes Abertos), uma receita de treinamento que desloca o foco do otimizador para o ambiente de treinamento. Em vez de introduzir um otimizador algorítmico novo, o GRLO aplica otimização padrão no estilo RLHF (especificamente PPO) em um pequeno pool curado de prompts abertos.

• Ambiente de Treinamento: Os autores constroem um pool de aproximadamente 5.000 prompts sintéticos que abrangem domínios diversos, cognitivamente exigentes e amplamente não verificáveis, incluindo análise científica, síntese argumentativa, explicação conceitual e raciocínio de longo formato. Uma auditoria de tópicos confirma que o pool não é centrado em matemática, mas cobre política, história, biomedicina, tecnologia e humanidades.
• Otimização: A política é inicializada a partir de um modelo base pré-treinado (por exemplo, Qwen3-4B-Base) e otimizada usando PPO com um modelo de recompensa aprendido (Skywork-Reward-V2) e um objetivo regularizado por KL. Crucialmente, a distribuição de treinamento ($D_{open}$) consiste em prompts abertos onde a verificação exata não é possível, contrastando com as distribuições verificáveis ($D_{ver}$) usadas no RLVR.
• Hipótese: A hipótese central é que otimizar um modelo em um pequeno conjunto de interações abertas pode remodelar sua distribuição de saída para explorar melhor as capacidades pré-treinadas, melhorando assim a capacidade conversacional geral, que se transfere implicitamente para tarefas subsequentes como raciocínio matemático e geração de código.

Principais Contribuições

1. Reavaliação do RL Intra-Domínio: O artigo desafia a necessidade do treinamento RL intra-domínio como a principal fonte de transferência subsequente, avaliando se o RL aberto pode servir como uma alternativa prática e leve.
2. Generalização Leve: Os autores demonstram que uma única etapa de RL aberto (GRLO) pode melhorar conjuntamente o raciocínio, a geração de código e o desempenho em chat geral. Esta abordagem alcança desempenho agregado comparável a fortes baselines de RLVR intra-domínio intensivas em recursos (como General-Reasoner), enquanto utiliza significativamente menos dados (46× menos) e computação (68× menos).
3. Análise Sistemática: O trabalho fornece uma análise detalhada de comportamentos de escalabilidade, transferência entre famílias (através das arquiteturas Qwen e Llama) e comprimentos de resposta, esclarecendo que os ganhos observados não são meros artefatos de verbosidade, mas derivam de qualidade de decisão aprimorada e organização da resposta.

Resultados Experimentais
Os autores avaliaram o GRLO em múltiplos backbones, incluindo Qwen3-4B, Qwen3-8B, Qwen2.5-3B e Llama3.2-3B.

• Desempenho do Qwen3-4B: No backbone Qwen3-4B, o GRLO aumentou o desempenho médio em raciocínio (Math500, GPQA), geração de código (HumanEval, MBPP) e chat geral (AlpacaEval 2 LC) de uma baseline de 24,1 para 63,1. Este resultado quase iguala o modelo pós-treinado oficial Qwen3-4B (Não Pensante) e supera a baseline General-Reasoner-4B em métricas agregadas, apesar de usar uma fração dos recursos de treinamento.
• Ganhos Específicos: Em relação ao modelo base, o GRLO melhorou o Math500 de 73,6 para 79,2, o HumanEval de 6,1 para 84,8 e o AlpacaEval 2 LC de 1,6 para 45,8.
• Consistência entre Modelos: Tendências semelhantes foram observadas no Qwen3-8B (pontuação média subindo de 33,7 para 67,3) e no Llama3.2-3B (subindo de 21,5 para 39,3), indicando a robustez do método em diferentes famílias de modelos.
• Estudos de Ablação: Experimentos mostraram que o uso de prompts matemáticos intra-domínio para RL (em vez de abertos) melhorou ligeiramente as pontuações de matemática, mas degradou severamente a transferência para chat. Da mesma forma, substituir PPO por GRPO no cenário aberto produziu resultados subótimos, confirmando que a combinação do ambiente aberto e PPO é crítica.
• RLVR Suplementar: Uma etapa subsequente de RLVR intra-domínio forneceu ganhos marginais (por exemplo, aumentando a média de 63,1 para 63,2 no Qwen3-4B), com melhorias visíveis principalmente em benchmarks matemáticos mais difíceis do estilo de competição (AIME). Isso sugere que a transferência ampla é impulsionada pela etapa inicial aberta, enquanto o RLVR serve como um refinamento especializado para tarefas verificáveis difíceis.
• Eficiência: O treinamento exigiu apenas 5.000 prompts e 22,7 horas de GPU. A análise dos comprimentos de saída revelou que os modelos GRLO produziram respostas mais curtas e de maior qualidade em comparação com baselines que dependiam de traços de raciocínio verbosos.

Significado e Alegações
O artigo afirma que o GRLO oferece uma "receita simples e eficiente" para construir modelos pós-treinados amplamente capazes. Seu significado principal reside em demonstrar que o RL aberto pode recuperar uma grande fração dos ganhos amplos tipicamente atribuídos a pipelines de treinamento muito mais pesados e apoiados por verificadores.

Os autores argumentam que o ambiente no qual o RL é aplicado é um fator mais crítico do que o otimizador específico ou a escala dos dados. Ao mover o RL para um ambiente aberto e cognitivamente exigente, os modelos podem adquirir implicitamente habilidades de raciocínio e codificação sem supervisão específica de domínio explícita. Isso desafia a noção predominante de que raciocínio de alto desempenho exige orçamentos massivos de RLVR específicos de domínio, sugerindo, em vez disso, que uma etapa leve de RL aberto a partir do "Zero" é suficiente para desbloquear capacidades generalizáveis. O trabalho conclui que, embora uma etapa subsequente de RLVR intra-domínio possa especializar ainda mais o desempenho em benchmarks difíceis, a transferência ampla fundamental é alcançada através da própria interação aberta.