Resumo Técnico: ExpRL: RL Exploratório para Mid-Training de LLM

1. Declaração do Problema

O Aprendizado por Reforço (RL) tornou-se um mecanismo padrão para melhorar o raciocínio de Grandes Modelos de Linguagem (LLMs), particularmente para tarefas com recompensas binárias esparsas (ex: correção da resposta final). No entanto, o sucesso do RL de recompensa esparsa depende criticamente da cobertura do modelo base: a massa de probabilidade que o modelo atribui a caminhos de raciocínio produtivos antes do início do treinamento.

Se um modelo base raramente amostra passos intermediários úteis ou estratégias de solução diversas para problemas difíceis, as recompensas esparsas fornecem sinais de aprendizado insuficientes. O modelo pode falhar em explorar além de seus padrões de raciocínio iniciais, que são frequentemente subótimos. As estratégias atuais de mid-training para abordar isso — como o Ajuste Fino Supervisionado (SFT) em traços curados ou autodestilação — muitas vezes exigem a especificação manual de habilidades ou dependem de imitação ao nível de token. Essas abordagens podem interromper as capacidades nativas de raciocínio do modelo ou falhar em generalizar para estratégias de resolução de problemas mais amplas, necessárias para tarefas combinatórias ou matemáticas complexas.

O desafio central é automatizar o "priming" (preparação) de um modelo base para aumentar sua cobertura sobre caminhos de raciocínio produtivos (medida por $pass@k$) sem depender de imitação, criando assim uma inicialização mais forte para o subsequente RL de recompensa esparsa.

2. Metodologia: Exploratory RL (ExpRL)

O ExpRL é uma abordagem de mid-training baseada em RL on-policy que utiliza soluções de referência não como alvos de imitação, mas como andaimes de recompensa (reward scaffolds). O método opera em um conjunto de dados de problemas difíceis $\mathcal{D}_{mid}$ com soluções de referência associadas $y^*$.

Princípio Central de Design

Em vez de expor as soluções de referência à política como demonstrações (o que enviesaria a política para a imitação), o ExpRL esconde as referências da política. A política amostra trajetórias $y$ exclusivamente a partir do prompt do problema $x$. Um juiz LLM então compara a trajetória amostrada contra a referência oculta $y^*$ para atribuir recompensas densas. Isso aproveita a "lacuna de verificação-geração", onde os LLMs são frequentemente melhores em verificar o progresso parcial contra uma referência do que em gerar uma solução correta do zero.

Mecanismos de Recompensa

O ExpRL define duas variantes de recompensas densas:

1. ExpRL-Outcome: Atribui uma pontuação densa e graduada ao rollout completo com base no alinhamento com a solução de referência. O juiz avalia todo o traço contra uma rubrica, fornecendo feedback mesmo se a resposta final estiver incorreta. Isso recompensa a correção parcial e reduções intermediárias úteis.
2. ExpRL-Process: Atribui pontuações densas a prefixos intermediários do rollout. Para melhorar a atribuição de crédito, o método computa vantagens de nível de segmento $A_t$. Um segmento recebe uma vantagem positiva apenas se melhorar o score de alinhamento do juiz em relação ao prefixo anterior ($s_t - s_{t-1}$), incentivando a política a construir sobre o progresso intermediário e penalizando a regressão.

Otimização

A política $\pi_\theta$ é otimizada usando RL on-policy (GRPO para recompensas de outcome, REINFORCE para recompensas de process) com um termo de regularização KL contra a política base $\pi_0$. O objetivo maximiza a recompensa densa esperada enquanto permanece dentro de um espaço KL alcançável do modelo base:
$$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$$

Aplicação Downstream

Após o mid-training, a política preparada serve como a inicialização para uma fase de RL de recompensa esparsa padrão de Estágio-II em um conjunto de dados downstream $\mathcal{D}'$. Nesta etapa, toda a informação de referência é removida, e o modelo é treinado usando apenas recompensas binárias de resposta final.

3. Principais Contribuições

• Construção Automatizada de Cobertura: O ExpRL propõe um método para ampliar automaticamente a cobertura do modelo sobre caminhos de raciocínio produtivos usando soluções de referência como andaimes de recompensa, em vez de alvos de imitação.
• Andaimes de Recompensa Densa (Dense Reward Scaffolding): O artigo introduz um mecanismo para converter soluções de referência em rubricas de graduação densas e específicas do problema via um juiz LLM, permitindo o reforço de progresso parcial e reduções intermediárias que as recompensas esparsas perdem.
• Atribuição de Crédito em Nível de Processo: Ao utilizar pontuação baseada em prefixos e vantagens de nível de segmento, o ExpRL fornece feedback granular sobre a qualidade dos passos de raciocínio, incentivando comportamentos como decomposição e autocorreção.
• Validação Empírica de Priming: O trabalho demonstra que o ExpRL produz uma inicialização superior para o RL de recompensa esparsa downstream em comparação com baselines de SFT, GRPO de recompensa esparsa e autodestilação.

4. Resultados Experimentais

Experimentos foram conduzidos em tarefas desafiadoras de raciocínio matemático (AIME, HMMT, IMO-AnswerBench) e estendidos para configurações de domínios mistos (ciência, codificação).

• Desempenho Downstream: Modelos inicializados com ExpRL alcançaram valores mais altos de $pass@1$e$pass@k$ em benchmarks de teste após o RL de recompisa esparsa de Estágio-II comparado a todos os baselines. Notavelmente, no AIME 2026, o ExpRL-Process alcançou 63,41% de acurácia, superando o melhor baseline (GRPO) com 58,75%.
• Melhorias no Estágio-I: Mesmo antes do RL downstream, modelos preparados com ExpRL mostraram melhorias significativas em $pass@1$e$pass@16$ na distribuição de mid-training, indicando que o método expande com sucesso o conjunto de problemas solucionáveis que o modelo consegue amostrar.
• Mudanças Comportamentais: A análise dos comportamentos de raciocínio revelou que o ExpRL aumenta a frequência de comportamentos orientados à busca, como verificação, autocorreção e backtracking, em relação ao modelo base. Em contraste, o SFT tendeu a reduzir os comportamentos de verificação.
• Escalabilidade de Juiz e Domínio Misto:
  • O ExpRL-Outcome conseguiu melhorar uma política maior de 8B usando um juiz menor de 4B através de matemática, ciência e codificação, sugerindo que o juiz não precisa ter a mesma escala da política se for condicionado pela referência.
  • Limitação em Codificação: O ExpRL mostrou resultados mistos em tarefas de codificação (LiveCodeBench). Embora tenha melhorado a política base, o GRPO baseado em execução permaneceu mais forte. Os autores atribuem isso ao fato de que as recompensas de codificação dependem fortemente da correção funcional (execução) em vez de andaimes de solução de referência, onde o progresso parcial é mais difícil de definir via uma referência.
• Confiabilidade da Recompensa: Testes de calibração confirmaram que o sinal de recompensa densa depende da presença de uma referência correta e compatível com o problema. Remover a referência ou usar uma referência errada degradou significativamente a capacidade do juiz de discriminar entre rollouts corretos e incorretos.

5. Significância e Alegações

O artigo afirma que o ExpRL aborda o "gargalo de exploração" no RL de LLM ao deslocar o fardo da exploração para a fase de mid-training. Ao recompensar o progresso parcial e diversas estratégias de raciocínio via recompensas densas guiadas por referência, o ExpRL constrói um "prior de exploração" mais forte.

Os autores argumentam que esta abordagem é superior ao mid-training baseado em imitação (SFT) porque evita as armadilhas de clonar traços que o modelo base pode não gerar naturalmente, o que pode levar a desvio de distribuição e instabilidade. Em vez disso, o ExpRL mantém a política em sua própria distribuição enquanto a guia para regiões produtivas do espaço de solução.

O trabalho posiciona o ExpRL como uma interface de priming geral que pode ser combinada com outras estratégias de exploração (ex: geração guiada por prefixo) e sugere que a chave para escalar o RL em problemas difíceis reside em garantir que o modelo base tenha cobertura suficiente de caminhos de raciocínio produtivos antes que a otimização de recompensa esparsa comece. O artigo permanece modesto, observando que o método requer dados de referência auxiliares e que sua eficácia varia por domínio (ex: sendo menos crítico para codificação onde o feedback de execução está disponível).