Resumo Técnico: XRPO – Empurrando os Limites do GRPO com Exploração e Exploração Direcionadas

1. Declaração do Problema

Avanços recentes no raciocínio de Modelos de Linguagem de Grande Escala (LLM), impulsionados por Aprendizado por Reforço com Recompensas Verificáveis (RLVR) e Otimização de Política Relativa de Grupo (GRPO), enfrentam gargalos persistentes em eficiência e qualidade. Os autores identificam duas limitações primárias nas abordagens existentes (por exemplo, GRPO, GSPO):

1. Subexploração de Trajetórias Valiosas: Os métodos atuais empregam tipicamente alocação estática de trajetórias (por exemplo, gerar um número fixo de trajetórias, como 16, por prompt). Essa distribuição uniforme dilui os sinais de aprendizado de prompts com alta variância de recompensa e deixa prompts de "precisão zero" (frequentemente as perguntas mais difíceis) subexplorados. Como esses prompts difíceis são críticos para empurrar a fronteira de capacidade do modelo, ignorá-los ou descartá-los (como fazem alguns métodos de amostragem dinâmica) impede que o modelo rompa os limites de desempenho.
2. Subexploração de Sinais de Trajetória: Recompensas baseadas em regras padrão (por exemplo, binárias 0/1) colapsam distinções entre trajetórias diversas. Mesmo quando um modelo gera uma resposta correta, o sinal de recompensa é idêntico, independentemente da complexidade ou probabilidade do caminho de raciocínio. Essa esparsidade suprime a capacidade do modelo de distinguir entre sucessos superficialmente semelhantes e falha em aproveitar informações ricas embutidas nas trajetórias de geração, levando a comportamentos homogeneizados e subótimos.

2. Metodologia: Framework XRPO

O XRPO (eXplore–eXploit GRPO) reformula a otimização de política através de uma lente principiante de equilíbrio entre exploração e exploração. Ele introduz três mecanismos principais para abordar as limitações identificadas:

A. Planejamento Hierárquico de Trajetórias (Exploração)

Em vez de alocação estática, o XRPO introduz um planejador hierárquico de trajetórias fundamentado matematicamente que aloca orçamentos de trajetória de forma adaptativa com base na redução de incerteza e bônus de exploração.

• Consciência de Incerteza: O planejador prioriza prompts onde uma trajetória adicional proporciona a máxima redução estatística na incerteza. Isso é quantificado usando a semi-amplitude de um intervalo de confiança t-Student para a recompensa média estimada.
• Bônus de Exploração: Para evitar negligenciar prompts esparsamente amostrados ou difíceis, um bônus de exploração é adicionado à pontuação de prioridade, incentivando um trade-off entre explorar prompts de alta variância e explorar os subamostrados.
• Alocação em Fases: A estratégia opera em fases. Um número base inicial de trajetórias estabelece um sinal de linha de base, seguido por rodadas dinâmicas onde os orçamentos restantes são distribuídos proporcionalmente às pontuações de prioridade calculadas.

B. Semente ICL para Quebra de Simetria (Exploração)

Para abordar a "simetria de recompensa zero", onde prompts difíceis consistentemente não geram sinal de gradiente, o XRPO integra semeadura de Aprendizado em Contexto (ICL).

• Mecanismo: Para prompts onde todas as trajetórias falham, o sistema recupera exemplares curados de um corpus em evolução de trajetórias bem-sucedidas verificadas (geradas pelo próprio modelo durante o treinamento) e os injeta como contexto.
• Objetivo: Isso expande temporariamente o espaço de busca, permitindo que o modelo acesse estratégias de raciocínio inacessíveis sob recompensas esparsas. Quebra a simetria de grupos de recompensa zero, permitindo melhoria de política em prompts anteriormente insolúveis.
• Gerenciamento de Corpus: O corpus ICL é inicializado como vazio e incrementalmente preenchido com sucessos on-policy, evoluindo naturalmente com a política sem professores externos.

C. Refinamento de Vantagem Guiado por Novidade (Exploração)

Para maximizar a utilidade de trajetórias bem-sucedidas, o XRPO introduz uma medida de novidade em nível de sequência para afiar a estimativa de vantagem.

• Definição de Novidade: A novidade é definida como o desvio do log-verossimilhança normalizado por comprimento de uma trajetória em relação à média do grupo. Respostas corretas que são atípicas (baixa probabilidade) sob a distribuição atual do modelo são consideradas "novas".
• Moldagem de Vantagem: Para trajetórias que recebem recompensa total, um bônus inspirado em entropia é adicionado à vantagem GRPO padrão se a trajetória for nova (ou seja, tiver probabilidade menor que a média do grupo).
• Efeito: Este mecanismo amplifica respostas corretas de baixa probabilidade, incentivando o modelo a explorar caminhos de raciocínio diversos e prevenindo convergência prematura para padrões familiares, mas subótimos. Opera eficientemente sem exigir trajetórias adicionais.

3. Contribuições Principais

O artigo reivindica três contribuições primárias:

1. Exploração Hierárquica de Trajetórias Novel: Um planejador que aloca recursos adaptativamente com base na redução de incerteza e bônus de exploração, acoplado à semeadura ICL para quebrar a simetria de recompensa zero em prompts difíceis.
2. Refinamento de Vantagem Guiado por Novidade: Um mecanismo que aproveita verossimilhanças de sequência para distinguir e recompensar caminhos de raciocínio corretos e raros, melhorando assim a generalização e contrabalançando a homogeneização de recompensas.
3. Avaliação Abrangente: Experimentos extensivos demonstrando que o XRPO supera baselines de última geração (GRPO, GSPO, DAPO, TreePO) em diversos benchmarks de matemática e codificação.

4. Resultados Experimentais

Os autores avaliaram o XRPO em modelos incluindo Qwen3-1.7B, Qwen2.5-7B-Instruct e Llama-3.2-3B em benchmarks como AIME, HMMT, BRUMO, MATH, Codeforces e LiveCodeBench.

• Ganhos de Desempenho: O XRPO supera consistentemente avanços existentes.
  • No Qwen3-1.7B, alcançou até 4% de ganho absoluto em pass@1 e 6% de ganho em cons@32 comparado ao GSPO.
  • No Llama-3.2-3B, mostrou desempenho médio aprimorado em benchmarks matemáticos difíceis (AIME, BRUMO).
  • Estudos de ablação confirmaram que remover qualquer componente (ICL, Refinamento de Vantagem ou Planejamento Hierárquico) degradou o desempenho, validando a necessidade do framework completo.
• Eficiência de Treinamento: O XRPO acelerou a convergência do treinamento em 2,7× comparado ao GRPO. Por exemplo, no conjunto de dados MATH, o XRPO atingiu 75% de precisão em 450 passos, enquanto o GRPO exigiu ~1.200 passos.
• Eficiência de Inferência: O framework naturalmente levou a raciocínios mais concisos. O XRPO reduziu o comprimento médio de geração em 34,7% para Qwen3 e 6,17% para Qwen2.5, pois o modelo aprendeu a encontrar soluções válidas dentro de restrições de contexto de forma mais eficiente.
• Sobrecarga: O método introduziu sobrecarga computacional negligenciável (aumento de latência por passo de aproximadamente 4,7%), com o carregamento do corpus ICL e a moldagem de vantagem adicionando tempo mínimo.

5. Significado e Reivindicações

O artigo posiciona o XRPO como um framework principiante que reequilibra sistematicamente a exploração e a exploração no RLVR. Seu significado reside em:

• Quebrar Limites de Capacidade: Ao direcionar e resolver especificamente prompts difíceis de "recompensa zero" através da semeadura ICL, o XRPO permite que modelos ultrapassem suas fronteiras de decisão atuais, uma façanha difícil para métodos de amostragem estática simples ou dinâmicos padrão.
• Utilização Eficiente de Recursos: Demonstra que alocação adaptativa de trajetórias fundamentada matematicamente pode produzir resultados superiores sem a sobrecarga computacional massiva associada a buscas baseadas em árvores ou amostragem excessiva.
• Generalizabilidade: O framework é compatível com avanços recentes de otimização (por exemplo, complementa o GSPO) e opera efetivamente em diferentes tamanhos de modelo e domínios (matemática e código).

Os autores notam limitações, especificamente que não avaliaram o método em modelos de escala muito grande (300B+ parâmetros) e que o corpus ICL atualmente depende dos próprios sucessos do modelo em vez de modelos professores mais fortes. No entanto, os resultados sugerem que o XRPO oferece um caminho robusto para uma convergência RLHF mais estável e rápida.