Resumo Técnico: Controle da Taxa de Aprovação em Rollouts via Amostragem de Prefixo

1. Declaração do Problema

Em Aprendizado por Reforço com Recompensas Verificáveis de recompensa binária (RLVR), como em engenharia de software (SWE-bench) e raciocínio matemático, métodos de gradiente de política online como a Otimização de Política Relativa em Grupo (GRPO) dependem da amostragem de grupos de trajetórias de rollout para gerar sinais de aprendizado contrastivos. No entanto, uma ineficiência significativa surge quando esses grupos amostrados exibem taxas de aprovação distorcidas (por exemplo, todas as sucessos ou todas as falhas, ou razões fortemente desequilibradas como 1/8 ou 7/8).

Em regimes tão distorcidos, recompensas binárias fornecem sinais contrastivos fracos. Especificamente:

• Grupos de todas as falhas (0/N) ou todas as aprovações (N/N) são tipicamente descartados por heurísticas de filtragem de grupo (por exemplo, em GRPO ou DAPO) porque não oferecem sinal de vantagem relativa.
• Grupos distorcidos (por exemplo, 1/8 ou 7/8) que sobrevivem à filtragem ainda fornecem sinais de aprendizado subótimos em comparação com grupos equilibrados.
• Desperdício Computacional: Gerar essas trajetórias não informativas consome recursos computacionais substanciais e tempo de relógio sem gerar benefícios de treinamento proporcionais.

Métodos existentes tentam mitigar isso através de filtragem implícita, amostragem dinâmica ou injeção de orientação externa (dicas, prefixos de oráculo ou traços de professor). No entanto, essas abordagens frequentemente falham em controlar explicitamente a taxa de aprovação dos grupos retidos em direção ao regime mais informativo, ou alteram o orçamento de recursos e o protocolo ao introduzir dados externos.

2. Metodologia: Amostragem de Prefixo (PS)

Os autores propõem o Controle da Taxa de Aprovação em Rollout (Rollout-PRC) como um objetivo explícito, identificando uma taxa de aprovação de 50% como o ponto de operação ideal para RL de recompensa binária. Eles então introduzem a Amostragem de Prefixo (PS), um framework bidirecional que direciona grupos de rollout distorcidos para esse regime de 50% sem exigir dados externos ou alterar o orçamento de rollout.

2.1 Base Teórica: Por que 50%?

O artigo demonstra que uma taxa de aprovação de 50% ($p=0.5$) maximiza quatro métricas complementares de força do sinal de aprendizado:

1. Entropia de Recompensa: Maximiza o conteúdo de informação dos resultados binários.
2. Probabilidade de Sobrevivência: Maximiza a probabilidade de um grupo sobreviver à filtragem de grupo (ou seja, não ser de todas as falhas ou todas as aprovações).
3. Energia de Vantagem RLOO: Maximiza a variância das estimativas de vantagem Leave-One-Out (RLOO) sob GRPO.
4. Pares Contrastivos: Maximiza o número de pares sucesso-falha disponíveis para aprendizado contrastivo dentro de um grupo.

2.2 O Framework de Amostragem de Prefixo

A Amostragem de Prefixo opera reproduzindo prefixos de trajetória para ajustar a dificuldade da continuação para grupos distorcidos:

• Para Grupos "Difíceis" (Baixa Taxa de Aprovação, por exemplo, 1/8 ou 2/8): O sistema seleciona uma trajetória bem-sucedida do mesmo lote (ou um prefixo salvo) e reproduz seu prefixo. Isso atua como um "ponto de partida", fornecendo à política atual uma solução parcial correta para continuar, aumentando assim a probabilidade de uma conclusão bem-sucedida.
• Para Grupos "Fáceis" (Alta Taxa de Aprovação, por exemplo, 6/8 ou 7/8): O sistema seleciona uma trajetória falha e reproduz seu prefixo. Isso atua como uma "desvantagem", forçando a política a navegar por um caminho difícil que ela falhou anteriormente, aumentando assim a probabilidade de falha e criando um sinal contrastivo.

2.3 Implementação em Ambientes com Estado

Uma inovação chave da PS é sua capacidade de funcionar em ambientes de agente com estado (por exemplo, agentes de codificação com uso de ferramentas e interação com o ambiente):

• Reprodução via Execução: Em vez de simplesmente concatenar texto, o sistema reconstrói o estado do agente (código, histórico de conversa, saídas de ferramentas, estado do ambiente) alimentando as respostas de prefixo salvas através do analisador de ação padrão e do executor do ambiente.
• Mascaramento de Prefixo: Para garantir que a atribuição de crédito permaneça on-policy, a perda é mascarada para todos os tokens no prefixo reproduzido. A otimização é restrita apenas aos tokens de continuação gerados pela política atual. Isso impede que o modelo receba crédito por ações que não gerou, enquanto ainda se beneficia do estado reconstruído.
• Controle Adaptativo: Um controlador adaptativo mantém uma média móvel exponencial (EMA) da taxa de aprovação de rerollout para cada "bucket" de distorção (1/8, 2/8, 6/8, 7/8). Ele ajusta dinamicamente a razão de prefixo (o comprimento do prefixo a ser reproduzido) para direcionar a taxa de aprovação de cada bucket em direção ao alvo de 0,5.

3. Contribuições Principais

1. Formulação do Rollout-PRC: O artigo identifica e formaliza o controle da taxa de aprovação como um objetivo de eficiência principiado para RL de recompensa binária, provando que uma taxa de aprovação de 50% maximiza a entropia de recompensa, a energia de vantagem e a estrutura contrastiva.
2. Algoritmo de Amostragem de Prefixo: Um framework bidirecional que usa prefixos auto-gerados (sem oráculos externos) para direcionar grupos distorcidos. Suporta de forma única ambientes de agente com estado via reprodução via execução e mascaramento de prefixo.
3. Validação Empírica: Demonstrado em múltiplas escalas (Qwen3-4B a 32B) e domínios (SWE-bench e AIME 2025), mostrando que a PS alcança desempenho de nível de base em menos passos e entrega acelerações significativas de ponta a ponta.

4. Resultados Experimentais

Os autores avaliaram a PS no SWE-bench Verified (RL agênico) e no AIME 2025 (raciocínio matemático) usando modelos Qwen3 (4B, 8B, 14B, 32B).

4.1 Desempenho em Benchmarks

• SWE-bench Verified:
  • Qwen3-14B: Alcançou o desempenho máximo da base no passo 170 (vs. 300 para a base) e alcançou um novo pico de 0,295 (+4,7 pontos percentuais).
  • Qwen3-32B: Alcançou o pico da base no passo 290 (vs. 410) e alcançou um pico de 0,422 (+5,4 pontos percentuais).
• AIME 2025:
  • Qwen3-4B: Alcançou o pico da base no passo 140 (vs. 230) com um ganho de +7,3 pp.
  • Qwen3-8B: Alcançou o pico da base no passo 190 (vs. 260) com um ganho de +10,8 pp.

4.2 Eficiência e Acelerações

• Aceleração de Ponta a Ponta: A PS entregou uma aceleração de 2,01× no Qwen3-14B e 1,55× no Qwen3-32B.
• Eficiência de Treinamento: O número de passos de treinamento para atingir a pontuação de tarefa ordinária da base foi reduzido de 1,51× a 1,92× entre os modelos.
• Grupos Válidos: O número de grupos de rollout válidos (não degenerados) por lote aumentou significativamente (por exemplo, de 25,9 para 36,7 para 14B), indicando um uso mais eficiente do orçamento de rollout.
• Tempo de Relógio: Em execuções de SWE com estado, a reprodução de prefixo reduziu o tempo de relógio por passo reutilizando estados reconstruídos em vez de regenerar prefixos, contribuindo para a aceleração geral.

4.4 Estudos de Ablação

Ablações na execução de matemática 4B confirmaram a decomposição dos ganhos:

• Reprodução: O principal motor da velocidade de convergência (aceleração de 1,61× com reprodução fixa).
• Controle Adaptativo: Essencial para manter as taxas de aprovação de rerollout próximas de 0,5; razões fixas levaram a taxas de aprovação subótimas (por exemplo, 0,36 ou 0,65) e convergência mais lenta.
• Cobertura Bidirecional: Controlar ambos os buckets difíceis e fáceis é necessário; controlar apenas buckets difíceis produziu ganhos significativamente menores.

5. Significado e Alegações

O artigo afirma que a Amostragem de Prefixo oferece um método principiado e eficiente em recursos para melhorar o treinamento de RL de recompensa binária sem depender de supervisão externa ou aumentar orçamentos computacionais.

• Mecanismo: Os ganhos são atribuídos ao direcionamento de grupos distorcidos e parcialmente bem-sucedidos para o regime de alto sinal de 50%, aumentando assim a entropia de recompensa e os pares contrastivos.
• Capacidade com Estado: Diferentemente de métodos anteriores que dependem de concatenação de prefixos apenas em texto, a PS reconstrói com sucesso ambientes de agente com estado (código, ferramentas, histórico) através da reprodução de execução, tornando-a aplicável a tarefas agênicas complexas.
• Modéstia: Os autores afirmam explicitamente que suas alegações são delimitadas ao RLVR de recompensa binária com rollouts em grupo. Eles não afirmam que 50% é ideal para todos os designs de currículo ou que o método elimina a necessidade de dados diversos; em vez disso, otimiza a utilização do orçamento de rollout existente. O método é apresentado como um controlador "plug-and-play" compatível com pipelines GRPO++ existentes.

Em resumo, o artigo demonstra que, ao gerenciar ativamente a taxa de aprovação de grupos de rollout para mirar em 50%, é possível acelerar significativamente o treinamento de sistemas de RL agênico enquanto se preserva ou melhora o desempenho final, tudo operando dentro das mesmas restrições computacionais que as bases padrão.