Resumo Técnico: Bandits de Rolo Contextual para Aprendizado por Reforço com Recompensas Verificáveis

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) emergiu como um paradigma crítico para aprimorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs), particularmente em domínios como matemática e geração de código. No entanto, os métodos existentes de RLVR sofrem de duas limitações fundamentais que levam a supervisão ruidosa, baixa eficiência de amostragem e atualizações de política subótimas:

1. Utilização Indiscriminada Intra-Grupo: Abordagens atuais, como a Otimização de Política Relativa de Grupo (GRPO), geram múltiplas respostas (rolos) para um único prompt, mas as tratam uniformemente durante o cálculo do gradiente. Isso ignora a heterogeneidade significativa de qualidade dentro de um grupo, onde muitas respostas podem ser de baixa utilidade, ruidosas ou enganosas (por exemplo, soluções adivinhadas corretamente ou trajetórias com etapas de raciocínio redundantes).
2. Horizontes de Dados Restritos: A maioria dos métodos depende exclusivamente do lote mais recente de rolos para otimização, descartando trajetórias históricas após um único uso. Esse paradigma de treinamento míope impede a reutilização de dados históricos de alto valor, limitando o desempenho alcançável da política e a eficiência de amostragem.

Tentativas existentes para abordar essas questões frequentemente dependem de heurísticas estáticas e manuais que carecem de adaptabilidade às dinâmicas de treinamento em evolução.

Metodologia: Bandits de Rolo Contextual (CBS)

Os autores propõem o CBS, um framework unificado de agendamento neural que formula o agendamento de rolos como um problema de bandit contextual. Nessa formulação, cada rolo é tratado como um "braço", e a recompensa é definida pelo ganho de desempenho induzido entre etapas consecutivas de otimização.

Componentes Principais

1. Arquitetura do Agendador Neural:

   • Representação do Braço: Cada rolo é codificado em um vetor compacto de 10 dimensões que captura as dinâmicas de treinamento. Esses recursos incluem:
     • Sinais relacionados à recompensa: Recompensa bruta, vantagem, recompensa média do grupo e desvio padrão da recompensa do grupo.
     • Sinais relacionados ao comprimento: Comprimento normalizado da resposta e flags de truncamento.
     • Métricas de percepção da política: Entropia e taxas de clipping.
     • Histórico de interação com dados: Contagem de uso e idade da amostra (frescor).
   • Modelo do Agendador: Uma Rede Perceptron Multicamada (MLP) prevê a utilidade futura de cada rolo com base em sua representação e feedback online.
   • Estratégia de Seleção: O agendador emprega uma estratégia $\epsilon$-gananciosa para equilibrar exploração e exploração, selecionando os rolos com maior pontuação enquanto amostra ocasionalmente dados mais recentes.

2. Dois Regimes de Agendamento:

   • Agendamento Intra-Grupo (CBS):* Aborda a heterogeneidade da qualidade da resposta realizando seleção granular dentro de cada grupo de rolos. O agendador seleciona um subconjunto dos top-$p\%$ de rolos de alto valor de cada grupo, filtrando amostras ruidosas ou de baixa utilidade antes da otimização da política.
   • Reutilização Global Adaptativa (CBS): Aborda a restrição de horizonte limitado mantendo um buffer de replay FIFO de rolos históricos (das últimas $L$ iterações). O agendador realiza seleção global através desse buffer para reutilizar trajetórias de alto valor em rodadas de treinamento, melhorando significativamente a eficiência de amostragem.

3. Definição e Atualização da Recompensa:

   • Recompensa de Ganho de Desempenho: A função de recompensa é definida como o ganho de métrica entre dados de rolo consecutivos, incorporando mudanças na recompensa média ($V$) e na entropia ($E$). Um termo de penalidade de entropia previne o colapso do treinamento ao penalizar aumentos de entropia além de um limiar.
   • Adaptação Online: Os parâmetros do agendador são atualizados online usando recompensas ao nível da amostra derivadas do ganho de desempenho ao nível do grupo. Para garantir estabilidade, as recompensas do grupo são normalizadas usando uma Média Móvel Exponencial (EMA) e escalonadas por uma função Sigmoid.

Contribuições Principais

1. Framework Unificado de Bandit Contextual-Rolo: O artigo formula o agendamento de rolos em RLVR como um problema de bandit contextual, fornecendo um único framework principiado que suporta tanto a seleção intra-grupo consciente de ruído quanto a reutilização global adaptativa de rolos históricos.
2. Garantias Teóricas:
   • Os autores estabelecem uma conexão formal entre o agendamento de dados em RLVR e bandits contextuais.
   • Eles derivam limites de arrependimento sublineares ($\tilde{O}(\sqrt{T})$) para o agendador neural proposto sob uma configuração simplificada de seleção de amostra única, dependendo do framework do Kernel Tangente Neural (NTK).
   • Eles provam que ampliar o buffer de replay melhora o limite superior alcançável do desempenho da política, fornecendo justificação teórica para a reutilização global de rolos.
3. Eficácia Empírica: Experimentos extensivos demonstram que o CBS melhora consistentemente tanto o desempenho final quanto a eficiência de treinamento em múltiplos métodos de otimização de RLVR (GRPO, DAPO, GSPO) e tamanhos de modelo.

Resultados Experimentais

O método foi avaliado em seis benchmarks de raciocínio matemático (AIME24, AIME25, AMC23, MATH500, Minerva, Olimpíada) usando modelos Qwen3 (1.7B, 4B, 8B).

• Ganhos de Desempenho: A integração do CBS resultou em melhorias relativas consistentes em diferentes métodos de otimização de política. Por exemplo, no modelo Qwen3-1.7B, o CBS melhorou o GRPO em 4,4% e o DAPO em 15,7% em média.
• Eficiência de Treinamento: O CBS reduziu significativamente o tempo médio de otimização de política (até 50,4% de redução) ao exigir menos trajetórias de treinamento por atualização do ator.
• Sobrecarga Computacional: O custo computacional do agendador é negligenciável, representando menos de 4% do tempo total de treinamento, e essa proporção diminui à medida que o tamanho do modelo aumenta.
• Estudos de Ablação: A remoção de componentes como o agendador neural (substituído por seleção aleatória), normalização de recompensa EMA ou o termo de penalidade de entropia levou à degradação de desempenho ou instabilidade de treinamento (por exemplo, crescimento descontrolado da entropia), validando a necessidade de cada componente.

Significado e Alegações

O artigo alega que o CBS oferece uma solução principificada para as questões de ineficiência de dados e ruído inerentes aos pipelines atuais de RLVR. Ao tratar a seleção de rolos como um problema de aprendizado adaptativo em vez de uma heurística estática, o CBS permite:

• Filtragem de supervisão granular: Priorizar automaticamente respostas informativas enquanto suprime as ruidosas.
• Reutilização de dados de longo horizonte: Alavancar sistematicamente trajetórias históricas de alto valor para refinar políticas ao longo do tempo.

Os autores enfatizam que sua abordagem fornece um paradigma de autoaperfeiçoamento escalável que não depende de heurísticas manuais específicas de método. Embora a implementação atual utilize uma representação leve de 10 dimensões para eficiência, o framework é projetado para ser extensível, permitindo potencialmente a integração de representações semânticas mais profundas em trabalhos futuros. O trabalho posiciona-se como um passo em direção a um treinamento RLVR mais eficiente e robusto para modelos de grande raciocínio.