Resumo Técnico: Filtragem de Dificuldade Online para Aprendizado por Reforço Orientado ao Raciocínio

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) emergiu como um paradigma crítico para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), particularmente em domínios como a matemática. No entanto, a eficiência do treinamento permanece um gargalo significativo. Um desafio primário no RLVR é a escassez de recompensa; os modelos frequentemente lutam para aprender efetivamente quando expostos a tarefas que são trivialmente fáceis (gerando pontuações perfeitas) ou impossivelmente difíceis (gerando pontuações zero). Nesses casos extremos, o sinal de aprendizado desaparece, levando ao uso ineficiente de recursos computacionais e uma convergência mais lenta. Embora o conceito educacional da Zona de Desenvolvimento Proximal (ZDP) sugira que o aprendizado é mais eficiente quando as tarefas caem dentro de uma faixa de dificuldade intermediária, as abordagens de RLVR existentes frequentemente carecem de uma base teórica rigorosa que vincule essa heurística a algoritmos de aprendizado por reforço online. Além disso, estratégias de filtragem de dados ingênuas podem desestabilizar o treinamento ao causar tamanhos de lote inconsistentes.

Metodologia

Os autores propõem uma estratégia de Filtragem de Dificuldade Online Balanceada integrada à estrutura do Group Relative Policy Optimization (GRPO). A metodologia é fundamentada em uma análise teórica formal e implementada via um mecanismo de amostragem assíncrona.

Fundamentação Teórica

A percepção teórica central estabelece que o melhoria esperada da política é limitada inferiormente pela variância das probabilidades de sucesso das tarefas.

• Análise de Recompensa Binária: Para um prompt $x$ com uma taxa de aprovação $p(x)$ sob a política inicial $\pi_{init}$, a divergência KL reversa entre $\pi_{init}$ e a política ótima $\pi^*$ é limitada inferiormente pelo termo de variância de Bernoulli:
  $$D_{KL}(\pi_{init} \parallel \pi^*) \geq \frac{p(x)(1-p(x))}{2\beta^2}$$
• Implicação: Este limite é maximizado quando $p(x) = 0.5$ (dificuldade intermediária) e desaparece quando $p(x) \in \{0, 1\}$ (extremamente difícil ou fácil). Assim, prompts com taxas de sucesso intermediárias fornecem os sinais de aprendizado mais fortes (maior informação de gradiente), enquanto casos extremos oferecem nenhum sinal de aprendizado.
• Generalização: Os autores estendem esta análise além das recompensas binárias, provando que para distribuições de recompensa Gaussiana e Multinomial, a divergência KL reversa é similarmente governada pela variância da recompensa (ou seu termo principal), validando o proxy de filtragem baseado em variância através de diversos cenários de recompensa.

Implementação Algorítmica

Para operacionalizar esta teoria sem comprometer a estabilidade do treinamento, os autores introduzem uma estratégia de amostragem assíncrona:

1. Filtragem Dinâmica: Durante cada etapa de treinamento, o sistema gera $G$ rollouts para um conjunto de prompts.
2. Estimativa de Taxa de Aprovação: A taxa de aprovação $p(x)$ é calculada como a média de precisão destes rollouts.
3. Limiarização (Thresholding): Os prompts são filtrados com base em limiares predefinidos ($T_{Low}, T_{High}$). Apenas prompts onde $T_{Low} \leq p(x) \leq T_{High}$ (ex: $0.2 \leq p(x) \leq 0.8$) são retidos.
4. Manutenção do Tamanho do Lote: Para evitar que o tamanho do lote diminua devido à filtragem, o sistema preenche o lote de forma assíncrona. Se um prompt é filtrado, o sistema inicia imediatamente novos rollouts para outros prompts até que o tamanho fixo do lote $N$ seja alcançado. Isso garante atualizações de gradiente estáveis enquanto mantém um currículo de tarefas de dificuldade intermediária.

Principais Contribuições

1. Avaliação Teórica de Aprendibilidade: O artigo prova que a aprendibilidade por prompt em GRPO pode ser aproximada via variância de amostra de recompensa. Isso fornece uma justificação formal para filtrar prompts com taxas de aprovação extremamente baixas ou altas, pois eles contribuem com sinais de gradiente nulos ou negligenciáveis.
2. Estratégia de Filtragem Online Balanceada: Os autores propõem e validam uma abordagem de filtragem "balanceada" (limiares simétricos em torno de 0.5) que supera consistentemente a filtragem "assimétrica" (limiares assimétricos) e o GRPO puro.
3. Implementação de Lote Fixo Assíncrono: Um design algorítmico inovador que permite a filtragem de dificuldade online enquanto mantém estritamente um tamanho de lote de treinamento fixo, abordando os problemas de instabilidade de tamanho de lote associados à filtragem ingênua.
4. Prova de Generalização: Extensões teóricas demonstrando que o proxy de aprendibilidade baseado em variância mantém-se para distribuições de recompensa Gaussiana e Multinomial, ampliando a aplicabilidade do método além das recompensas binárias.

Resultados Experimentais

O método foi avaliado em modelos de 3B e 7B parâmetros (família Qwen2.5) em cinco benchmarks de raciocínio matemático: MATH500, AIME, AMC, MinervaMath e OlympiadBench.

• Ganhos de Desempenho: A filtragem online balanceada superou consistentemente o GRPO puro.
  • Modelos de 3B: Alcançaram um aumento médio de +4.2% nos benchmarks, com um ganho notável de +10% no difícil benchmark AIME.
  • Modelos de 7B: Alcançaram um aumento médio de +4.5%, com um ganho de +12% no benchmark AMC.
• Eficiência de Amostra: A estratégia de filtragem acelerou significamente a convergência. Modelos treinados com filtragem balanceada atingiram o nível de desempenho do GRPO puro em menos da metade do número de etapas de treinamento (menos de 50% das atualizações de gradiente).
• Comparação com Métodos Offline: A abordagem online superou os métodos existentes de filtragem de dificuldade offline (curadoria estática e agendamento), demonstrando que a filtragem dinâmica e consciente da política é superior aos proxies de dificuldade predefinidos.
• Sensibilidade ao Limiar: Limiares mais estreitos (ex: $0.3 < p(x) < 0.7$) geralmente renderam melhor desempenho do que limiares mais largos, confirmando a importância de selecionar o "ponto ideal" (sweet spot) de dificuldade intermediária.

Significância e Alegações

O artigo alega fornecer uma base principiológica para o aprendizado de currículo em RLVR. Ao vincular a teoria educacional da ZDP às propriedades matemáticas da divergência KL reversa em soft RL, os autores demonstram que tarefas de dificuldade intermediária maximizam a eficiência do aprendizado.

A significância deste trabalho reside em:

1. Rigor Teórico: Ir além da curadoria de dados heurística para uma compreensão matematicamente fundamentada de por que tarefas intermediárias são ideais para a melhoria da política.
2. Eficiência Prática: Demonstrar que a filtragem pode reduzir drasticamente o custo computacional (etapas de treinamento e tempo) necessário para alcançar o desempenho de estado da arte em raciocínio.
3. Robustez Algorítmica: Resolver o problema prático da instabilidade do tamanho do lote na filtragem online através de amostragem assíncrona, tornando a abordagem viável para treinamento em larga escala.

Os autores concluem que a filtragem de dificuldade online balanceada é um componente nativo e teoricamente fundamentado para o treinamento de alinhamento (GRPO, PPO, RLOO), através de diversas tarefas verificáveis, oferecendo uma perspectiva unificada que conecta heurísticas empíricas com princípios formais de aprendizado.