Resumo Técnico: Refinamento de Aprendizado por Reforço Eficiente via Aprendizado de Currículo Adaptativo

Declaração do Problema

O Refinamento por Reforço (RFT) emergiu como uma técnica crítica para alinhar Grandes Modelos de Linguagem (LLMs) com objetivos específicos de tarefas, particularmente em domínios como o raciocínio matemático, onde a correção é bem definida. No entanto, as abordagens padrão de RFT (ex: PPO, GRPO) sofrem de ineficiência significativa de amostra e computacional. Elas frequentemente exigem um treinamento extensivo envolvendo gerações de rollout repetidas e atualizações de política, o que as torna dispendiosas e difíceis de escalar.

Tentativas existentes para melhorar a eficiência enfrentam trade-offs específicos:

• Simplificações algorítmicas (ex: RAFT, ReMax) podem aumentar a variância ou limitar a estabilidade.
• Estratégias centradas em dados (ex: LIMO, LIMR) frequentemente dependem de curadoria manual ou pontuação estática, que podem ser frágeis, computacionalmente pesadas ou específicas para o modelo.
• Abordagens de Aprendizado de Currículo (CL) em trabalhos anteriores tipicamente utilizam estágios fixos, definidos manualmente, ou esquemas de filtragem online que exigem rollouts repetidos para podar os dados. Esses métodos carecem de verdadeira adaptatividade ao nível de habilidade evolutivo do modelo ou incorrem em um overhead computacional significativo.

Consequentemente, há uma necessidade de um método que ajuste dinamicamente a dificuldade de treinamento para corresponder às capacidades atuais do modelo sem modificar o algoritmo de RL subjacente ou exigir curadoria manual extensa de dados.

Metodologia: ADARFT

Os autores propõem o ADARFT (Adaptive Curriculum Reinforcement Finetuning), um framework leve e agnóstico a modelos que integra aprendizado de currículo adaptativo em pipelines padrão de RFT (compatível com PPO, GRPO, REINFORCE++).

Mecanismo Central

O ADARFT opera mantendo um nível de dificuldade alvo ($T$) e ajustando-o dinamicamente com base nos sinais de recompensa recentes do modelo. A intuição central é que o aprendizado é mais eficaz quando as tarefas não são nem muito fáceis, nem muito difíceis (a "zona de desenvolvimento proximal").

O algoritmo procede da seguinte forma:

1. Estimativa de Dificuldade Offline: Cada problema no conjunto de dados $D$ é pré-anotado com um escore de dificuldade $d_i$. Esses escores podem ser derivados de anotações humanas, rollouts baseados em modelo (pass@k) ou juízes de LLM (ex: GPT-4o).
2. Amostragem de Currículo Dinâmica: Em cada etapa de treinamento, o algoritmo calcula a diferença absoluta $\Delta_i = |d_i - T|$ entre a dificuldade alvo e a dificuldade de cada problema. Ele seleciona um lote de $B$ problemas com os menores $\Delta_i$, garantindo que o modelo treine em tarefas mais próximas de sua capacidade atual.
3. Atualização de Política: O lote selecionado é usado para atualizar a política $\pi_\theta$ usando um algoritmo de RL padrão (ex: PPO). Um sinal de recompensa binário ($R_i \in \{0, 1\}$) é computado com base na correção da resposta.
4. Atualização da Dificuldade Alvo: O alvo de dificuldade $T$ é atualizado com base na recompensa média ($R_{avg}$) do lote. A regra de atualização é definida como:
   $$T' = \text{clip}(T + \eta \cdot \tanh(\alpha \cdot (R_{avg} - \beta)), d_{min}, d_{max})$$
   • $\beta$: O nível de recompensa alvo (definido como 0.5), representando a taxa de sucesso desejada.
   • $\eta$: Tamanho do passo para ajuste de dificuldade.
   • $\alpha$: Parâmetro de sensibilidade.
   • $\text{clip}$: Restringe $T$ dentro do intervalo de dificuldade válido $[d_{min}, d_{max}]$.

Se o modelo performar bem ($R_{avg} > \beta$), $T$ aumenta, tornando os problemas subsequentes mais difíceis. Se o desempenho for ruim ($R_{avg} < \beta$), $T$ diminui.

Justificativa Teórica

Os autores fornecem uma justificativa teórica para definir a recompensa alvo $\beta = 0.5$. Em RL com regularização de entropia, a magnitude do gradiente para atualizações de política é proporcional à variância da recompensa. Para recompensas binárias, a variância é maximizada quando a taxa de sucesso é 0.5. Portanto, treinar em problemas onde o modelo tem sucesso aproximadamente metade das vezes fornece o sinal de aprendizado mais forte, evitando os gradientes evanescentes associados a tarefas trivialmente fáceis ou o ruído de tarefas proibitivamente difíceis.

Principais Contribuições

1. Framework de Currículo Adaptativo: O ADARFT introduz um currículo dinâmico, baseado em feedback, que ajusta a dificuldade da tarefa em tempo real com base no desempenho do modelo, eliminando a necessidade de cronogramas fixos ou rollouts repetidos para filtragem de dados.
2. Leve e Geral: O método requer apenas uma extensão mínima para algoritmos de RL padrão (PPO, GRPO, etc.) e não altera a função de recompensa ou a arquitetura do modelo. É compatível com vários algoritmos de RL e escalas de modelos.
3. Estimativa de Dificuldade Offline: A abordagem depende de escores de dificuldade estáticos e pré-computados (derivados de rollouts ou juízes de LLM), evitando o overhead computacional de recomputar a dificuldade online durante o treinamento.
4. Avaliação Abrangente: O método é avaliado através de diversas distribuições de dados (uniforme, skew-easy, skew-difficult) e escalas de modelos (Qwen 2.5 1.5B e 7B) em benchmarks de matemática de nível de competição.

Resultados

Experimentos em conjuntos de dados de matemática de nível de competição (AMC, AIME, estilo IMO) demonstram que o ADARFT melhora significativamente tanto a eficiência de treinamento quanto o desempenho final de raciocínio em comparação com o PPO padrão, PPO com dados filtrados e PPO com cronogramas de currículo fixos.

• Eficiência de Treinamento: O ADARFT reduz o tempo de treinamento em até 2×. Modelos treinados com ADARFT requerem significativamente menos passos para atingir os níveis de desempenho dos métodos de base. Por exemplo, no modelo Qwen 2.5 1.5B com uma distribuição skew-difficult, o PPO padrão exigiu 71.7% mais passos para igualar o desempenho do ADARFT no passo 60.
• Acurácia Final: O ADARFT consistentemente alcança maior acurácia final. Na distribuição skew-difficult, o modelo Qwen 2.5 1.5B melhorou de 37.41% (PPO) para 40.48% (ADARFT). Ganhos semelhantes foram observados para o modelo 7B (44.17% para 46.83%).
• Robustez: O método é particularmente eficaz em regimes de dados desbalanceados (ex: skew-difficult), onde a amostragem estática frequentemente falha em fornecer sinais de aprendizado suficientes no início do treinamento.
• Agnosticismo de Algoritmo: Estudos de ablação confirmam que o ADARFT melhora a convergência e a acurácia quando instanciado com GRPO e REINFORCE++, não apenas PPO.
• Estimativa de Dificuldade: O artigo mostra que as estimativas de dificuldade derivadas de juízes de LLM (GPT-4o) correlacionam-se bem com as taxas de sucesso empíricas, oferecendo uma alternativa escalável à estimativa baseada em rollouts dispendiosa.

Significância e Alegações

O artigo afirma que o ADARFT oferece um caminho prático e escalável para um RFT mais eficiente em tarefas de raciocínio estruturado. Sua significância reside em:

• Eliminação da Curadoria Manual: Ao contrário de métodos que exigem currículos desenhados à mão ou filtragem extensiva de dados, o ADARFT se adapta automaticamente à dinâmica de aprendizado do modelo.
• Otimização do Sinal de Aprendizado: Ao visar uma taxa de sucesso de 50%, o método garante que o modelo seja consistentemente treinado em tarefas "solúveis, mas desafiadoras", maximizando o ganho de informação por atualização.
• Escalabilidade: A abordagem é leve e agnóstica ao modelo, tornando-a adequada para pipelines de treinamento em larga escala onde os recursos computacionais são limitados.

Os autores observam que os benefícios do aprendizado de currículo são mais pronunciados em distribuições de treinamento desbalanceadas e para modelos com capacidade limitada, onde o RFT padrão tem dificuldade em impulsionar as capacidades iniciais (bootstrap). Embora a curadoria manual pudesse teoricamente alcançar resultados semelhantes, o ADARFT fornece uma solução automatizada e unificada que generaliza através de arquiteturas de modelos e níveis de habilidade sem exigir novo ajuste para cada novo modelo.