Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning

O artigo propõe o "E2H Reasoner", um método de Aprendizado por Reforço que utiliza um currículo de tarefas do fácil ao difícil para melhorar significativamente a capacidade de raciocínio de modelos de linguagem pequenos, garantindo convergência teórica e reduzindo a complexidade de amostragem em comparação com o treinamento direto.

O essencial

Imagine que você está tentando ensinar um cachorro a fazer truques complexos, como pular por cima de uma cerca alta.

Se você pegar o cachorro, levá-lo direto para a cerca e gritar "Pule!", ele provavelmente vai falhar, ficar confuso e talvez até ter medo. Se você tentar treinar apenas com a cerca alta, ele nunca vai aprender o truque porque é muito difícil de começar.

É exatamente esse o problema que os pesquisadores deste artigo (publicado na conferência ICLR 2026) estão tentando resolver com as Inteligências Artificiais (os "LLMs" ou modelos de linguagem).

Aqui está a explicação do trabalho, chamada E2H Reasoner (Raciocínio do Fácil para o Difícil), usando uma linguagem simples e analogias do dia a dia:

1. O Problema: A "Parede de Tiro"

Atualmente, os modelos de IA são ótimos em coisas simples, mas quando tentamos ensiná-los a resolver problemas de matemática complexa ou lógica difícil apenas com recompensas (como um sistema de "acerto/erro"), eles travam.

• A analogia: É como tentar ensinar alguém a tocar uma sinfonia inteira no piano no primeiro dia, sem passar pelas escalas ou notas simples. O aluno fica frustrado, não entende o que fazer e o professor (o sistema de recompensa) não dá pontos porque a resposta está errada. O aluno desiste ou aprende apenas a "chutar" sem entender a lógica.

2. A Solução: O "Treinamento em Camadas" (Currículo)

Os autores propõem uma ideia inspirada na forma como humanos aprendem: Currículo. Em vez de jogar tudo de uma vez, você organiza o aprendizado do mais fácil para o mais difícil.

• A analogia do Ginásio: Você não começa levantando 100kg. Você começa com 10kg, depois 20kg, 30kg, e assim por diante.
• No papel: Eles pegam os dados de treinamento e os dividem em quatro níveis:
  1. Trivial: Coisas que a IA já sabe quase de cara.
  2. Fácil: Um pequeno desafio.
  3. Médio: Já exige pensar um pouco.
  4. Difícil: O problema complexo que queremos resolver.

3. O Segredo: O "Treinador Inteligente" (Agendador)

Aqui está a parte genial do artigo. Muitos métodos antigos faziam o seguinte: "Treine no fácil por 1 hora, depois mude para o difícil e nunca mais olhe para trás".

• O problema disso: A IA esquece o que aprendeu no fácil (esquecimento) ou vicia em fazer apenas o fácil para ganhar pontos rápidos (viciada em atalhos).

O E2H Reasoner usa um "agendador" (um cronograma) que é como um treinador de esportes muito esperto:

• No começo: Ele mostra muitos exercícios fáceis para a IA ganhar confiança e entender a lógica básica.
• No meio: Ele começa a misturar os exercícios difíceis, mas ainda mantém alguns fáceis para a IA não perder o ritmo.
• No final: Ele foca quase tudo nos exercícios difíceis, mas garante que a IA não esqueceu as bases.

Eles usam duas estratégias matemáticas (chamadas de Cosine e Gaussian) para decidir exatamente quando e quanto mostrar cada tipo de problema. É como ajustar o volume de uma música: começa baixo, sobe gradualmente e termina alto, sem pular de repente.

4. O Resultado: Pequenos Modelos Viram Gênios

O que é mais impressionante é que isso funciona até em modelos de IA "pequenos" (que têm menos "cérebro" ou memória).

• A analogia: É como se um estudante do ensino médio, com um método de estudo perfeito, conseguisse resolver problemas de pós-graduação, enquanto um estudante brilhante (um modelo grande) sem método não conseguisse.
• Os testes mostraram que, ao usar esse método, a IA aprendeu a resolver problemas que ela nunca conseguiria resolver sozinha no início. Ela generalizou o aprendizado: aprendeu o princípio no exercício fácil e aplicou no difícil.

5. Por que isso é importante?

• Economia de Tempo e Dinheiro: O artigo prova matematicamente que esse método precisa de menos exemplos de treinamento para chegar ao mesmo resultado. É como aprender a dirigir em uma pista vazia antes de ir para a estrada movimentada: você comete menos erros e aprende mais rápido.
• Acesso: Permite que modelos menores e mais baratos (que rodam em computadores comuns) tenham capacidades de raciocínio que antes só modelos gigantes e caros tinham.

Resumo em uma frase

O E2H Reasoner é como um professor particular que sabe exatamente quando introduzir um novo desafio para que o aluno (a IA) não desanime, não esqueça o básico e, no final, consiga resolver problemas complexos que pareciam impossíveis no início.

Em suma: Não tente pular o passo. Ensine do fácil para o difícil, com um ritmo inteligente, e a inteligência artificial vai aprender a pensar de verdade.

Resumo técnico

1. Problema e Motivação

O artigo aborda a limitação atual dos Grandes Modelos de Linguagem (LLMs) em tarefas de raciocínio complexo (como matemática avançada, planejamento e codificação). Embora o Fine-Tuning Supervisionado (SFT) e o Aprendizado por Reforço (RL) pós-treinamento (como no DeepSeek-R1) tenham mostrado progresso, o RL puro enfrenta desafios significativos em tarefas intrinsecamente difíceis onde o modelo base tem desempenho zero-shot baixo.

Os principais problemas identificados são:

• Sinal de Recompensa Esparso: Em RL, a recompensa é concedida apenas na resposta final correta. Em tarefas difíceis, isso cria um sinal de aprendizado extremamente raro, dificultando a convergência.
• Gap de Distribuição: Há uma grande discrepância entre a distribuição de dados do pré-treinamento e a distribuição de tarefas-alvo complexas, levando a uma baixa precisão inicial.
• Sobrecarga e Esquecimento: Abordagens de Curriculum Learning (CL) tradicionais (sequenciais rígidos) podem causar "esquecimento" de tarefas anteriores ou "overfitting" em tarefas triviais, onde o modelo aprende atalhos (reward hacking) em vez de raciocinar.

2. Metodologia: E2H Reasoner

Os autores propõem o E2H Reasoner (Easy-to-Hard Reasoner), uma abordagem de Aprendizado por Reforço com Currículo (CRL) que estrutura o treinamento de tarefas fáceis para difíceis, permitindo que o LLM construa habilidades de raciocínio gradualmente.

Decomposição de Tarefas

O conjunto de dados de treinamento é dividido em quatro níveis de dificuldade: Trivial, Fácil, Médio e Difícil.

• Para datasets com anotações humanas (ex: Blocksworld, MATH), a dificuldade é baseada em métricas como comprimento do plano ou nível do problema.
• Para datasets sem anotações (ex: GSM8K, AQuA), a dificuldade é estimada automaticamente com base nas taxas de erro do modelo base usando Chain-of-Thought (CoT).

Agendadores de Treinamento (Schedulers)

O artigo propõe e compara diferentes estratégias de amostragem para transitar entre os níveis de dificuldade:

1. Agendamento Tradicional (CL): Transição rígida e sequencial (apenas uma tarefa por vez). Tende a causar esquecimento ou overfitting.
2. Agendamento Balanceado: Mistura todas as dificuldades aleatoriamente. Evita o esquecimento, mas introduz tarefas difíceis cedo demais, gerando recompensas esparsas.
3. E2H-Cosine (E2H-C): Usa uma função cosseno não paramétrica para interpolar as probabilidades de amostragem. Começa focando em tarefas fáceis e transita suavemente para as difíceis. É eficaz quando as recompensas são densas em todos os níveis.
4. E2H-Gaussiano (E2H-G): Baseado em um modelo de mistura gaussiana. Permite controle fino sobre a velocidade de transição e a concentração da amostragem. É projetado para evitar o overfitting em tarefas triviais, decaindo rapidamente a probabilidade de amostrar tarefas fáceis à medida que o treinamento avança, focando mais cedo nas tarefas difíceis.

Fundamentação Teórica

Os autores estabelecem garantias de convergência para o E2H Reasoner dentro de uma estrutura de Iteração de Política Aproximada (API).

• Derivam limites de complexidade de amostra finita.
• Provam que, com um currículo bem projetado, o CRL requer menos amostras totais para atingir um determinado nível de erro em comparação com o aprendizado direto na tarefa final (Direct Learning).
• A análise mostra que a decomposição reduz o erro de aproximação e melhora a eficiência da amostragem ao suavizar a transição de distribuição.

3. Resultados Experimentais

Os experimentos foram conduzidos em diversos benchmarks de raciocínio (Blocksworld, Countdown, MATH, GSM8K, AQuA) e modelos (Qwen 1.5B/3B, LLaMA 3.2 3B).

• Desempenho Superior: O E2H Reasoner (especialmente a variante E2H-G) alcançou o estado da arte (SOTA) em cinco tarefas de raciocínio, superando consistentemente o RL padrão (GRPO), o Curriculum Learning tradicional e o Self-Evolve.
• Generalização (OOD): O método demonstrou forte capacidade de generalização para dados fora da distribuição (OOD), especialmente em tarefas difíceis onde o RL puro falhava.
• Eficiência de Amostra: A análise empírica confirmou a teoria: o CRL alcançou alto desempenho com significativamente menos amostras de tarefas difíceis do que métodos que treinam exclusivamente em dados difíceis.
• Modelos Pequenos: O estudo demonstrou que pequenos LLMs (1.5B - 3B parâmetros) podem aprender a raciocinar em tarefas complexas se guiados por um currículo adequado, desafiando a noção de que apenas modelos massivos possuem capacidades de raciocínio.
• Combinação com DAPO: A integração do E2H com o algoritmo DAPO (que filtra exemplos muito fáceis ou muito difíceis) resultou no melhor desempenho, indicando que as duas abordagens são complementares.

4. Contribuições Principais

1. Método E2H: Introdução de uma abordagem de RL com currículo probabilístico que transita suavemente de tarefas fáceis para difíceis, resolvendo problemas de esparsidade de recompensa e esquecimento.
2. Análise Teórica Rigorosa: Fornecimento de garantias de convergência e limites de complexidade de amostra para CRL em LLMs, provando matematicamente a superioridade em eficiência de amostras sobre o aprendizado direto.
3. Estratégias de Agendamento: Proposta e validação de agendadores Cosine e Gaussiano, mostrando que o controle fino da transição de dificuldade é crucial para evitar reward hacking e maximizar a generalização.
4. Validação Empírica em Modelos Pequenos: Demonstração de que a técnica é eficaz em modelos de pequena escala, tornando o raciocínio avançado mais acessível e escalável.

5. Significado e Impacto

O trabalho oferece uma solução prática e teoricamente fundamentada para um dos maiores gargalos no desenvolvimento de LLMs: a capacidade de raciocínio em tarefas complexas. Ao demonstrar que a estruturação do aprendizado (currículo) é tão importante quanto o algoritmo de otimização, o E2H Reasoner:

• Reduz custos computacionais: Ao exigir menos amostras de tarefas difíceis para convergir.
• Democratiza o RL: Permite que modelos menores atinjam capacidades de raciocínio que antes pareciam exclusivas de modelos maiores ou de RL puro mal-sucedido.
• Abre novas direções: Sugere que o design de currículos adaptativos e a gestão de distribuição de dados são áreas críticas para o futuro do pós-treinamento de LLMs, indo além da simples escala de dados ou parâmetros.

Em resumo, o artigo estabelece que "aprender do fácil para o difícil" não é apenas uma heurística intuitiva, mas uma estratégia matematicamente justificada e empiricamente superior para aprimorar o raciocínio em LLMs via Reinforcement Learning.