Resumo Técnico: Eficiência Amostral Provável do Pós-Treinamento com Currículo para Raciocínio em Transformers

1. Formulação do Problema

Embora a aprendizagem por currículo (progressão de tarefas fáceis para difíceis) tenha demonstrado sucesso empírico na melhoria das capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs) durante o pós-treinamento, seus fundamentos teóricos permanecem incompletos. As garantias teóricas existentes para aprendizagem por currículo aplicam-se majoritariamente a pré-treinamento ou cenários de treinamento do zero com classes de funções específicas (por exemplo, regressão convexa, paridade). Elas não explicam diretamente por que estratégias de currículo são eficazes em cenários de pós-treinamento, onde um modelo base pré-treinado robusto é ajustado para generalizar o raciocínio explícito de Cadeia de Pensamento (CoT).

A questão central abordada é: Quando, por que, como e em que sentido as estratégias de currículo no pós-treinamento podem teoricamente melhorar o desempenho em comparação com o pós-treinamento direto sem currículos? Especificamente, o artigo investiga se os currículos podem mitigar o "gargalo de complexidade amostral" inerente a tarefas de raciocínio com recompensa esparsa, onde trajetórias de raciocínio corretas são raras sob a política base.

2. Metodologia e Estrutura Teórica

2.1. Estrutura Abstrata: Cobertura e Complexidade Amostral

Os autores formalizam o pós-treinamento com currículo definindo "dificuldade" através do coeficiente de cobertura ($\|\pi^* / \pi_{ref}\|_\infty$), que mede a raridade de um CoT correto sob a política base ($\pi_{ref}$) em relação à política alvo ótima ($\pi^*$).

• Pós-Treinamento Direto: Requer amostragem proporcional à dificuldade total da tarefa alvo.
• Pós-Treinamento com Currículo: Divide a tarefa em $L$ subtarefas intermediárias.
• Insight Chave (Corolário 1): O pós-treinamento com currículo produz melhorias exponenciais na eficiência amostral se e somente se a dificuldade cumulativa das etapas do currículo não for maior (até constantes) que a dificuldade do alvo final. Especificamente, se a complexidade amostral de cada etapa escala como a raiz $L/p$-ésima da complexidade total, o custo total escala linearmente com $L$, enquanto o treinamento direto escala exponencialmente.

2.2. Modelagem do Raciocínio: 2S-ART

Para fundamentar essa estrutura dentro de arquiteturas de transformadores, o artigo introduz a Árvore de Raciocínio Autoregressivo Condicionada a 2 Estados (2S-ART).

• Estrutura: O raciocínio é modelado como um processo autoregressivo condicionado a estados, onde o modelo seleciona um índice $i_\ell$ de um conjunto legal $I_\ell$ e atualiza um estado de raciocínio $z_\ell$ através de uma função $\Phi_\ell(z_{\ell-1}, v_{i_\ell})$.
• Suposição do Modelo Base: O modelo base pré-treinado (PART) é modelado como um amostrador uniforme sobre filhos legais em cada profundidade. Isso leva a um decaimento exponencial na probabilidade de gerar um CoT correto de comprimento $\ell$ (escalando como $\Theta(d^{-(\ell+1)})$).
• Realização em Transformer: Os autores provam que uma arquitetura padrão de transformer pode replicar fielmente esse processo probabilístico de raciocínio (Teorema 1), onde mecanismos de atenção selecionam índices e Redes Feed-Forward (FFNs) realizam as atualizações de estado (por exemplo, operações XOR).

2.3. Estratégias de Currículo

Duas estratégias específicas de currículo são analisadas dentro desta estrutura:

1. Currículo de Aumento de Profundidade: Estende progressivamente o horizonte de raciocínio (por exemplo, treinando em CoTs de comprimento 1, depois 2, etc.).
2. Currículo de Diminuição de Dicas: Fornece prefixos parais corretos de CoT (dicas) e reduz gradualmente seu comprimento, forçando o modelo a completar sufixos mais longos.

2.4. Cenários de Aprendizado

A teoria é aplicada a dois cenários:

• Ajuste Fino com RL: Otimização de uma política usando recompensas baseadas em resultados (sinais 0/1) via REINFORCE.
• Escalabilidade em Tempo de Teste: Identificação do caminho de raciocínio correto no momento da inferência usando oráculos de recompensa.

3. Contribuições Principais e Resultados Teóricos

3.1. Corolário do Gargalo Geral

O artigo estabelece o Corolário 1, uma condição suficiente geral que mostra que, se um currículo decompõe uma tarefa de modo que a dificuldade de cada etapa seja limitada por uma raiz da dificuldade total, a complexidade amostral muda de exponencial para polinomial.

3.2. Redução de Exponencial para Polinomial no Ajuste Fino com RL (Teorema 2)

Para o cenário 2S-ART (especificamente instanciado com o problema de Paridade Esparsa):

• Sem Currículo: O ajuste fino direto requer complexidade amostral $N_\epsilon \ge \tilde{\Omega}(d^{2k^*+2})$, onde $k^*$ é a profundidade de raciocínio e $d$ é a dimensão de entrada. Este é um gargalo exponencial.
• Currículo (Profundidade/Dica): Tanto currículos de aumento de profundidade quanto de diminuição de dicas reduzem a complexidade amostral para $N_\epsilon \le \tilde{O}((k^*+1)d^2)$.
• Mecanismo: Currículos impedem que o modelo seja sobrecarregado por CoTs "espúrios" (hacking de recompensa) que produzem respostas finais corretas por acaso, mas seguem caminhos de raciocínio incorretos. Ao focar em etapas intermediárias, o sinal de gradiente permanece informativo.

3.3. Redução de Exponencial para Polinomial na Escalabilidade em Tempo de Teste (Teorema 3)

• Sem Currículo: Identificar o caminho verdadeiro usando apenas recompensas terminais requer $T_{data}, T_{comp} \ge \tilde{\Omega}(d^{2k^*})$ consultas ao oráculo e amostras do modelo.
• Currículo: Usar um oráculo de currículo (que valida etapas intermediárias) reduz a complexidade para $T_{data} \le \tilde{O}((k^*+1)d^2)$ e $T_{comp} \le \tilde{O}((k^*+1)d^3)$.

3.4. Validação Empírica

• Experimentos Sintéticos: Na tarefa de paridade, métodos com currículo convergiram com significativamente menos amostras (por exemplo, $n \approx 76$ vs. $n \approx 1,6 \times 10^6$ para treinamento direto) e aprenderam as dependências de atenção corretas (relações pai-filho), enquanto o treinamento direto falhou em distinguir sinais informativos de correlações espúrias.
• Experimentos em Grande Escala: Avaliados nos benchmarks Countdown, MATH e Blocksworld usando um modelo base Qwen2.5-1.5B-Instruct.
  • Ambas as estratégias de currículo geralmente superaram o modelo base e o ajuste fino GRPO sem currículo.
  • Countdown: A diminuição de dicas alcançou a melhor média geral.
  • MATH: O aumento de profundidade alcançou a melhor média geral.
  • Blocksworld: Os ganhos foram menores e mais dependentes do tipo específico de currículo, sugerindo sensibilidade à estrutura da tarefa.

4. Significado e Afirmações

O artigo afirma fornecer a primeira compreensão teórica principial de por que o pós-treinamento com currículo melhora a eficiência amostral para raciocínio em transformers.

• Lacuna Teórica: Ele preenche a lacuna entre observações empíricas de aprendizagem por currículo e teoria rigorosa, indo além de benefícios "intuitivos" para reduções prováveis de exponencial para polinomial na complexidade amostral.
• Mecanismo: Identifica que o benefício primário surge da superação da raridade de trajetórias de raciocínio corretas sob a política base. Ao decompor a tarefa, os currículos garantem que o modelo aprenda a estrutura de dependência correta (por exemplo, atenção ao token anterior correto) antes de enfrentar a complexidade total do problema, evitando assim o fenômeno de "hacking de recompensa", onde modelos aprendem atalhos que funcionam para a resposta final, mas falham em generalizar o processo de raciocínio.
• Generalidade: Embora as provas sejam instanciadas no 2S-ART (abrangendo paridade, countdown e travessia de grafos), os autores argumentam que o mecanismo subjacente baseado em cobertura (Corolário 1) sugere que esses benefícios podem se estender a outros regimes de pós-treinamento e arquiteturas de modelos, incluindo modelos de linguagem de difusão.

O trabalho não afirma que currículos são universalmente superiores para todas as tarefas ou que eliminam a necessidade de dados em grande escala; ao contrário, demonstra que quando uma tarefa pode ser decomposta em uma sequência de subtarefas com aumentos controlados de dificuldade, o pós-treinamento com currículo oferece um caminho provável para aprendizado eficiente que o treinamento direto não pode alcançar.