Resumo Técnico: Uma Teoria de Orçamento Relativo para Aprendizado por Reforço com Recompensas Verificáveis em Raciocínio de LLMs

1. Declaração do Problema

O aprendizado por reforço com recompensas verificáveis (RLVR) tornou-se um paradigma dominante para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs), permitindo planejamento de longo horizonte e autocorreção iterativa. No entanto, a eficácia empírica varia significativamente entre tarefas e orçamentos computacionais. Estruturas teóricas existentes frequentemente falham em considerar a relação dinâmica entre a dificuldade da tarefa e os orçamentos de computação, particularmente em configurações de aprendizado online. Profissionais carecem de diretrizes sobre como alocar recursos computacionais de forma eficiente, correndo o risco de alocar vastos recursos em regimes onde o aprendizado é teoricamente ineficiente ou onde o sinal de aprendizado desaparece.

Este artigo aborda a lacuna na compreensão teórica ao analisar como a razão entre o orçamento de tokens disponível e a dificuldade inerente de uma tarefa dita a eficiência de amostragem e a convergência do RLVR.

2. Metodologia e Estrutura Teórica

2.1. O Orçamento Relativo ($\xi$)

Os autores introduzem uma quantidade central chamada orçamento relativo, definida como:
$$\xi := \frac{H}{E[T]}$$
onde $H$ é o horizonte de geração (orçamento de tokens) e $E[T]$ é o número esperado de tokens necessários para atingir a primeira solução correta sob uma política base $\pi_b$. Esta métrica unifica restrições de computação e dificuldade de tarefa.

2.2. Suposições de Modelagem

O processo de raciocínio é modelado como um Processo de Decisão de Markov (MDP) de horizonte finito com recompensas binárias. O tempo-até-a-solução $T(\tau)$ é analisado sob suposições distributivas específicas:

• Momentos: A variância de $T(\tau)$ escala com o quadrado de sua média ($v_x = \Theta(\mu_x^2)$).
• Comportamento da Cauda Esquerda: A probabilidade de resolver um problema dentro de uma fração do tempo esperado segue uma função $f(z)$ que decai polinomialmente, em vez de exponencialmente, próximo à origem.
• Distribuição Gamma: Para análise concreta, $T(\tau)$ é modelado usando uma distribuição Gamma, que serve como um proxy contínuo para as contagens de tokens discretas em tarefas de raciocínio complexas.

2.3. Abordagem Analítica

O artigo analisa o coeficiente de anti-concentração $c_0(\xi)$, que representa a probabilidade de amostrar trajetórias de alta recompensa (soluções encontradas significativamente mais rápido que a média). Este coeficiente governa diretamente a complexidade de amostragem do RL. Os autores derivam garantias de amostra finita para RL online, rastreando a evolução de $\xi$ ao longo das iterações conforme a política melhora.

3. Contribuições Principais e Resultados Teóricos

O artigo estabelece que o desempenho do RLVR é governado por três regimes distintos baseados no valor de $\xi$:

3.1. Três Regimes de Eficiência de Aprendizado

1. Regime Deficiente ($\xi \to 0$):
   • Condição: O orçamento de tokens $H$ é muito menor que o tempo esperado para a solução.
   • Dinâmica: Trajetórias de alta recompensa são extremamente raras. O coeficiente de anti-concentração desaparece ($c_0 \to 0$), causando a explosão da complexidade de amostragem. O aprendizado é teoricamente intratável.
2. Regime Equilibrado ($\xi = \Theta(1)$):
   • Condição: O orçamento de tokens é comparável ao tempo esperado para a solução.
   • Dinâmica: Trajetórias informativas ocorrem com probabilidade não negligenciável. O coeficiente de anti-concentração é limitado por um valor positivo ($c_0 = \Theta(1)$), levando à máxima eficiência de amostragem.
   • Contraste com SFT: Este regime representa um "ponto ideal" para RL, mas o "pior caso" para Ajuste Fino Supervisionado (SFT). No regime equilibrado, a heterogeneidade dos traços de solução bem-sucedidos (variando em comprimento e estratégias) é maximizada, tornando o aprendizado por imitação difícil para o SFT.
3. Regime Amplo ($\xi \to \infty$):
   • Condição: O orçamento de tokens excede significativamente o tempo esperado para a solução.
   • Dinâmica: O aprendizado permanece estável com um coeficiente de anti-concentração limitado. No entanto, os ganhos marginais por iteração diminuem à medida que a tarefa se torna trivial em relação ao orçamento, e a complexidade de amostragem aumenta linearmente com $\xi$.

3.2. Garantias de Amostra Finita para RL Online

Os autores provam que, em um cenário online, conforme a política melhora, o tempo esperado para a solução diminui, fazendo com que o orçamento relativo $\xi$ cresça linearmente ao longo das iterações.

• Teorema 6.4: Sob o modelo Gamma, o RL online impulsiona o crescimento linear de $\xi$ ($\xi_i - \xi_0 \geq i(2K)^{-1}$).
• Trade-off: Enquanto a política converge para o orçamento de tokens $H$, manter a melhoria monotônica no regime amplo requer um número crescente de amostras de rollout (degradação quadrática na complexidade de amostragem em relação a $\xi$).

3.3. Alocação de Orçamento Ótima

A análise teórica usando a distribuição Gamma identifica um orçamento relativo ótimo $\xi^*$ que maximiza o sinal de aprendizado (variância da recompensa) enquanto mantém um coeficiente de anti-concentração estável.

• Previsão Teórica: O $\xi^*$ ótimo cai na faixa $1.0 \leq \xi^* \leq 1.4$.
• Implicação: Alocar um orçamento ligeiramente maior que a dificuldade esperada ($\xi \gtrsim 1$) é crucial para sinais de aprendizado confiáveis.

4. Resultados Empíricos

Os autores validaram sua teoria usando LLMs padrão (Llama-3.2-3B, Phi-4-mini, Qwen3-4B) em benchmarks de raciocínio (GSM8K, MATH-500).

• Transição de Fase: Experimentos confirmaram uma transição de fase em $\xi \approx 1.0$. No regime deficiente ($\xi < 0.8$), a variância da recompensa e a anti-concentração foram negligenciáveis.
• Pico do Sinal de Aprendizado: O sinal de aprendizado (variância da recompensa) atingiu o pico na faixa $\xi \in [1.5, 2.0]$, ligeiramente superior ao mínimo teórico devido à natureza de cauda longa das distribuições de geração de tokens.
• Correlação de Desempenho: A precisão pós-treinamento em tarefas de raciocínio mostrou um aumento acentuado conforme $\xi$ se aproximava de 1 (o regime equilibrado) e saturou no regime amplo ($\xi > 2.0$).
• Robustez do Modelo: As previsões teóricas mantiveram-se consistentes em diferentes modelos e conjuntos de dados, mesmo para modelos (como o Qwen3) que exibiram distribuições de tokens bimodais, sugerindo que a teoria central é robusta a desvios distributivos específicos.

5. Significância e Alegações

O artigo afirma fornecer uma estrutura teórica unificada que explica o sucesso dependente de regime do RLVR no raciocínio de LLMs. Sua principal significância reside em:

1. Definir a "Borda de Competência": Justifica teoricamente a observação empírica de que o RL é mais eficaz quando as tarefas não são nem triviais nem intratáveis, especificamente quando o orçamento computacional é comparável à dificuldade inerente da tarefa.
2. Guiar a Alocação de Computação: A teoria oferece uma diretriz concreta para profissionais: alocar orçamentos de tokens de modo que $\xi \in [1.5, 2.0]$. Isso garante a presença de trajetórias informativas sem os retornos decrescentes de orçamentos excessivos.
3. Explicar a Divergência RL vs. SFT: Elucida por que o RL baseado em verificadores supera o SFT na escala de computação de tempo de teste, particularmente no regime equilibrado, onde a heterogeneidade da solução dificulta o aprendizado por imitação, mas auxilia o RL baseado em exploração.
4. Desenvolvimento de IA Sustentável: Ao identificar quando o RL produz retornos decrescentes, a estrutura visa prevenir execuções de treinamento dispendiosas, reduzindo os custos financeiros e ambientais associados ao treinamento de modelos em larga escala.

Os autores observam que sua análise depende de um proxy de recompensa contínua para tornar a análise de variância tratável e que estender a teoria para configurações estritas de recompensa binária permanece como um problema em aberto. No entanto, o alinhamento empírico com cenários realistas sugere que o orçamento relativo $\xi$ é um fator fundamental na eficácia do RL orientado ao raciocínio.