How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

1. Declaração do Problema

O artigo aborda dois modos de falha críticos no treinamento de modelos de raciocínio (modelos que geram cadeias de pensamento latentes antes de responder) usando apenas supervisão no nível de saída:

1. Estagnação do Início Frio: Quando a probabilidade inicial de sucesso ($p_0$) é muito baixa, o Aprendizado por Reforço a partir de Recompensas Verificáveis (RLVR) padrão e suas variantes (como GRPO ou REINFORCE Rao-Blackwellizado) frequentemente falham em progredir. O sinal de gradiente é muito fraco para escapar do regime de "início frio".
2. Memorização de Ruído: Por outro lado, métodos que empurram agressivamente o modelo para ajustar a distribuição de treinamento (como Ajuste Fino Supervisionado padrão ou Estimativa de Máxima Verossimilhança) tendem a memorizar erros de rótulo e ruído, reduzindo a generalização e a autoconsistência.

Abordagens existentes tratam esses problemas como separados. Os autores argumentam que estes são dois extremos de um espectro governado pelo "comprometimento" do modelo com o sinal de supervisão. Eles propõem um quadro teórico unificado para equilibrar a velocidade de escape do início frio contra a robustez ao ruído.

2. Metodologia: O Contínuo de Perda $J_Q$

A contribuição central é a definição de uma família de perdas, $J_Q$, derivada do $q$-logaritmo de Tsallis. Esta família interpola entre dois polos:

• Polo de Exploração ($q=0$): Corresponde à maximização da precisão esperada (equivalente a RLVR com recompensas de correspondência exata). A perda é limitada ($1 - P_\theta$).
• Polo de Estimativa de Densidade ($q=1$): Corresponde à maximização da verossimilhança marginal-log sobre trajetórias latentes (equivalente a SFT/ML padrão). A perda é ilimitada ($-\log P_\theta$).

Insight Teórico Chave: Amplificação de Gradiente

Todos os membros da família $J_Q$ compartilham a mesma direção de gradiente por exemplo, diferindo apenas por um fator de amplificação escalar:
$$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$$
Onde $P_\theta = p_\theta(y^*|x^*)$ é a probabilidade de sucesso condicional do modelo.

• O Parâmetro $q$ (Comprometimento): Controla o quanto o gradiente é amplificado para exemplos "difíceis" (baixa $P_\theta$).
  • Baixa $q$ (próxima de 0): Amplificação mínima. O modelo foca no que já conhece (robusto a ruído) mas escapa do início frio lentamente (tempo $\Omega(1/p_0)$).
  • Alta $q$ (próxima de 1): Amplificação massiva para exemplos de baixa probabilidade. O modelo explora agressivamente supervisão desconhecida, escapando do início frio rapidamente (tempo $\Theta(\log(1/p_0))$) mas arriscando memorizar ruído.

Estimadores de Gradiente

Como $P_\theta$ é intratável (envolve somar sobre todas as trajetórias latentes), os autores derivam dois estimadores de Monte Carlo baseados na fatoração dual do gradiente:

1. GARL (RL com Gradiente Amplificado):

   • Mecanismo: Amostra trajetórias a partir do prior $p_\theta(z|x^*)$ e amplifica o gradiente padrão de RL por $(\bar{w}_M)^{-q}$.
   • Características: Menor variância, generaliza RB-REINFORCE ($q=0$) e IWAE ($q=1$).
   • Caso de Uso: Essencial para cenários de início frio onde a amostragem posterior não produz trajetórias válidas.

2. PAFT (Ajuste Fino Atenuado por Posterior):

   • Mecanismo: Reamostra por importância trajetórias a partir do posterior (aquelas que concordam com a resposta) e atenua o gradiente de SFT por $(\bar{w}_M)^{1-q}$.
   • Características: Produz gradientes semanticamente coerentes (atualiza apenas em racionalidades válidas) mas tem maior variância devido ao ruído de reamostragem. Generaliza o passo E do EM ($q=1$).
   • Caso de Uso: Mais estável durante o treinamento de início quente, prevenindo o "colapso" observado no GARL em conjuntos de dados complexos.

3. Contribuições Principais

1. Quadro Teórico Unificado: O artigo fornece a primeira conta teórica unificando a estagnação do início frio e a memorização de ruído como uma compensação controlada pelo parâmetro $q$.
2. Análise de Velocidade de Escape: Provas teóricas (Teoremas 5.1 e 5.2) demonstram que o tempo para escapar do início frio escala como $\Omega(1/p_0)$ para $q=0$, mas melhora para $\Theta(\log(1/p_0))$ para $q=1$. Isso explica por que o RLVR padrão falha quando $p_0$ é pequeno.
3. Estimadores Duais (GARL e PAFT): A derivação de dois estimadores práticos, plug-and-play, que permitem aos praticantes ajustar o nível de "comprometimento" sem alterar a arquitetura do modelo.
4. Compensação Viés-Variância: Análise mostrando que, embora alta $q$ acelere o aprendizado, ela introduz viés do estimador ($O(q/MP_\theta^{q+1})$), necessitando de valores intermediários de $q$ para desempenho ótimo.

4. Resultados Empíricos

Os autores avaliaram GARL e PAFT em três benchmarks de raciocínio (FinQA, HotPotQA, MuSiQue) usando um modelo Qwen 3 0.6B.

• Desempenho de Início Frio:

  • GRPO padrão e $q=0$ (RB-RLOO) falharam completamente (0% de precisão) em tarefas de início frio.
  • GARL com $q=0.75$ escapou com sucesso do início frio, alcançando precisão significativa (ex: 38.3% maj@16 no FinQA vs. 0% para GRPO).
  • $q=1$ escapou do início frio mas sofreu maior memorização de ruído, resultando em precisão final menor do que $q=0.75$.

• Desempenho de Início Quente:

  • FinQA: O treinamento foi estável em todos os $q$. GARL em $q=0.25$ alcançou os melhores resultados (38.7% maj@16), superando o GRPO em +11.8 pontos.
  • HotPotQA e MuSiQue: O GARL colapsou (precisão de validação caiu para zero) durante o treinamento em todos os valores de $q$ testados, provavelmente devido a corrupção de termos de caminho ou sobreajuste.
  • Estabilidade do PAFT: O PAFT não colapsou em nenhum benchmark. PAFT em $q=0.75$ alcançou os melhores resultados estáveis no HotPotQA (47.9% maj@16, +14.4 sobre GRPO) e MuSiQue (22.4% maj@16).

• Independência de Prompt: Remarkavelmente, o modelo GARL de início frio (treinado sem prompts específicos da tarefa) superou o modelo GRPO de início quente (treinado com prompts) em todas as métricas, sugerindo que um forte comprometimento ($q \approx 0.75$) permite que o modelo descubra a estrutura da tarefa diretamente a partir de pares de entrada-saída.

5. Significado e Implicações Práticas

• Resolvendo o Gargalo do Início Frio: O artigo prova que o gargalo no RLVR não é apenas a variância do gradiente (tratada pela Rao-Blackwellização), mas a falta de amplificação do gradiente para exemplos de baixa probabilidade. Aumentar $q$ resolve isso.
• Estratégia de Treinamento Dinâmica: Os autores propõem uma receita prática:
  • Início Frio: Use GARL com alta $q$ ($\approx 0.75$) para forçar o modelo a sair do regime de recompensa zero.
  • Início Quente: Se o treinamento for estável (ex: FinQA), use GARL com baixa $q$ ($\approx 0.25$) para minimizar o viés. Se o treinamento for instável (ex: HotPotQA), mude para PAFT com alta $q$ ($\approx 0.75$) para manter a estabilidade via gradientes coerentes.
• Além do RLVR: Este quadro oferece uma maneira principial de interpolar entre Aprendizado por Reforço e Ajuste Fino Supervisionado, movendo-se além do pipeline rígido "SFT então RL" para um espectro contínuo de comprometimento.

Em resumo, o artigo demonstra que o comprometimento com a supervisão é um hiperparâmetro ajustável. Ao ajustar $q$, os praticantes podem controlar a compensação entre a velocidade de aprendizado (escapar de inícios frios) e a robustez do aprendizado (evitar memorização de ruído), levando a desempenho state-of-the-art em tarefas complexas de raciocínio.