Resumo Técnico: Enviesamentos Distribucionais no Pós-Treinamento: Uma Análise Markoviana de Trajetórias de Raciocínio

Declaração do Problema

Modelos de fundação possuem um conhecimento amplo, mas frequentemente exibem um raciocínio específico para tarefas que é restrito. Embora estratégias de pós-treinamento como o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) e o escalonamento em tempo de inferência (usando Modelos de Recompensa de Resultado [ORM] ou Modelos de Recompensa de Processo [PRM]) visem criar especialistas em tarefas específicas, observações empíricas revelam um paradoxo. Esses métodos tipicamente reforçam trajetórias de raciocínio existentes em vez de expandir o escopo do raciocínio. Especificamente, eles tendem a "espremer" a distribuição de trajetórias de Cadeia de Pensamento (CoT), favorecendo padrões de raciocínio frequentes e fáceis, enquanto esquecem etapas de raciocínio raras, porém cruciais, necessárias para instâncias difíceis. Isso levanta a questão de como as estratégias de exploração podem ser eficazes se o pós-treinamento não consegue explorar além do escopo da árvore existente do modelo base.

Metodologia

Os autores propõem um arcabouço teórico tratável baseado em Cadeias de Markov Estruturadas em Árvore (TMC) para modelar as capacidades de raciocínio de modelos de fundação.

1. Formulação do Modelo:

   • Estrutura TMC: O raciocínio é abstraído como um processo de Markov discreto onde os estados representam asserções lógicas (ex: expressões matemáticas) em vez de tokens superficiais. O espaço de estados é estratificado ($S_1$ a $S_L$), com transições representando etapas de raciocínio.
   • Definição de Tarefa: Tarefas são definidas por pares pergunta-resposta $(q, a, k)$. Uma tarefa é "comum" se admite pelo menos uma CoT "fácil de raciocinar" (transições de alta probabilidade), e "rara" se depende exclusivamente de CoTs "difíceis de raciocinar" (envolvendo transições esparsas e de baixa probabilidade).
   • Modelo Base: O modelo base pré-treinado é modelado como um preditor softmax linear treinado via entropia cruzada, que converge para as verdadeiras probabilidades de transição da TMC.
   • Sinais de Recompensa: O artigo distingue entre recompensa ao nível da instância (correção 0/1) e recompensas ao nível da população (acurácia esperada), que são utilizadas por ORMs e PRMs.

2. Análise Teórica:

   • Os autores analisam a dinâmica de gradiente de algoritmos padrão de RLVR (REINFORCE, RAFT, PPO, GRPO) e métodos de escalonamento de inferência (ORM/PRM com Best-of-N ou Busca em Árvore/Beam Search) dentro deste cenário de TMC.
   • Eles derivam o "Gap de Vantagem" entre CoTs fáceis e difíceis, mostrando que os objetivos padrão inerentemente atribuem vantagens maiores a caminhos fáceis devido à sua maior probabilidade de serem corretos através da distribuição da população.

Principais Contribuições

1. Formalização de Três Fenômenos Empíricos

O artigo prova rigorosamente três fenômenos observados na prática:

• Fenômeno 1 (Efeito de Espessamento do RLVR): Métodos de RLVR (REINFORCE, RAFT, PPO, GRPO) favorecem inerentemente CoTs fáceis de raciocinar. A análise teórica mostra que as atualizações impulsionadas pela vantagem fazem com que a massa de probabilidade das CoTs difíceis decaia, levando ao seu eventual esquecimento.
• Fenômeno 2 (Viés de Consistência do Verificador Neural): O escalonamento de inferência com ORM/PRM depende de recompensas populacionais (acurácia esperada). Os autores provam que essas recompensas favorecem sistematicamente CoTs fáceis porque elas têm uma maior probabilidade de serem corretas em média, mesmo que sejam incorretas para instâncias difíceis específicas. Consequentemente, a busca guiada por ORM/PRM (BoN, Beam Search) falha em selecionar CoTs difíceis.
• Fenômeno 3 (Méritos das CoTs Raras): Instâncias difíceis em conjuntos de dados de raciocínio (ex: GSM8K, AQuA) frequentemente correspondem a CoTs raras com baixa confiança do modelo base. Os métodos de pós-treinamento padrão que colapsam a distribuição sobre caminhos fáceis falham em resolver essas instâncias.

2. Justificativa Teórica para Estratégias de Exploração

O artigo fornece garantias prováveis para estratégias que mitigam o viés de simplicidade:

• Rejeição de Instâncias Fáceis (RL-rej): Ao rejeitar instâncias de treinamento onde o modelo já gera respostas corretas com alta confiança (ou seja, instâncias solucionáveis por CoTs fáceis), o sinal de treinamento desloca o foco para CoTs difíceis. Os autores provam que isso permite que o modelo aprenda CoTs difíceis válidas enquanto mantém o desempenho.
• Regularização KL: A incorporação da regularização de divergência KL (como no GRPO) evita que a distribuição colapse inteiramente em caminhos fáceis. A solução ótima sob regularização KL é uma distribuição de Gibbs que preserva as amplas capacidades do modelo base, permitindo a amostragem de CoTs difíceis e mantendo o desempenho multitarefa.
• PRM Induzido por Transformada h de Doob (DPRM): Para escalonamento de inferência, os autores propõem um PRM teoricamente fundamentado baseado na transformada h de Doob. Este método gera uma recompensa de processo que, quando usada com amostragem (Soft-BoN), é assintoticamente equivalente à distribuição de Gibbs ótima. Diferente dos PRMs padrão baseados em verossimilhança, o DPRM preserva a diversidade do modelo base e evita o viés para CoTs fáceis.

Resultados

Os autores validam suas descobertas teóricas através de simulações empíricas em uma TMC multitarefa sintética com duas tarefas (uma comum, uma rara).

• Falha do RLVR Padrão: Métodos como REINFORCE, RAFT e PPO favoreceram pesadamente CoTs fáceis (90-95% de taxa de geração) e suprimiram CoTs difíceis. Isso levou a uma queda significativa no desempenho na tarefa rara (Tarefa 2), demonstrando o fenômeno do "esquecimento".
• Falha do Escalonamento de Inferência: ORM-BoN e o BoN padrão de PRM também favoreceram excessivamente CoTs fáceis, falhando em resolver instâncias difíceis que exigiam caminhos de raciocínio raros.
• Sucesso dos Métodos Propostos:
  • RL-rej e GRPO-KL: Estes métodos equilibraram com sucesso a geração de CoTs fáceis e difíceis, melhorando significativamente o desempenho na tarefa rara enquanto mantinham o desempenho na tarefa comum.
  • DPRM-AS: A amostragem baseada na transformada h de Doob alcançou alta cobertura de CoTs difíceis e preservou as capacidades multitarefa, superando as abordagens padrão de PRM.

Significância e Alegações

O artigo afirma oferecer a primeira reconciliação teórica da tensão entre os benefícios observados da exploração e a natureza de "espremer" do RLVR e do escalonamento de inferência.

• Insight Teórico: O trabalho demonstra que o "viés de simplicidade" é uma propriedade intrínseca de estimadores de recompensa baseados em população e atualizações impulsionadas por vantagem em um cenário multitarefa. Ele explica por que o pós-treinamento padrão frequentemente falha em expandir as capacidades de raciocínio além dos caminhos de alta probabilidade existentes no modelo base.
• Orientação Prática: Os autores fornecem uma base teórica para práticas empíricas existentes, como a rejeição de questões fáceis e o uso de regularização KL, mostrando por que elas funcionam: elas evitam o colapso da distribuição sobre caminhos fáceis, preservando assim as CoTs raras necessárias para o raciocínio difícil.
• Limitações e Escopo: Os autores são modestos em suas alegações, reconhecendo que seu arcabouço TMC é uma abstração. Eles observam que o modelo assume preditores softmax lineares e não captura totalmente as complexidades de Transformers não lineares de grande escala, oráculos de recompensa ruidosos ou "reward hacking". No entanto, argumentam que os insights centrais sobre o viés distribucional e a necessidade de estratégias de exploração são relevantes para entender as limitações do atual ajuste fino baseado em RL e escalonamento de inferência em LLMs.

Em resumo, o artigo argumenta que, para alcançar um raciocínio robusto, as estratégias de pós-treinamento devem combater explicitamente a tendência natural da otimização baseada em recompensa de colapsar sobre padrões simples e de alta frequência, e que técnicas que preservam a diversidade distribucional (como regularização KL e transformadas h) são teoricamente necessárias para resolver tarefas de raciocínio difíceis.