Resumo Técnico: Designs de Recompensa Baseados em Verossimilhança para Raciocínio Geral de LLMs

Declaração do Problema

O ajuste fino de Grandes Modelos de Linguagem (LLMs) para tarefas de raciocínio via Aprendizado por Reforço (RL) normalmente depende de funções de recompensa binárias (0/1 de correção) derivadas de verdades fundamentais verificáveis (ex: respostas matemáticas). Este paradigma enfrenta duas limitações primárias:

1. Dependência de Design de Recompensa: Requer verificadores específicos para cada benchmark, os quais não estão disponíveis para domínios não verificáveis, como provas de longa extensão ou geração aberta.
2. Esparsidade de Recompensa: Recompensas binárias fornecem sinais esparsos, o que pode dificultar o aprendizado eficiente, especialmente em cadeias de raciocínio complexas.

Embora trabalhos recentes tenham proposto recompensas intrínsecas ou mecanismos de auto-recompensa, estes frequentemente falham em superar o treinamento baseado em correção ou sofrem com reward hacking e colapso de diversidade. Além disso, métodos existentes que utilizam a probabilidade de respostas de referência (ex: VeriFree, JEPO, RLPR) mostraram resultados mistos, particularmente falhando em configurações não verificáveis devido às probabilidades evanescentes de sequências longas de correspondência exata.

Metodologia

Os autores investigam recompensas baseadas em verossimilhança derivadas diretamente da probabilidade ou log-probabilidade de emitir uma resposta de referência (ou qualquer continuação de prompt presente nos dados) dado um Chain-of-Thought (CoT) gerado. Esta abordagem evita verificadores externos e aproveita sinais disponíveis em escala.

O estudo compara sistematicamente várias variantes de recompensa contra baselines padrão (SFT - Ajuste Fino Supervisionado sem CoT, e RL padrão com recompensas binárias):

• Base RL: RL padrão usando uma recompensa binária ($1$ se a resposta coincide com a verdade fundamental, $0$ caso contrário).
• Probabilidade (VeriFree): A recompensa é igual à probabilidade bruta $\pi_\theta(a^*|p, z)$.
• Log-prob: A recompensa é igual à log-probabilidade $\log \pi_\theta(a^*|p, z)$.
• Média de Log-prob: Log-probabilidade normalizada pelo comprimento da resposta ($\frac{1}{|a^*|} \log \pi_\theta(a^*|p, z)$).
• JEPO: Uma variante de perda ELBO baseada em Jensen usando recompensas de nível de grupo.
• SFT: Ajuste fino supervisionado padrão prevendo a resposta diretamente sem CoT.

Os experimentos utilizam o algoritmo RLOO (Reinforce Leave-One-Out) para estimativa de vantagem. A avaliação abrange:

• Domínios Verificáveis: Benchmarks MATH e DeepScaleR (problemas de resposta curta).
• Domínios Não-verificáveis: Alpaca e NuminaProof (respostas de longa extensão e provas de teoremas).
• Modelos: Llama-3.2-3B-Instruct e Qwen-2.5-3B-Instruct.

Contribuições Principais e Descobertas

1. Universalidade das Recompensas de Log-Probabilidade

A descoberta central é que as recompensas de log-probabilidade são a única variante que performa de forma robusta em todos os cenários.

• Em Domínios Verificáveis: Recompensas de log-prob alcançam taxas de sucesso comparáveis ou superiores aos baselines de RL binário padrão. Crucialmente, elas produzem uma perplexidade significativamente melhor que o RL binário, alinhando o objetivo de treinamento com o critério de pré-treinamento (predição do próximo token).
• Em Domínios Não-verificáveis: Enquanto recompensas baseadas em probabilidade (como VeriFree) e o RL padrão colapsam devido às probabilidades evanescentes de gerar correspondências exatas longas, as recompensas de log-prob permanecem viáveis. Elas performam em nível de Supervised Fine-Tuning (SFT), enquanto outros métodos baseados em probabilidade falham em melhorar o modelo base.

2. O Fenômeno do "Colapso do CoT"

Uma observação significativa é o comportamento do comprimento do CoT durante o treinamento:

• Configurações Verificáveis: Recompensas de log-prob inicialmente causam um encurtamento do CoT, mas o comprimento se recupera conforme o treinamento progride.
• Configurações Não-verificáveis: Recompensas de log-prob levam a um "colapso" permanente do CoT, reduzindo o traço de raciocínio a um comprimento mínimo (aprox. 10 tokens). Neste regime, o método de log-prob comporta-se efetivamente como SFT.
• Mecanismo: Os autores hipotetizam que, no início do treinamento, CoTs mais curtos correlacionam-se com log-probabilidades mais altas da resposta correta (provavelmente porque o modelo base ainda não está adaptado a longos traços de raciocínio). Esta correlação negativa impulsiona o agente de RL a encurtar o CoT. Tentativas de mitigar isso via regularização KL ou penalidades de comprimento evitaram o colapso, mas resultaram em degradação de performance, sugerindo que, para domínios não-verificáveis, o RL com recompensas de log-prob atualmente iguala a performance de SFT apenas ao eliminar o CoT.

3. Comparação com Outros Métodos

• Probabilidade vs. Log-Probabilidade: Recompensas de probabilidade bruta (VeriFree) falham em cenários não-verificáveis porque a probabilidade de uma correspondência exata para respostas longas é próxima de zero, não fornecendo sinal de aprendizado. A log-probabilidade, sendo uma soma sobre tokens, fornece um sinal mais denso que não desaparece tão severamente.
• Perplexidade vs. Taxa de Sucesso: O RL binário otimiza a taxa de sucesso, mas degrada a perplexidade (o modelo torna-se "confiantemente errado" em caminhos incorretos). Recompensas de log-prob otimizam ambos, mantendo uma distribuição menos confiante em respostas incorretas, preservando assim uma melhor qualidade geral de modelagem de linguagem.

Significância

O artigo estabelece as recompensas de log-probabilidade como um sinal de treinamento unificado capaz de unir tarefas de raciocínio verificáveis e não-verificáveis sem depender de rótulos de correção externos.

• Demonstra que um único critério (maximizar a log-verossimilhança da resposta de referência dado um CoT) pode ser aplicado em todo o espectro de tipos de resposta, desde problemas matemáticos curtos até provas de longa extensão.
• Destaca um compromisso (trade-off): embora as recompensas de log-prob melhorem a perplexidade e a generalização, elas atualmente não superam o SFT em domínios não-verificáveis, a menos que o CoT seja preservado (o que requer investigação adicional sobre a dinâmica de treinamento ou escala de computação).
• O trabalho sugere que, para domínios não-verificáveis, o "problema de atribuição de crédito" no RL pode ser severo demais para CoTs longos sob os orçamentos de treinamento atuais, e que os benefícios do CoT nestes cenários podem exigir um treinamento significativamente mais longo ou estratégias de inicialização diferentes (ex: warm-starting).

Os autores concluem que as recompensas de log-verossimilhança oferecem uma receita simples e geral para o pós-treinamento de LLMs de raciocínio, válida para diversos tipos de resposta, embora o mecanismo para sustentar CoTs longos em cenários não-verificáveis permaneça um desafio aberto.