Resumo Técnico: LLMs Prontas para Uso como Pontuadores de Processo

Definição do Problema

As estratégias atuais para melhorar o raciocínio matemático em modelos de linguagem de grande escala (LLMs) enfrentam um compromisso entre custo e eficácia. Usar um modelo massivo para cada consulta de inferência é computacionalmente caro. Uma alternativa comum é amostrar múltiplas soluções de um modelo menor e mais barato e selecionar a melhor post-hoc (após a conclusão da geração) usando métodos como Votação por Maioria ou Best-of-N. No entanto, o artigo argumenta que a seleção post-hoc é fundamentalmente limitada: se o modelo pequeno divergir para um caminho de raciocínio incorreto no início da geração, nenhum pontuador poderá corrigir a trajetória uma vez que o erro tenha se propagado.

Inversamente, a busca guiada por Modelos de Recompensa de Processo (PRM) aborda esse problema de tempo ao pontuar candidatos a passos de raciocínio durante a geração. Embora eficaz, os PRMs exigem um modelo de recompensa treinado com rótulos ao nível de passo (ex: Qwen2.5-Math-PRM-72B), o que representa um custo de recursos e uma sobrecarga de treinamento significativos.

O problema central que este artigo aborda é: Podemos alcançar os benefícios da orientação durante a geração (direcionando o modelo antes que os erros se propaguem) sem treinar um modelo de recompensa dedicado?

Metodologia: Geração Guiada por Níveis de Fragmento (Chunk-Level)

Os autores propõem a Geração Guiada por Níveis de Fragmento, um framework livre de treinamento que utiliza um LLM pronto para uso exclusivamente como um pontuador, não como um gerador.

O Framework

1. Geração: Um modelo pequeno ($\pi_s$) gera a solução. Em cada passo, em vez de gerar um único token ou um passo de raciocínio de comprimento variável, o modelo pequeno amostra $k$ continuações candidatas (fragmentos ou chunks) de um comprimento fixo $L$.
2. Pontuação: Um LLM maior e pré-treinado ($\pi_l$) pontua esses $k$ candidatos. Crucialmente, o modelo grande não gera texto; ele apenas computa as verossimilhanças (log-probabilidades) para os fragmentos candidatos fornecidos pelo modelo pequeno.
3. Seleção: O fragmento com a maior pontuação é anexado ao contexto, e o processo se repete até que um token de fim de sequência seja alcançado.

Regras de Pontuação

O artigo introduz duas regras de seleção baseadas nas verossimilhanças do modelo grande:

• Seleção Guiada por Verossimilhança (LGS): Seleciona o fragmento com a maior log-probabilidade normalizada pelo comprimento sob o modelo grande:
  $$S_{LGS}(c_i) = \ell_{\pi_l}(c_i | h)$$
• Seleção Contrastiva (CGS): Seleciona o fragmento onde a preferência do modelo grande mais diverge da do modelo pequeno. Subtrai-se a log-probabilidade do modelo pequeno da do modelo grande:
  $$S_{CGS}(c_i) = \ell_{\pi_l}(c_i | h) - \ell_{\pi_s}(c_i | h)$$
  Esta regra favorece continuações que o modelo grande considera plausíveis, mas o modelo pequeno não, aproveitando efetivamente o "conhecimento extra" do modelo grande.

Decisão de Design Fundamental: Fragmentos de Comprimento Fixo

Uma contribuição crítica da metodologia é o uso de fragmentos de comprimento fixo em vez de passos de raciocínio delimitados naturalmente. Os autores demonstram que as log-probabilidades dos modelos grandes exibem um viés de comprimento sistemático: mesmo após a normalização pelo comprimento, o modelo grande tende a atribuir probabilidades maiores a passos de raciocínio mais longos. Ao fixar o comprimento $L$ para todos os candidatos em um ponto de decisão, as pontuações tornam-se diretamente comparáveis, removendo esse fator de confusão.

Principais Contribuições

1. Pontuação de Processo Livre de Treinamento: O artigo demonstra que um LLM pronto para uso, utilizado exclusivamente como um pontuador de verossimilhança, é um substituto eficaz para um PRM treinado na orientação da geração.
2. Resolução do Viés de Comprimento: Os autores identificam e resolvem um viés de comprimento sistemático nas verossimilhanças de modelos grandes, mostrando que fragmentos de comprimento fixo são necessários para uma pontuação confiável, enquanto a pontuação de passos de comprimento variável é pouco confiável.
3. Seleção Contrastiva: A introdução do CGS, que aproveita a diferença de preferências entre o modelo grande e o pequeno, proporciona ganhos consistentes sobre a maximização simples de verossimilhança.
4. Eficiência: O método produz traços de raciocínio substancialmente mais curtos do que a busca guiada por PRM, alcançando uma precisão comparável ou superior.

Resultados Experimentais

O framework foi avaliado em cinco benchmarks de raciocínio matemático: GSM8K, MATH, Minerva Math, AMC23 e AIME24. Os experimentos utilizaram três pares de modelos:

• Qwen2.5-1.5B guiado por Qwen2.5-32B
• Llama-3.2-1B guiado por Llama-3.1-70B
• Qwen2.5-7B guiado por Qwen2.5-72B

Desempenho vs. Baselines

• vs. Seleção Post-Hoc: A Geração Guiada por Níveis de Fragmento (especificamente o CGS) supera substancialmente os métodos post-hoc como Votação por Maioria, Auto-Certeza e Best-of-N. Por exemplo, no GSM8K com o par Llama ($k=32$), o CGS alcançou 83,9% de precisão comparado a 56,0% da Votação por Maioria (um ganho de 27,9 pontos percentuais).
• vs. Busca Guiada por PRM: Sob orçamentos de orientação equivalentes (comparando o número de intervenções), o CGS iguala ou supera a busca guiada por PRM usando o Qwen2.5-Math-PRM-72B na maioria dos benchmarks, sem qualquer treinamento de modelo de recompensa.
  • No Minerva Math (par Qwen, $k=32$), o CGS alcançou 39,0% vs. 32,4% para o PRM.
  • No GSM8K (par Llama, $k=32$), o CGS alcançou 83,9% vs. 77,3% para o PRM.
• Escalabilidade: Quando o gerador foi escalado para Qwen2.5-7B (guiado pelo 72B), o CGS atingiu 81,8% no MATH e 63,6% no Minerva Math, superando a Votação por Maioria em 4 a 6 pontos percentuais e aproximando-se a apenas 1,5 ponto percentual da média da busca guiada por PRM-72B.

Comprimento do Traço de Raciocínio

Ao contrário da suposição de que um melhor desempenho requer raciocínios mais longos, o artigo descobre que o CGS produz traços de raciocínio substancialmente mais curtos do que a busca guiada por PRM. No GSM8K, as respostas do PRM continham até 80% mais tokens do que as respostas do CGS. Isso sugere que a orientação pela verossimilhança do modelo grande direciona o modelo pequeno para caminhos de raciocínio mais concisos e diretos.

Significância e Alegações

O artigo afirma que a Geração Guiada por Níveis de Fragmento oferece uma alternativa prática e livre de treinamento à busca guiada por PRM. Sua significância reside em:

1. Acessibilidade: Remove a barreira de treinar um modelo de recompensa ao nível de passo, permitindo que praticantes utilizem modelos grandes existentes para melhorar modelos menores.
2. Tempo (Timing): Intervém com sucesso durante a geração para evitar a propagação de erros, uma capacidade anteriormente considerada dependente de treinamento especializado.
3. Eficiência: Alcança alta precisão com traços de raciocínio mais curtos, reduzindo os custos de inferência em comparação com métodos de PRM.

Os autores mantêm a modéstia quanto à generalização, observando que os experimentos estão atualmente limitados ao raciocínio matemático e a pares de modelos da mesma família (ex: Qwen-para-Qwen, Llama-para-Llama). Eles não alegam que o método se generaliza para codificação ou raciocínio de senso comum sem investigação adicional.