Resumo Técnico: Da Correção para a Utilidade: Avaliação de Prefixo Baseada em Ganho para o Raciocínio de LLMs

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) resolvem problemas por meio de raciocínio sequencial, onde prefixos intermediários moldam significativamente as trajetórias futuras. Os modelos de recompensa de processo (PRMs) existentes normalmente avaliam esses prefixos com base na correção do passo local — julgando se um passo intermediário é válido ou se é provável que siga um caminho correto. No entanto, os autores argumentam que a correção local é um proxy indireto e, muitas vezes, insuficiente para o objetivo final: determinar se um prefixo aumenta a probabilidade de uma conclusão bem-sucedida.

Um passo localmente correto pode deixar a trajetória restante frágil, enquanto um prefixo incompleto ou não padronizado pode revelar uma ideia fundamental que melhora a solvabilidade downstream. Além disso, os métodos atuais baseados em rollout frequentemente estimam valores absolutos de estado vinculados a políticas específicas, falhando em medir explicitamente a melhoria marginal causada pelo próprio prefixo em relação ao problema e à população de solucionadores (solvers). O desafio central é formular uma métrica de avaliação de prefixo que capture a utilidade — a extensão em que um prefixo melhora a chance de sucesso — em vez de apenas a correção.

2. Metodologia

2.1 Conceito Central: Ganho de Prefixo

O artigo define o ganho de prefixo como a melhoria marginal na probabilidade de solução downstream induzida por um prefixo $p$ para um problema $x$. Formalmente, para um modelo estudante $s$ com política $\pi_s$, o ganho é:
$$g_s(x, p) = q_s(x, p) - q_s(x, \emptyset)$$
onde $q_s(x, p)$ é a probabilidade de resolver o problema após observar o prefixo $p$, e $q_s(x, \emptyset)$ é a probabilidade de resolvê-lo do zero. Um ganho positivo indica que o prefixo auxilia o sucesso; um ganho negativo indica que ele dificulta o sucesso.

2.2 Estimativa via Modelos Estudantes Leves

Para estimar o ganho de forma escalável, os autores empregam um grupo de modelos estudantes leves ($S = \{s_1, \dots, s_M\}$) com diferentes níveis de capacidade.

1. Amostragem: Prefixos diversos são amostrados de trajetórias de raciocínio.
2. Rollout: Cada estudante resolve o problema com e sem o prefixo para gerar taxas de solução empíricas.
3. Perfil de Ganho: Isso gera uma distribuição de ganhos através da população de estudantes.
4. Escalarização: Os autores decompõem o perfil de ganho em:
   • Utilidade Intrínseca: Um componente transferível compartilhado entre solucionadores (refletindo utilidade geral).
   • Utilidade Dependente da Política: Variações específicas do solucionador baseadas em capacidade e estilo.
     Para o modelo principal, eles adotam uma escalarização simples: normalizar os ganhos para cada estudante e calculá-los pela média para estimar a utilidade intrínseca $G_{intr}(x, p)$.

2.3 Modelo de Utilidade de Prefixo (PUM)

Os autores treinam um Modelo de Utilidade de Prefixo (PUM), um avaliador escalar baseado em LLM, usando o seguinte pipeline:

• Construção de Dados (PUM-Math): Construído a partir de 20 mil trajetórias de raciocínio matemático. Em vez de anotações manuais de passos, eles geram 280 mil preferências de utilidade pareadas fundamentadas no resultado (outcome-grounded).
  • Pares Verticais: Comparam prefixos em diferentes pontos de truncamento da mesma trajetória.
  • Pares Horizontais: Comparam prefixos de comprimentos semelhantes de diferentes trajetórias do mesmo problema.
  • Rotulagem: Os pares são rotulados com base na diferença nas estimativas de utilidade intrínseca. Uma margem adaptativa filtra preferências ruidosas ou conflitantes.
• Objetivo de Treinamento: O PUM é treinado usando uma perda de ranking pareado de Bradley-Terry. Ele recebe um problema $x$ e um prefixo $p$ como entrada e produz um score de utilidade escalar $U_\theta(x, p)$. O modelo é otimizado para preferir prefixos com maior ganho estimado.

3. Principais Contribuições

1. Formulação da Avaliação de Prefixo como Estimativa de Ganho: O artigo altera o paradigma da correção local para a estimativa de ganho contrafactual, medindo o quanto um prefixo melhora a probabilidade de solução downstream em relação a uma linha de base.
2. Dataset PUM-Math: A construção de um dataset de supervisão de prefixo em larga escala baseado em ganho, derivado de 20 mil trajetórias e 280 mil preferências pareadas, sem a necessidade de anotações manuais de nível de passo.
3. Modelo de Utilidade de Prefixo (PUM): Um avaliador treinado que fornece sinais de utilidade de prefixo fundamentados no resultado.
4. Validação Empírica: Demonstração de que a supervisão baseada em ganho melhora o desempenho em três paradigmas de raciocínio distintos:
   • Seleção Best-of-N: Selecionando a melhor trajetória de um conjunto de candidatos.
   • Busca em Feixe (Beam Search): Guiando a busca através do descarte de prefixos parciais pouco promissores.
   • Aprendizado por Reforço (RL): Fornecendo sinais de atribuição de crédito densos para otimização de política.

4. Resultados Experimentais

4.1 Seleção Best-of-N

Nos benchmarks MATH500, GAOKAO2023 e AIME2025, o PUM alcançou a precisão de seleção melhor ou próxima da melhor, particularmente quando os conjuntos de candidatos eram grandes ($N \ge 32$). Diferente dos baselines de PRM que frequentemente superestimam o score de raciocínios localmente plausíveis, mas incorretos, a utilidade do PUM, fundamentada no resultado, forneceu uma verificação mais forte ao nível da trajetória. Ele também demonstrou robustez superior no ranking, atribuindo consistentemente ranks altos para respostas corretas e baixos para incorretas.

4.2 Busca em Feixe (Beam Search)

Em experimentos de beam search no MATH500 e GAOKAO2023, o PUM superou consistentemente os baselines PRM, PQM e CRM. A lacuna de desempenho aumentou conforme os orçamentos de busca cresceram (ex: $N=100$), onde o PUM atingiu 78,00% de precisão (Qwen) e 73,60% (Llama). Isso sugere que o PUM é mais eficaz em preservar prefixos de raciocínio parciais que permanecem úteis após expansão adicional, enquanto outros métodos frequentemente degradam devido ao desalinhamento com a correção final.

4.3 Aprendizado por Reforço (RL)

• Configuração Ancorada no Resultado (Outcome-Anchored): Quando combinado com GRPO baseado em regras, o PUM melhorou a precisão média ponderada de 55,21% (GRPO vanilla) para 58,09%.
• Configuração Apenas de Processo (Process-Only): Em configurações sem recompensas de resposta final, o treinamento de PRM e PQM inicialmente melhorou, mas depois colapsou devido ao "reward hacking" (gerar respostas mais longas, localmente corretas, mas ultimamente incorretas). O PUM permaneceu estável, atingindo 57,21% de precisão média.
• Aprendizado de Dados Difíceis (Hard Data Learning): Em problemas onde o modelo base falhou em produzir soluções corretas em 16 rollouts (recompensas baseadas em regras esparsas), o treinamento apenas com PUM apresentou uma melhoria significativamente mais rápida do que o GRPO vanilla, demonstrando alta eficiência de dados.

4.4 Análises Adicionais

• Generalização de Fraco para Forte (Weak-to-Strong): O PUM generalizou efetivamente para modelos de política mais fortes (Qwen2.5-32B) que não foram usados em seu treinamento, indicando que ele captura a utilidade intrínseca em vez de apenas ajustar padrões de geração.
• Escalabilidade: O desempenho melhorou com modelos de base maiores e aumento de dados de treinamento, sugerindo que o sinal de supervisão não está saturado.
• Eficiência de Custo: O PUM-Math exigiu aproximadamente 18,5x menos computação de rotulagem do que o dataset Math-Shepherd (que depende de um modelo de 7B para supervisão de nível de passo), evitando totalmente a anotação manual.

5. Significância e Alegações

O artigo alega que o ganho fundamentado no resultado fornece um alvo de supervisão mais eficaz e eficiente para a avaliação de prefixos do que a correção local. Ao mudar o foco de "este passo é válido?" para "este passo melhora a chance de resolver o problema?", o PUM oferece um sinal robusto para:

• Verificação: Distinguir trajetórias corretas de trajetórias plausíveis, mas incorretas, em grandes conjuntos de candidatos.
• Busca: Guiar a exploração em beam search ao identificar estados parciais promissores.
• Atribuição de Crédito: Fornecer recompensas densas e confiáveis para RL, especialmente em cenários com respostas finais esparsas.

Os autores enfatizam que esta abordagem separa a utilidade do prefixo da dificuldade do problema e da habilidade prévia do solucionador, permitindo a construção mais escalável e eficiente de dados para supervisão de processo.

6. Limitações

Os autores reconhecem diversas limitações:

• Escopo de Domínio: Os experimentos estão atualmente limitados ao raciocínio matemático, onde a verificação da resposta final é confiável. Estender para domínios com resultados ambíguos ou atrasados exigiria verificadores aprendidos.
• Computação: Embora mais barato que a anotação manual, a estimativa de ganho ainda exige computação substancial dos rollouts dos estudantes.
• Escalarização: O método atual usa uma média escalar simples dos ganhos dos estudantes. Ele não explora totalmente a estrutura distributiva da utilidade do prefixo (ex: variações dependentes da política), o que é deixado para trabalhos futuros.