Resumo Técnico: Modelagem de Recompensa de Processo Supervisionada por Resultado via Atribuição de Crédito Aprendível (LCA)

1. Definição do Problema

Modelos de Recompensa de Processo (PRMs) aprimoram as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) ao fornecer feedback detalhado, ao nível de cada etapa. No entanto, o treinamento de PRMs normalmente requer anotações humanas dispendiosas para cada etapa de raciocínio. Para enfrentar isso, os PRMs Supervisionados por Resultado tentam aprender apenas com a correção da resposta final, evitando rótulos de nível de etapa.

O desafio central nesta configuração é a atribuição de crédito: atribuir o resultado final (correto/incorreto) às etapas de raciocínio específicas que o causaram. As abordagens existentes sofrem de deficiências fundamentais:

• Atribuição Uniforme: Assume que todas as etapas contribuem igualmente para o resultado final (ex: via agregação aditiva). Isso falha em distinguir entre etapas precursoras corretas e a etapa específica onde ocorreu um erro.
• Atribuição Causal: Propaga a influência retroativamente a partir da resposta final usando rollouts de Monte Carlo (ex: estimando a probabilidade de alcançar uma resposta correta a partir de uma determinada etapa). Isso confunde a correção lógica de uma etapa com o sucesso esperado das conclusões subsequentes, tornando difícil localizar o erro real inicial.

Ambos os métodos falham em ancorar o crédito na correção real das etapas individuais, dificultando a habilidade do modelo de identificar erros de processo com precisão.

2. Metodologia: Estrutura LCA

Os autores propõem a Modelagem de Recompensa de Processo Supervisionada por Resultado via Atribuição de Crédito Aprendível (LCA), uma estrutura que aprende conjuntamente a atribuição de crédito e a modelagem de recompensa sem supervisão de nível de etapa.

2.1 Formulação Teórica: Atribuição do Elo Mais Fraco

O LCA é fundamentado no princípio da Atribção do Elo Mais Fraco (Weakest Link Assignment): uma cadeia de raciocínio é tão forte quanto seu elo mais fraco. Uma trajetória é correta se, e somente se, todas as etapas forem corretas; ela é incorreta se qualquer etapa estiver errada.

• Este princípio transforma o problema de PRM supervisionado por resultado em um problema de Aprendizado de Múltiplas Instâncias (MIL).
• Bag (Saco): A trajetória completa de raciocínio.
• Instâncias: Os prefixos de raciocínio (etapas) dentro da trajetória.
• Rótulo: A correção ao nível da trajetória (positivo se a trajetória contiver um erro, negativo caso contrário).
• Suposição: A Suposição Padrão de Múltiplas Instâncias se mantém: um saco é positivo se, e somente se, contiver pelo menos uma instância positiva (uma etapa errônea).

2.2 O Desafio da Dependência

Métodos padrão de MIL frequentemente assumem que as instâncias são independentes ou fracamente dependentes. No entanto, trajetórias de raciocínio exibem propriedades autorregressivas, aninhadas e monotonicas. Em uma trajetória, o prefixo final sozinho determina o rótulo do saco, fazendo com que técnicas de pooling padrão (como Max Pooling ou Attention Pooling) degenerem. O modelo tende a ignorar etapas intermediárias, tornando-se efetivamente um Modelo de Recompensa de Resultado (ORM) que apenas prevê o estado final.

2.3 Pooling de Soma Ponderada por Softmax (SWS)

Para resolver a dependência mútua entre a atribuição de crédito e a modelagem de recompensa, o LCA introduz o pooling de Soma Ponderada por Softmax (SWS).

• Mecanismo: Dadas as probabilidades de erro ao nível de instância $p = (p_1, \dots, p_T)$, a previsão ao nível do saco é uma soma ponderada:
  $$\hat{p} = \sum_{t=1}^T w_t p_t, \quad \text{onde } w_t = \frac{e^{p_t/\alpha}}{\sum_{j=1}^T e^{p_j/\alpha}}$$
• Papel da Temperatura ($\alpha$): O parâmetro $\alpha$ controla a entropia da distribuição de pesos.
  • À medida que $\alpha \to 0$, o SWS aproxima-se do Max Pooling (Elo Mais Fraco estrito).
  • À medida que $\alpha \to \infty$, o SWS aproxima-se do Average Pooling (Atribuição Uniforme).
• Vantagens:
  1. Crédito Não-Irrelevante: Ao contrário do Max Pooling, o SWS garante que cada instância receba um peso estritamente positivo, evitando que o modelo ignore etapas intermediárias.
  2. Prior Estrutural: O peso por softmax codifica naturalmente a Suposição Padrão de Múltiplas Instâncias, onde instâncias com maiores probabilidades de erro previstas (instâncias positivas) dominam a previsão do saco.
  3. Consistência Bayesiana: Os autores provam que, sob suposições leves, minimizar a perda esperada com pooling SWS leva a um classificador de instância Bayes-ótimo, mesmo sem rótulos de nível de instância.

2.4 Objetivo de Treinamento

O PRM é treinado de ponta a ponta usando uma perda de entropia cruzada ao nível da trajetória. O modelo produz probabilidades de erro por prefixo, que são agregadas via pooling SWS para corresponder à verdade fundamental do nível da trajetória (correção da resposta final). Uma operação de stop-gradient é aplicada aos pesos de softmax para estabilizar o treinamento.

3. Principais Contribuições

1. Análise Perspicaz: O artigo identifica que os PRMs de resultado existentes (Uniforme e Causal) falham em ancorar o crédito na correção da etapa. Propõe a Atribuição do Elo Mais Fraco como uma alternativa fundamentada que se alinha ao critério de "primeiro erro" usado na avaliação de PRM.
2. Inovação Técnica (LCA):
   • Formaliza o PRM supervisionado por resultado como um problema de MIL sob o princípio do Elo Mais Fraco.
   • Introduz o pooling SWS, uma técnica de MIL adaptada para a forte dependência e redundância dos estados de raciocínio, incorporando um elo mais fraco suavizado como um prior estrutural.
   • Fornece uma prova teórica de consistência Bayesiana para o objetivo de aprendizado ao nível de instância.
3. Desempenho Empírico: Demonstra que o LCA supera consistentemente outros PRMs de estado da arte supervisionados por resultado em múltiplas tarefas (identificação de erro, escalonamento best-of-N) e modelos de base (Llama, Qwen).

4. Resultados Experimentais

Os autores avaliaram o LCA em tarefas de raciocínio matemático usando o conjunto de dados Math-Shepherd para treinamento e ProcessBench para avaliação.

• Identificação de Erro (RQ1): No ProcessBench, o LCA alcançou um novo estado da arte.
  • Com uma base de 7B, o LCA superou o segundo melhor método em 5,5% no F1 score.
  • Com uma base de 3B, superou todos os métodos concorrentes de 3B por uma margem substancial.
  • Notavelmente, o LCA alcançou esses resultados sem o alto custo computacional de amostragem de Monte Carlo exigido por baselines como MathShepherd, SCAN ou OmegaPRM.
• Escalonamento em Tempo de Teste (RQ2): Em experimentos de amostragem Best-of-N no MATH-500, o LCA alcançou consistentemente as pontuações médias mais altas através de diferentes modelos geradores (Mistral, Llama, Qwen) e tamanhos de amostra ($N=8, 32, 64$).
• Estudos de Ablação:
  • Temperatura ($\alpha$): O desempenho varia com $\alpha$. Um $\alpha$ menor (mais próximo do Max Pooling) beneficia datasets simples (GSM8K), enquanto um $\alpha$ maior ajuda em datasets complexos com muitos erros de processo (OlympiadBench), destacando um compromisso entre consistência teórica e eficácia empírica.
  • Técnicas de Pooling: O pooling SWS com $\alpha=0,2$ superou significativamente outras técnicas de pooling MIL (Instance, Embedding, Attention, Conjunctive) e aproximou-se do desempenho de PRMs totalmente supervisionados treinados com rótulos de etapa anotados por humanos.

5. Significância e Alegações

O artigo afirma que o LCA oferece uma alternativa fundamentada para a supervisão de processo detalhada em tarefas de raciocínio complexas. Ao resolver o dilema "ovo ou a galinha" entre a atribuição de crédito e a modelagem de recompensa através da estrutura MIL e do pooling SWS, o LCA produz PRMs que atribuem o crédito com precisão às etapas que determinam o resultado.

Os autores enfatizam que seu método:

• Fecha a lacuna de treinamento-teste: Ao alinhar o objetivo de treinamento (Elo Mais Fraco) com a métrica de avaliação (Detecção do Primeiro Erro).
• Reduz o overhead computacional: Evita os rollouts de Monte Carlo caros exigidos por outros métodos baseados em resultado.
• Permite a generalização: Os PRMs aprendidos mostram forte generalização através de diferentes modelos de base e dificuldades de raciocínio.

O artigo conclui de forma modesta, reconhecendo que, embora o LCA supere outros métodos supervisionados por resultado, ele ainda fica atrás de PRMs treinados com rótulos de etapa anotados por humanos. Eles identificam o aprendizado com rótulos ruidosos (onde respostas corretas são alcançadas via raciocínio falho) e a integração de PRMs em Aprendizado por Reforço (RL) como direções importantes para trabalhos futuros.