Resumo Técnico: Recompensas de Processo com Confiabilidade Aprendida (BETAPRM)

1. Declaração do Problema

Modelos de Recompensa de Processo (PRMs) fornecem feedback em nível de etapa para tarefas de raciocínio, orientando a seleção de candidatos e a otimização de políticas. No entanto, os PRMs existentes geralmente produzem uma única estimativa pontual (por exemplo, uma probabilidade escalar) para cada etapa de raciocínio. Essa interface apresenta duas limitações críticas:

1. Falta de Quantificação de Incerteza: Uma única pontuação escalar não consegue distinguir entre uma previsão confiante e uma incerta. Métodos subsequentes são forçados a tratar previsões imperfeitas em nível de etapa como sinais de decisão confiáveis, mesmo quando a confiança do modelo é baixa.
2. Supervisão Ruidosa de Amostra Finita: O treinamento padrão de PRMs frequentemente depende de continuações de Monte Carlo para gerar supervisão. Se $N$ continuação são amostradas a partir de um prefixo e $K$ têm sucesso, a razão empírica $\hat{q} = K/N$ é tratada como um alvo pontual para regressão. No entanto, $\hat{q}$ é meramente uma estimativa ruidosa da verdadeira probabilidade de sucesso do prefixo. A amostragem repetida do mesmo prefixo poderia produzir diferentes valores de $K$ devido à aleatoriedade, mas o treinamento padrão força o modelo a ajustar-se a essa razão ruidosa específica, em vez da distribuição subjacente de resultados possíveis.

Consequentemente, aplicações subsequentes não conseguem distinguir entre etapas de alta recompensa que são corretas de forma confiável e aquelas que são de alta recompensa, mas incertas, levando a um escalonamento subótimo no tempo de teste e a uma alocação de computação inadequada.

2. Metodologia: BETAPRM

Os autores propõem o BETAPRM, um Modelo de Recompensa de Processo distribucional que prevê tanto a probabilidade de sucesso em nível de etapa quanto a confiabilidade dessa previsão.

2.1 Modelo de Contagem Beta-Binomial

Em vez de regressar para um alvo pontual $\hat{q} = K/N$, o BETAPRM modela a probabilidade de sucesso do prefixo $q_t$ como uma variável latente seguindo uma distribuição Beta:
$$q_t \sim \text{Beta}(\alpha_t, \beta_t)$$
O número observado de continuação bem-sucedidas $K_t$ em $N$ tentativas é modelado como uma extração Binomial condicionada a $q_t$:
$$K_t | q_t \sim \text{Binomial}(N, q_t)$$
Ao marginalizar a variável latente $q_t$, o modelo aprende uma distribuição Beta-Binomial sobre as contagens observadas. Isso permite que o modelo atribua verossimilhança à contagem observada $K_t$, em vez de forçar um ajuste à razão $K_t/N$.

2.2 Parametrização

A distribuição Beta é reparametrizada por sua média $\mu_t$ e concentração $\kappa_t$:

• Média ($\mu_t$): Representa a probabilidade de sucesso esperada, servindo como a pontuação escalar padrão do PRM.
• Concentração ($\kappa_t$): Controla a nitidez da crença. Um $\kappa_t$ alto indica uma crença concentrada (confiável), enquanto um $\kappa_t$ baixo indica uma crença achatada (incerta) que pode explicar uma faixa mais ampla de observações de Monte Carlo.

A arquitetura do modelo utiliza um backbone padrão de modelo de linguagem. A média $\mu_t$ é derivada da probabilidade softmax de um token de recompensa "Sim". A concentração $\kappa_t$ é prevista por uma cabeça linear leve separada aplicada ao estado oculto no marcador de processo, garantindo que os canais de recompensa e confiabilidade sejam distintos.

2.3 Objetivo de Treinamento

A perda de treinamento consiste em dois componentes:

1. Verossimilhança Beta-Binomial ($L_{\text{Beta-Binomial}}$): Maximiza a verossimilhança da contagem observada $K_t$ dados os parâmetros Beta previstos. Isso incentiva o modelo a explicar a distribuição de dados de Monte Carlo observada.
2. Regularização Auxiliar ($L_{\text{reg}}$): Para evitar que o parâmetro de concentração se torne não calibrado, uma perda auxiliar penaliza alta concentração ($\kappa_t$) quando a média prevista $\mu_t$ discorda da razão observada $K_t/N$. Crucialmente, uma operação de stop-gradient é aplicada a $\mu_t$ neste termo para garantir que o regularizador calibre $\kappa_t$ sem puxar a média da recompensa em direção à razão ruidosa.

$$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$$

3. Aplicação: Alocação Adaptativa de Computação (ACA)

Aproveitando o sinal de confiabilidade aprendido, os autores introduzem a Alocação Adaptativa de Computação (ACA) para raciocínio Best-of-N guiado por PRM. Diferentemente do Best-of-N de orçamento fixo, que amostra um número constante de candidatos independentemente da dificuldade, a ACA aloca computação dinamicamente:

• Pontuação Ajustada ao Risco: Os candidatos são pontuados usando uma métrica ajustada ao risco $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$, onde $\sigma_t$ é o desvio padrão derivado da distribuição Beta. Isso penaliza candidatos com alta incerteza.
• Parada Antecipada: A ACA amostra candidatos em lotes progressivos. Ela para antecipadamente se o limite inferior de confiança (LCB) do melhor candidato atual exceder o limite superior de confiança (UCB) de todos os competidores, indicando que o vencedor está confiavelmente à frente.
• Reparo Guiado por Incerteza: Se o critério de parada não for atendido, a ACA aloca o próximo lote de computação para reparar o prefixo incerto mais promissor (o não-vencedor com o maior UCB), em vez de gerar candidatos inteiramente novos do zero.

4. Resultados Experimentais

Os autores avaliaram o BETAPRM em quatro modelos backbone (InternVL2.5-8B, InternVL3-8B, InternVL3-14B, Qwen2.5-VL-7B) e quatro benchmarks de raciocínio (MathVision, OlympiadBench, MathVerse, MathVista).

• Seleção Best-of-N: O BETAPRM melhorou a precisão da resposta final sobre PRMs padrão em todos os backbones. Por exemplo, no InternVL2.5-8B, o BETAPRM alcançou um ganho médio de +3,37 pontos sobre o PRM padrão.
• Detecção de Erros: O BETAPRM preservou as capacidades padrão de detecção de erros em nível de etapa, alcançando pontuações micro-F1 comparáveis ou ligeiramente melhores no VisualProcessBench em comparação com PRMs padrão.
• Compromisso Precisão-Token: No cenário ACA (orçamento máximo fixo $N=16$), o BETAPRM melhorou significativamente a eficiência da inferência.
  • Reduziu o uso de tokens em até 33,57% (no MathVerse com InternVL2.5-8B) enquanto simultaneamente melhorava a precisão da resposta final em comparação com o Best-of-16 de orçamento fixo.
  • Estudos de ablação confirmaram que o sinal de incerteza aprendido pelo BETAPRM foi superior ao uso de um PRM padrão com incerteza proxy ou alocação apenas de recompensa, pois este último falhou em identificar prefixos onde computação adicional era necessária apesar de altas pontuações.

5. Significado e Alegações

O artigo alega que o BETAPRM aborda uma incompatibilidade fundamental nas interfaces atuais de PRM: a incapacidade de distinguir entre previsões confiáveis e incertas. Ao modelar a probabilidade de sucesso do prefixo como uma distribuição em vez de uma estimativa pontual, o BETAPRM:

1. Permite Tomada de Decisão Confiável: Algoritmos subsequentes agora podem distinguir recompensas confiantes de incertas, impedindo que pontuações não confiáveis determinem decisões.
2. Melhora a Eficiência no Tempo de Teste: O sinal de confiabilidade aprendido permite alocação adaptativa de computação, reduzindo custos de inferência (tokens) sem sacrificar, e muitas vezes melhorando, a precisão.
3. Melhor Utilização da Supervisão: O objetivo Beta-Binomial utiliza efetivamente a natureza de amostra finita da supervisão de Monte Carlo, tratando a contagem $K$ como uma observação estocástica em vez de um rótulo determinístico.

Os autores concluem que transformar recompensas de processo escalares em sinais conscientes de confiabilidade é um passo crucial para escalar a computação no tempo de teste e melhorar a robustez dos sistemas de raciocínio.