Resumen Técnico: Recompensas de Proceso con Fiabilidad Aprendida (BETAPRM)

1. Enunciado del Problema

Los Modelos de Recompensa de Proceso (PRM) proporcionan retroalimentación a nivel de paso para tareas de razonamiento, guiando la selección de candidatos y la optimización de políticas. Sin embargo, los PRM existentes suelen emitir una única estimación puntual (por ejemplo, una probabilidad escalar) para cada paso de razonamiento. Esta interfaz presenta dos limitaciones críticas:

1. Falta de Cuantificación de la Incertidumbre: Una puntuación escalar única no puede distinguir entre una predicción confiable y una incierta. Los métodos aguas abajo se ven obligados a tratar predicciones imperfectas a nivel de paso como señales de decisión fiables, incluso cuando la confianza del modelo es baja.
2. Supervisión Ruidosa de Muestra Finita: El entrenamiento estándar de PRM a menudo depende de continuaciones de Monte Carlo para generar supervisión. Si se muestrean $N$ continuaciones a partir de un prefijo y $K$ tienen éxito, la proporción empírica $\hat{q} = K/N$ se trata como un objetivo puntual para la regresión. Sin embargo, $\hat{q}$ es meramente una estimación ruidosa de la verdadera probabilidad de éxito del prefijo. El muestreo repetido del mismo prefijo podría producir diferentes valores de $K$ debido a la aleatoriedad, pero el entrenamiento estándar obliga al modelo a ajustar esta proporción ruidosa específica en lugar de la distribución subyacente de resultados posibles.

En consecuencia, las aplicaciones aguas abajo no pueden distinguir entre pasos de alta recompensa que son fiablemente correctos y aquellos que tienen alta recompensa pero son inciertos, lo que conduce a una escalabilidad subóptima en tiempo de prueba y a una asignación de computación ineficiente.

2. Metodología: BETAPRM

Los autores proponen BETAPRM, un Modelo de Recompensa de Proceso distribucional que predice tanto la probabilidad de éxito a nivel de paso como la fiabilidad de dicha predicción.

2.1 Modelo de Conteo Beta-Binomial

En lugar de regredir hacia un objetivo puntual $\hat{q} = K/N$, BETAPRM modela la probabilidad de éxito del prefijo $q_t$ como una variable latente que sigue una distribución Beta:
$$q_t \sim \text{Beta}(\alpha_t, \beta_t)$$
El número observado de continuaciones exitosas $K_t$ de un total de $N$ ensayos se modela como una extracción Binomial condicionada a $q_t$:
$$K_t | q_t \sim \text{Binomial}(N, q_t)$$
Al marginalizar la variable latente $q_t$, el modelo aprende una distribución Beta-Binomial sobre las cuentas observadas. Esto permite al modelo asignar verosimilitud a la cuenta observada $K_t$ en lugar de forzar un ajuste a la proporción $K_t/N$.

2.2 Parametrización

La distribución Beta se reparametriza mediante su media $\mu_t$ y su concentración $\kappa_t$:

• Media ($\mu_t$): Representa la probabilidad de éxito esperada, sirviendo como la puntuación escalar estándar del PRM.
• Concentración ($\kappa_t$): Controla la nitidez de la creencia. Un $\kappa_t$ alto indica una creencia concentrada (fiable), mientras que un $\kappa_t$ bajo indica una creencia aplanada (incierto) que puede explicar un rango más amplio de observaciones de Monte Carlo.

La arquitectura del modelo utiliza un backbone de modelo de lenguaje estándar. La media $\mu_t$ se deriva de la probabilidad softmax de un token de recompensa "Sí". La concentración $\kappa_t$ se predice mediante una cabeza lineal ligera separada aplicada al estado oculto en el marcador de proceso, asegurando que los canales de recompensa y fiabilidad sean distintos.

2.3 Objetivo de Entrenamiento

La función de pérdida de entrenamiento consta de dos componentes:

1. Verosimilitud Beta-Binomial ($L_{\text{Beta-Binomial}}$): Maximiza la verosimilitud de la cuenta observada $K_t$ dados los parámetros Beta predichos. Esto incentiva al modelo a explicar la distribución de datos de Monte Carlo observada.
2. Regularización Auxiliar ($L_{\text{reg}}$): Para evitar que el parámetro de concentración se vuelva no calibrado, una pérdida auxiliar penaliza la alta concentración ($\kappa_t$) cuando la media predicha $\mu_t$ no coincide con la proporción observada $K_t/N$. Crucialmente, se aplica una operación de stop-gradient a $\mu_t$ en este término para asegurar que el regularizador calibre $\kappa_t$ sin arrastrar la media de recompensa hacia la proporción ruidosa.

$$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$$

3. Aplicación: Asignación Adaptativa de Computación (ACA)

Aprovechando la señal de fiabilidad aprendida, los autores introducen la Asignación Adaptativa de Computación (ACA) para el razonamiento Best-of-N guiado por PRM. A diferencia del Best-of-N de presupuesto fijo, que muestrea un número constante de candidatos independientemente de la dificultad, ACA asigna computación dinámicamente:

• Puntuación Ajustada al Riesgo: Los candidatos se puntúan utilizando una métrica ajustada al riesgo $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$, donde $\sigma_t$ es la desviación estándar derivada de la distribución Beta. Esto penaliza a los candidatos con alta incertidumbre.
• Parada Temprana: ACA muestrea candidatos en lotes progresivos. Se detiene temprano si el límite inferior de confianza (LCB) del mejor candidato actual supera el límite superior de confianza (UCB) de todos los competidores, indicando que el ganador está fiablemente por delante.
• Reparación Guiada por Incertidumbre: Si no se cumple el criterio de parada, ACA asigna el siguiente lote de computación para reparar el prefijo incierto más prometedor (el no ganador con el UCB más alto), en lugar de generar candidatos completamente nuevos desde cero.

4. Resultados Experimentales

Los autores evaluaron BETAPRM en cuatro modelos base (InternVL2.5-8B, InternVL3-8B, InternVL3-14B, Qwen2.5-VL-7B) y cuatro benchmarks de razonamiento (MathVision, OlympiadBench, MathVerse, MathVista).

• Selección Best-of-N: BETAPRM mejoró la precisión de la respuesta final sobre los PRM estándar en todos los backbones. Por ejemplo, en InternVL2.5-8B, BETAPRM logró una ganancia promedio de +3.37 puntos sobre el PRM estándar.
• Detección de Errores: BETAPRM preservó las capacidades estándar de detección de errores a nivel de paso, logrando puntuaciones micro-F1 comparables o ligeramente mejores en VisualProcessBench en comparación con los PRM estándar.
• Compensación Precisión-Tokens: En la configuración ACA (presupuesto máximo fijo $N=16$), BETAPRM mejoró significativamente la eficiencia de la inferencia.
  • Redujo el uso de tokens hasta un 33.57% (en MathVerse con InternVL2.5-8B) mientras simultáneamente mejoraba la precisión de la respuesta final en comparación con el Best-of-16 de presupuesto fijo.
  • Los estudios de ablación confirmaron que la señal de incertidumbre aprendida de BETAPRM fue superior al uso de un PRM estándar con incertidumbre proxy o asignación solo por recompensa, ya que esta última no logró identificar prefijos donde era necesaria computación adicional a pesar de tener puntuaciones altas.

5. Significado y Afirmaciones

El artículo afirma que BETAPRM aborda una discrepancia fundamental en las interfaces actuales de PRM: la incapacidad de distinguir entre predicciones fiables e inciertas. Al modelar la probabilidad de éxito del prefijo como una distribución en lugar de una estimación puntual, BETAPRM:

1. Permite la Toma de Decisiones Confiable: Los algoritmos aguas abajo ahora pueden distinguir recompensas confiables de las inciertas, evitando que puntuaciones poco fiables dicten decisiones.
2. Mejora la Eficiencia en Tiempo de Prueba: La señal de fiabilidad aprendida permite una asignación adaptativa de computación, reduciendo los costos de inferencia (tokens) sin sacrificar, y a menudo mejorando, la precisión.
3. Mejor Utilización de la Supervisión: El objetivo Beta-Binomial utiliza eficazmente la naturaleza de muestra finita de la supervisión de Monte Carlo, tratando la cuenta $K$ como una observación estocástica en lugar de una etiqueta determinista.

Los autores concluyen que convertir las recompensas de proceso escalares en señales conscientes de la fiabilidad es un paso crucial para escalar la computación en tiempo de prueba y mejorar la robustez de los sistemas de razonamiento.