Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

).
2. Una respuesta final (<answer>).
3. Un análisis de incertidumbre (<analysis>).
4. Una puntuación numérica de confianza (<confidence>).

El objetivo de entrenamiento combina una recompensa de corrección estándar con una puntuación Brier, una regla de puntuación adecuada para la estimación de confianza. La función de recompensa $R_{RLCR}$ se define como:
$$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$$
Donde:

• $y$ es la respuesta predicha por el modelo.
• $y^*$ es la respuesta de verdad fundamental.
• $q$ es la puntuación de confianza verbalizada ($q \in [0, 1]$).
• $\mathbb{1}_{y \equiv y^*}$ es la función indicadora de corrección.

Garantías Teóricas

El artículo demuestra que esta función de recompensa incentiva tanto la precisión como la calibración. Específicamente, la recompensa esperada se maximiza cuando:

1. El modelo emite la respuesta con la mayor probabilidad de ser correcta ($y = \arg\max_{y'} p(y' \equiv y^*)$).
2. La puntuación de confianza $q$ refleja con precisión la probabilidad real de corrección ($q = p(y \equiv y^*)$).

Los autores demuestran que esto se cumple para cualquier regla de puntuación adecuada y acotada. Lo contrastan con la puntuación logarítmica (pérdida logarítmica), que, aunque es una regla de puntuación adecuada, no está acotada. El análisis teórico y los experimentos de juguete muestran que el uso de una puntuación no acotada como la pérdida logarítmica combinada con un término de corrección puede conducir a un "hackeo de recompensas", donde los modelos emiten respuestas incorrectas con cero confianza para maximizar el término de calibración a expensas de la precisión.

Contribuciones y Resultados Clave

1. Mejora de la Calibración Sin Sacrificar la Precisión

Los experimentos en HotpotQA (razonamiento multi-paso) y Big-Math (razonamiento matemático) demuestran que RLCR iguala la precisión de la tarea de RLVR estándar mientras mejora sustancialmente la calibración.

• Dentro de la Distribución: En HotpotQA, RLCR redujo el Error de Calibración Esperado (ECE) de 0.37 (RLVR) a 0.03. En conjuntos de datos matemáticos, el ECE disminuyó de 0.26 a 0.10.
• Fuera de la Distribución (OOD): Mientras que RLVR estándar a menudo empeora la calibración en tareas OOD, RLCR la mejora. Por ejemplo, en pruebas OOD, RLCR logró un ECE de 0.21 en comparación con 0.46 para RLVR, manteniendo una precisión comparable.

2. El Papel del Razonamiento Explícito de Incertidumbre

Los estudios de ablación revelan que el éxito de RLCR se debe a dos componentes independientes:

• Recompensa Consciente de la Calibración: El entrenamiento con la recompensa de puntuación Brier es el principal impulsor de la mejora en la calibración.
• Razonamiento Explícito de Incertidumbre: Solicitar a los modelos que generen un <analysis> de su incertidumbre mejora aún más la calibración, particularmente para modelos más pequeños o cuando la capacidad es limitada. Sin embargo, incluso sin un análisis explícito, RLCR supera significativamente a RLVR en calibración.

3. Escalado en Tiempo de Prueba y Autoconsistencia

El artículo muestra que las puntuaciones de confianza verbalizadas de RLCR pueden aprovecharse en tiempo de prueba para mejorar el rendimiento:

• Escalado Ponderado por Confianza: Utilizar la confianza verbalizada para ponderar votos mayoritarios o seleccionar las mejores respuestas de un conjunto de N respuestas produce una mayor precisión y una mejor calibración que la selección basada en verosimilitud o el voto mayoritario simple.
• Autoconsistencia: Los modelos RLCR exhiben una menor varianza en las puntuaciones de confianza a través de múltiples cadenas de razonamiento para la misma respuesta, lo que indica una estimación de incertidumbre más estable y autoconsistente.

4. Generalización

El enfoque se validó en diferentes familias de modelos (Qwen2.5-7B, OlMo-2-7B y Qwen3-8B), mostrando mejoras consistentes en la calibración sobre las líneas base de RLVR.

Significado y Afirmaciones

El artículo afirma que optimizar explícitamente la calibración mediante reglas de puntuación adecuadas es una modificación sencilla a las tuberías de entrenamiento de razonamiento existentes que produce modelos de razonamiento más fiables. Los autores argumentan que:

• La calibración es aprendible: Los modelos pueden entrenarse no solo para responder correctamente, sino también para evaluar con precisión su propia certeza.
• Robustez: RLCR produce modelos más robustos ante cambios de distribución, manteniendo la calibración donde los modelos RL estándar fallan.
• Utilidad Práctica: Las puntuaciones de confianza verbalizadas no son solo diagnósticas; son accionables, lo que permite métodos de escalado en tiempo de prueba que mejoran tanto la precisión como la fiabilidad sin requerir modelos de recompensa externos ni supervisión adicional.

Los autores mantienen una postura modesta sobre los resultados, reconociendo que, aunque RLCR reduce significativamente el error de calibración, los errores de calibración fuera de dominio pueden seguir siendo altos en términos absolutos, y los modelos pueden ocasionalmente asignar alta confianza a respuestas contradictorias. No obstante, el trabajo establece un camino hacia sistemas de razonamiento que son tanto precisos como capaces de comunicar la incertidumbre.