How Uncertainty Estimation Scales with Sampling in Reasoning Models

Resumen Técnico: Estimación de Incertidumbre en Modelos de Razonamiento

1. El Problema

La estimación de incertidumbre es un componente crítico para el despliegue seguro y confiable de modelos de lenguaje (LLMs), permitiendo la predicción selectiva y la toma de decisiones consciente del riesgo. Sin embargo, en los Modelos de Razonamiento (RLMs), que extienden la computación en tiempo de prueba mediante cadenas de pensamiento (Chain-of-Thought, CoT) prolongadas, la dinámica de la incertidumbre bajo muestreo paralelo no está bien comprendida.

A diferencia de los LLMs estándar, donde el muestreo paralelo es relativamente barato, en los RLMs cada muestra adicional implica generar una traza completa de razonamiento, lo cual es computacionalmente costoso. Existe una brecha de conocimiento sobre:

• Cómo escalan las señales de incertidumbre (basadas en introspección y consenso) con el número de muestras ($K$).
• Si la combinación de señales ofrece ventajas sobre el aumento del presupuesto de muestreo de una sola señal.
• Cómo varía este comportamiento entre dominios (matemáticas, STEM, humanidades), dado que los RLMs suelen estar optimizados principalmente para matemáticas mediante aprendizaje por refuerzo con recompensas verificables (RLVR).

2. Metodología

Los autores realizaron un estudio empírico a gran escala utilizando un enfoque de "caja negra" (black-box) para evaluar la estimación de incertidumbre.

• Modelos Evaluados: Tres modelos de razonamiento de código abierto: gpt-oss-20b (con esfuerzo de razonamiento alto), Qwen3-30B-A3B y DeepSeek-R1-8B.
• Tareas: 17 tareas distribuidas en tres familias: Matemáticas (GSM8K, AIME, MMLU-Pro Math), STEM (salud, biología, física, etc., incluyendo GPQA Diamond) y Humanidades (psicología, derecho, historia, etc.).
• Protocolo de Muestreo: Para cada entrada, se generaron $K$ muestras independientes (trazas de razonamiento y respuestas finales). Se evaluaron presupuestos de muestreo de $K \in \{1, 2, 5, 8\}$ y hasta 100 en análisis preliminares.
• Señales de Incertidumbre Analizadas:
  1. Confianza Verbalizada (VC): El modelo reporta explícitamente un valor de confianza (0-100) junto con su respuesta. Se promedia la confianza de las muestras que coinciden con la respuesta mayoritaria.
  2. Autoconsistencia (SC): Se calcula la proporción de muestras que coinciden con la respuesta mayoritaria (consenso).
  3. Señal Híbrida (SCVC): Una combinación lineal de VC y SC ($\lambda \cdot SC + (1-\lambda) \cdot VC$).
• Métricas: Se utilizó el AUROC (Área bajo la curva ROC) para evaluar la capacidad discriminativa de las señales (capacidad de distinguir respuestas correctas de incorrectas), evitando métricas de calibración que requieren interpretaciones probabilísticas estrictas.
• Validación: Se empleó un protocolo de bootstrap con 1000 re-muestreos para estimar la variabilidad y la significancia estadística de los resultados.

3. Contribuciones Clave

El artículo presenta el primer benchmark sistemático de cómo escala la estimación de incertidumbre en modelos de razonamiento bajo muestreo paralelo. Sus hallazgos principales son:

1. Diferencias en la Eficiencia de Muestreo: Tanto la confianza verbalizada (VC) como la autoconsistencia (SC) mejoran con más muestras, pero la SC comienza con un rendimiento significativamente inferior y escala más lentamente que la VC en presupuestos bajos.
2. Complementariedad de Señales: La combinación de señales (introspección + consenso) ofrece ganancias mucho mayores que simplemente aumentar el número de muestras para una sola señal.
3. Dependencia del Dominio: El comportamiento de escalado y la complementariedad varían drásticamente según el dominio, siendo las matemáticas el área donde los modelos muestran la mayor calidad de incertidumbre y escalado más rápido.

4. Resultados Principales

• Hallazgo I: La VC supera a la SC en presupuestos bajos.

  • Con una sola muestra ($K=1$), la VC ya proporciona una discriminación fuerte (ej. 78.8 AUROC en Matemáticas).
  • La SC comienza muy por debajo (ej. 70.5 AUROC en Matemáticas con $K=2$) y, aunque mejora con más muestras, no supera a la VC en el rango probado ($K \le 8$).
  • La VC escala bien en matemáticas (+10.1 puntos de AUROC de $K=1$ a $K=8$), pero satura más rápido en STEM y humanidades.

• Hallazgo II: La complementariedad domina el escalado.

  • Combinar VC y SC con solo dos muestras ($K=2$) produce mejoras masivas. En matemáticas, el estimador híbrido (SCVC) alcanza un AUROC de 84.2, superando a la VC sola ($K=1$) en +12.9 puntos y superando incluso a la VC o SC escaladas a $K=8$.
  • Esto implica que, en lugar de gastar recursos en generar muchas muestras de una sola señal, es más eficiente generar una muestra adicional y combinar ambas señales.

• Hallazgo III: Superioridad en Matemáticas.

  • Las matemáticas muestran el escalado más rápido y la mejor complementariedad. La ganancia al pasar de $K=2$ a $K=5$ en SCVC es de +2.7 AUROC, mientras que en STEM y humanidades la ganancia es marginal (+1 a +2) y satura antes.
  • Esto se alinea con el hecho de que los RLMs están entrenados principalmente con RLVR en dominios matemáticos, lo que refina tanto la capacidad de razonamiento como la autoevaluación de incertidumbre en ese dominio.

• Análisis de Variantes de VC:

  • Se probaron métodos de "elicitación" (el modelo reporta confianza) y "juez" (un segundo paso evalúa la traza).
  • Resultado: Los métodos de elicitación simple (Vanilla) funcionaron mejor o igual que los métodos complejos de juez o verificación. Los métodos de juez no justificaron el costo computacional adicional en los RLMs.

5. Significado e Implicaciones

• Guía Práctica para el Despliegue: Para obtener la mejor estimación de incertidumbre en RLMs con un presupuesto computacional limitado, la estrategia óptima no es el muestreo profundo de una sola señal, sino combinar la confianza verbalizada con la autoconsistencia utilizando solo dos muestras.
• Eficiencia de Costo: Dado que cada muestra en un RLM es costosa (trazas largas de CoT), esta estrategia de "dos muestras híbridas" ofrece el mayor retorno de inversión (ROI) en términos de calidad de incertidumbre por token generado.
• Limitaciones de Transferencia: Los hallazgos sugieren que las técnicas desarrolladas para LLMs estándar (donde el muestreo es barato) no se transfieren directamente a RLMs. En los modelos de razonamiento, la introspección dentro de una sola traza larga ya captura mucha incertidumbre, reduciendo la utilidad marginal de la autoconsistencia pura hasta que se combina con la confianza explícita.
• Futuro de la Investigación: Destaca la necesidad de desarrollar métodos de estimación de incertidumbre específicos para dominios no matemáticos, donde los modelos actuales muestran un rendimiento de incertidumbre inferior y un escalado más lento.

En conclusión, el trabajo establece que la combinación de señales es la clave para la estimación de incertidumbre eficiente en modelos de razonamiento, superando a la estrategia de simplemente aumentar el número de muestras, y revela una fuerte asimetría en la calidad de la incertidumbre entre dominios matemáticos y no matemáticos.