Resumen Técnico: CALIBER – Calibración de la Confianza Antes y Después del Razonamiento en Modelos de Lenguaje

Planteamiento del Problema

Los modelos de lenguaje de razonamiento tienen cada vez más la tarea no solo de resolver problemas complejos, sino también de estimar la probabilidad de su propio éxito. Los métodos de calibración existentes suelen extraer una única estimación de confianza en un punto específico del proceso de generación: ya sea antes de que el modelo comience a pensar (pre-pensamiento) o después de que haya producido una respuesta final (post-pensamiento).

Los autores argumentan que la confianza en los modelos de razonamiento es dependiente del estado.

• La confianza de pre-pensamiento condiciona únicamente al prompt ($x$). Debe estimar la probabilidad de que la política actual del modelo pueda resolver el prompt, independientemente del rastro de razonamiento específico que se generará.
• La confianza de post-pensamiento condiciona al prompt, al rastro de pensamiento realizado ($z$) y a la respuesta final ($\hat{y}$). Debe estimar la corrección de esa respuesta realizada específica.

Los métodos actuales suelen confundir estos distintos estados de información al aplicar un único objetivo de supervisión a una única estimación, o al utilizar un objetivo que no coincide con el estado de información (por ejemplo, entrenar una estimación de pre-pensamiento con un objetivo de corrección a nivel de instancia). Este desajuste entre lo que se le pide al modelo que estime y aquello que se le entrena para predecir conduce a una calibración subóptima, particularmente bajo cambios de distribución.

Metodología: CALIBER

Los autores introducen CALIBER (Calibration Before and After Reasoning), un marco que extrae dos estimaciones de confianza distintas dentro de una misma respuesta y supervisa cada una con un objetivo que coincide con su estado de información.

1. Calibración Dependiente del Estado

CALIBER estructura la salida del modelo para incluir:

1. Pre-confianza ($p_{pre}$): Emitida antes del rastro de pensamiento. Está condicionada únicamente al prompt.
2. Rastro de Pensamiento y Respuesta: El proceso de razonamiento estándar.
3. Post-confianza ($p_{post}$): Emitida después del rastro de pensamiento y la respuesta. Está condicionada a la respuesta completa realizada.

2. Objetivos de Supervisión

El marco asigna objetivos de calibración específicos basados en la posición de la estimación:

• Objetivo de Pre-confianza (por grupo): Supervisado contra la tasa de éxito empírica de la política actual sobre el prompt ($\hat{p}(x)$), calculada como el promedio de la corrección de $N$ ejecuciones (rollouts) muestreadas para ese prompt. Esto refleja la capacidad de resolución del prompt.
• Objetivo de Post-confianza (por instancia): Supervisado contra la corrección binaria de la ejecución específica ($c_i$). Esto refleja la corrección de la respuesta realizada.

3. Objetivo de Entrenamiento

El entrenamiento utiliza Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). La recompensa total para una ejecución $i$ es la suma de cuatro componentes con pesos iguales:

• Recompensa de Exactitud ($R_{acc}$): Corrección binaria de la respuesta.
• Recompensa de Formato ($R_{fmt}$): Asegura que el modelo emita las etiquetas requeridas y valores de confianza válidos.
• Recompensa de Calibración de Pre-confianza: $1 - (p_{pre} - \hat{p}(x))^2$.
• Recompensa de Calibración de Post-confianza: $1 - (p_{post} - c_i)^2$.

Para abordar las dificultades de optimización donde la recompensa de pre-confianza de baja varianza (por grupo) se ve dominada por las recompensas de alta varianza (por instancia), CALIBER emplea un programa de entrenamiento de dos etapas:

1. Calentamiento (Warmup): Optimiza únicamente la recompensa de pre-confianza por grupo para establecer estimaciones diversas.
2. Entrenamiento Conjunto: Optimiza simultáneamente la pre-confianza, la post-confianza y las recompensas de exactitud.

Contribuciones Clave

1. Encuadre Dependiente del Estado: El artículo plantea la confianza en los modelos de razonamiento como cantidades distintas basadas en el estado de información: la confianza de pre-pensamiento corresponde a la capacidad de resolución de la pregunta (por grupo), mientras que la confianza de post-pensamiento corresponde a la corrección de la respuesta (por instancia).
2. Marco CALIBER: Un protocolo unificado que extrae ambas estimaciones y alinea cada una con su objetivo de supervisión apropiado, evitando el desajuste encontrado en los métodos de confianza única previos.
3. Comparación Controlada: Los autores aíslan la contribución del alineamiento posición-objetivo comparando CALIBER contra un conjunto controlado de líneas de base (RLCR, COREA-lite, CoCA-lite, DCPO-lite) bajo un protocolo de entrenamiento y evaluación compartido, eliminando decisiones de diseño confusas como la asignación de crédito segmentada.
4. Brecha Diagnóstica: El marco permite analizar la brecha entre la pre-confianza y la post-confianza, sirviendo como una señal por ejemplo de cómo evoluciona la incertidumbre del modelo durante el razonamiento.

Resultados

Rendimiento Intra-dominio (BigMathDigits)

• Modelo de 7B: CALIBER reduce el Error de Calibración Esperado (ECE) en un 52.5% en comparación con la línea de base de confianza única más fuerte (DCPO-lite). Logra el mejor ECE, puntuación Brier y AUROC, manteniendo la exactitud dentro de 2.1 puntos porcentuales de la mejor exactitud.
• Modelo de 30B: CALIBER logra el mejor ECE (0.022) mientras mantiene un AUROC competitivo (0.797), distinguiéndose de métodos como CoCA-lite que logran un ECE bajo pero una discriminación pobre (AUROC ~0.5).

Generalización Fuera de la Distribución (OOD)

Evaluado en GPQA, TriviaQA y SimpleQA:

• Calibración: CALIBER logra consistentemente el mejor ECE y puntuación Brier en GPQA y TriviaQA para ambos tamaños de modelo.
• SimpleQA: En este cambio de distribución extremo, CALIBER logra el mejor ECE y puntuación Brier para el modelo de 7B. Para el modelo de 30B, aunque DCPO-lite logra un ECE ligeramente inferior, CALIBER alcanza un AUROC sustancialmente mayor, lo que indica un mejor equilibrio entre calibración y discriminación.
• Fiabilidad: Los diagramas de fiabilidad muestran que CALIBER evita la sobreconfianza severa y se alinea bien con la diagonal en las regiones de alta confianza.

Estudios de Ablación

Un estudio de ablación que intercambia los objetivos (entrenar la pre-confianza con objetivos de instancia y la post-confianza con objetivos de grupo) reveló:

• Intra-dominio: Los resultados fueron mixtos; el modelo de 30B se benefició significativamente del alineamiento correcto, mientras que el modelo de 7B mostró métricas mixtas.
• Fuera de la Distribución (OOD): El alineamiento posición-objetivo resultó crítico. CALIBER superó consistentemente a la línea de base intercambiada en todos los conjuntos de datos OOD y tamaños de modelo, reduciendo significativamente el ECE. Esto sugiere que igualar el objetivo de supervisión con el estado de información es esencial para una calibración robusta bajo cambios de distribución.

Significado y Reivindicaciones

El artículo afirma que CALIBER demuestra que la calibración para los modelos de razonamiento debe tratarse como un problema dinámico en lugar de un escalar estático adjunto a una respuesta.

• El Alineamiento es Clave: La principal significación es la demostración de que el "alineamiento posición-objetivo" (emparejar el pre-pensamiento con el éxito por grupo y el post-pensamiento con la corrección de la instancia) es el factor crítico que impulsa las mejoras de calibración, especialmente bajo el cambio de distribución.
• Utilidad Diagnóstica: La brecha entre la pre-confianza y la post-confianza proporciona un diagnóstico significativo de cómo cambia la incertidumbre del modelo tras el razonamiento, en lugar de ser solo una puntuación de confianza estática.
• Seguridad y Confianza: Al mejorar la calibración sin sacrificar sustancialmente la exactitud de la tarea, CALIBER respalda el despliegue más seguro de los modelos de razonamiento en entornos donde las respuestas incorrectas son costosas, ya que permite a los usuarios confiar mejor en la autoevaluación del modelo.

Los autores concluyen que el trabajo futuro debería extender este enfoque dependiente del estado más allá de dos puntos, probar la hipótesis de la capacidad de resolución a nivel de prompt de manera más directa y validar estos hallazgos en familias de modelos y dominios de tareas adicionales.