Resumen Técnico: La Confianza Reportada en los LLM Sigue al Compromiso Más que a la Corrección

Declaración del Problema

Se requiere con frecuencia que los Modelos de Lenguaje de Gran Escala (LLM) reporten confianza en sus respuestas para guiar la confianza del usuario y la toma de decisiones descendente (por ejemplo, para delegar en humanos o abstenerse). Si bien la confianza verbal (VC) —autoinformes explícitos de certeza— es ampliamente utilizada, particularmente en entornos de caja negra donde las probabilidades internas son inaccesibles, no está claro si estos informes funcionan como estimaciones precisas de la corrección de la respuesta o como señales de un estado interno diferente. El supuesto prevaleciente es que la confianza debería rastrear la probabilidad de corrección; este artículo desafía ese supuesto, proponiendo en su lugar que la confianza verbal puede funcionar primordialmente como una señal de "disposición al compromiso" (commit-readiness), indicando la disposición conductual del modelo a respaldar una respuesta más que su verdad objetiva.

Metodología

Los autores emplearon un paradigma de abstención de dos etapas, inspirado en estudios neurocientíficos de la confianza post-decisión en roedores y primates, para desacoplar la generación de la respuesta de la decisión de comprometerse.

1. Diseño Experimental:

   • Fase 1 (Respuesta y Confianza): Los modelos respondieron preguntas (opción múltiple o texto libre) y, en un paso separado, reportaron confianza verbal (Class-VC en una escala de 10 clases o Num-VC en una escala de 0–100). Crucialmente, esta fase ocurrió sin ninguna referencia a una tarea de abstención posterior.
   • Fase 2 (Comprometer/Abstenerse): Se les mostró a los modelos su respuesta de la Fase 1 y se les pidió que tomaran una decisión binaria: Comprometerse (entregar la respuesta al usuario) o Abstenerse (entregar un "no lo sé").
   • Señal de Comparación: El estudio comparó la VC contra la Probabilidad de Logaritmo Calibrada (Cal-LP), una señal de confianza derivada de la distribución softmax escalada por temperatura de los tokens de la respuesta, que sirve como un proxy de la evidencia de la respuesta.

2. Modelos y Benchmarks:

   • Modelos de No-Razonamiento: Gemma 3 (27B), Gemma 4 (31B, modo no-think), GPT-4o y Qwen 3 (235B, modo no-think).
   • Modelos de Razonamiento: Gemini Flash 3, Kimi K2 Think, GPT-Oss-120B y Qwen 3 (235B, modo think).
   • Datasets: SimpleQA, MMLU-Pro, SuperGPQA-hard y HLE (Humanities Last Exam), cubriendo diversas dificultades y formatos.

3. Enfoques Analíticos:

   • Brecha Decisión–Verdad: Definida como $\Delta_{DT} = \text{AUROC}_{\text{abstención}} - \text{AUROC}_{\text{corrección}}$. Esta métrica cuantifica si una señal predice la decisión de comprometer/abstenerse mejor de lo que predice la corrección objetiva.
   • Análisis de Residualización: Para determinar si la alineación de la VC con el comportamiento es reducible a su alineación con la verdad, los autores realizaron una regresión de la VC sobre la Cal-LP (el mejor proxy disponible de corrección) y analizaron el residuo. Probaron si el residuo de la VC predecía la abstención o la corrección.
   • Análisis Mecanístico (Gemma 3 y 4): Se entrenaron sondas lineales en las activaciones del flujo residual post-respuesta (PA) para decodificar la corrección y la futura decisión de comprometer/abstenerse.
   • Control Causal (Causal Steering): En Gemma 4, los autores construyeron vectores de control a partir de las activaciones PA e inyectaron en el flujo residual durante la Fase 2 para probar si la manipulación del estado de "disposición al compromiso" alteraba causalmente el comportamiento de abstención.

Resultados Clave

1. La Brecha Decisión–Verdad

A través de cuatro modelos de no-razonamiento y dos datasets, la confianza verbal exhibió consistentemente una brecha decisión–verdad positiva, prediciendo la decisión de comprometer/abstenerse de la Fase 2 sustancialmente mejor de lo que predijo la corrección de la Fase 1.

• Rendimiento de VC: Class-VC y Num-VC mostraron brechas medianas de +0.13 y +0.20, respectivamente. En casi todas las celdas, la VC predijo la abstención significativamente mejor que la corrección.
• Rendimiento de Cal-LP: La Cal-LP mostró brechas cercanas a cero o negativas (mediana +0.018), indicando que su capacidad para predecir la abstención estaba estrechamente vinculada a su capacidad para predecir la corrección. No mostró una ventaja sistemática en la predicción del comportamiento sobre la verdad.

2. Descomposición de Varianza y Residualización

• Estructura de la Varianza: El análisis ANOVA reveló que la varianza en la VC estaba dominada por la decisión posterior de comprometer/abstenerse (parcial $\eta^2 \approx 0.11–0.48$) en lugar de la corrección ($\eta^2 \approx 0.00–0.05$). Por el contrario, la Cal-LP retuvo una estructura más fuerte relacionada con la corrección.
• Análisis de Residuos: Cuando se eliminó la varianza de la VC compartida con la Cal-LP, la VC residual siguió siendo un fuerte predictor de la abstención (mediana AUROC = 0.64) pero perdió su capacidad de predecir la corrección (cayendo a niveles cercanos al azar, mediana AUROC = 0.49).
• Interpretación: Esto sugiere que la VC contiene un componente único alineado con el comportamiento de compromiso que es independiente de la señal de evidencia de la respuesta capturada por la Cal-LP. El análisis inverso (residualizar la Cal-LP sobre la VC) mostró que la Cal-LP permaneció acoplada tanto a la verdad como al comportamiento, consistente con su función como señal primaria de evidencia de la respuesta.

3. Generalización a Modelos de Razonamiento

La disociación decisión–verdad se generalizó a cuatro modelos de razonamiento a través de cuatro benchmarks. A pesar de la complejidad de los rastros de razonamiento, la VC continuó mostrando una brecha positiva robusta (mediana +0.16), mientras que la Cal-LP (donde estaba disponible) no mostró un patrón comparable. En los modelos de razonamiento, la Cal-LP fue menos efectiva para discriminar la corrección, probablemente porque la incertidumbre se distribuye a lo largo de la trayectoria de razonamiento en lugar de concentrarse en el último token.

4. Evidencia Mecanística en Gemma 4

• Codificación del Estado Interno: Las sondas lineales en las activaciones post-respuesta (PA) (antes de que se diera el prompt de abstención) pudieron decodificar la futura decisión de comprometer/abstenerse con alta precisión (AUROC $\approx$ 0.94), superando con creces la decodificación de la corrección (AUROC $\approx$ 0.66).
• Ortogonalidad: La dirección en el espacio de activación que codifica la decisión de comprometer/abstenerse era aproximadamente ortogonal a la dirección que codifica la corrección.
• Control Causal: El control mediante la dirección de activación específica de la VC (ortogonal a la Cal-LP) en la posición PA desplazó causalmente el comportamiento de abstención subsiguiente del modelo en la Fase 2. El control de baja confianza aumentó las tasas de abstención, confirmando que el estado interno subyacente a la VC es causalmente operativo en las decisiones de compromiso.

Significado y Reivindicaciones

El artículo concluye que la confianza verbal y la confianza de probabilidad de logaritmo no son medidas de incertidumbre intercambiables.

• Naturaleza de la Confianza Verbal: La VC debe entenderse no como una estimación ruidosa de la corrección, sino como una lectura orientada al comportamiento de un estado interno de "disposición al compromiso". Refleja la disposición del modelo a respaldar una respuesta, una señal que solo está parcialmente anclada a la verdad objetiva.
• Naturaleza de la Cal-LP: La Cal-LP se comporta más como una señal de evidencia de la verdad, donde su relevancia para el comportamiento es heredada de su capacidad para rastrear la corrección.
• Implicaciones:
  • Interpretación: Los usuarios y sistemas descendentes no deben tratar la confianza verbal como un proxy directo de la probabilidad de corrección. Un modelo puede expresar alta confianza en una respuesta incorrecta si está conductualmente "listo" para comprometerse con ella.
  • Entrenamiento: Los objetivos de entrenamiento actuales pueden recompensar señales similares a la confianza que regulan el estilo de respuesta y la cautela sin anclarlas estrechamente a la corrección. El trabajo futuro podría necesitar apuntar a la representación interna post-respuesta para alinear mejor la confianza con la verdad mientras se preservan comportamientos adaptativos como la abstención.
  • Metacognición: Los hallazgos sugieren que los reportes de confianza de los LLM pueden funcionar de manera similar a las señales metacognitivas de segundo orden en humanos, construidas a partir de la elección inicial y otras claves (por ejemplo, la fluidez), en lugar de ser una lectura directa de la evidencia que impulsó la elección.

Los autores enfatizan que, si bien la VC sí rastrea la corrección por encima del azar, su alineación desproporcionada con el comportamiento de compromiso es una característica fundamental de su organización interna, lo que la distingue de las medidas derivadas de la distribución de opciones.