Asking Is Not Enough: Protocol Sensitivity in LLM Confidence Calibration

Problema
La calibración de la confianza de los Modelos de Lenguaje Grande (LLM) es crítica para su despliegue seguro en dominios de alto riesgo. Las evaluaciones actuales comparan típicamente dos señales: puntuaciones de probabilidad de token (derivadas de los logits internos del modelo) y confianza verbalizada (donde el modelo reporta explícitamente una probabilidad en texto). Aunque trabajos previos han establecido que la confianza verbalizada es sensible a los métodos de elicitación de prompts, este artículo argumenta que la comparación entre la confianza verbalizada y la basada en tokens también es altamente sensible a "elecciones de medición" que a menudo se dejan implícitas. Específicamente, la cantidad que se mide depende de: (1) qué cadena de respuesta recibe la puntuación de probabilidad de token (auto-generada vs. suministrada), (2) cómo se lee esa puntuación a partir de los tokens de respuesta (por ejemplo, primer token vs. media del segmento), y (3) el contexto de condicionamiento bajo el cual se mide la probabilidad (consulta desnuda vs. prefijo de prompt utilizado para la verbalización). Los autores postulan que, sin una especificación explícita del protocolo, las brechas de calibración observadas pueden reflejar artefactos de medición en lugar de propiedades intrínsecas del modelo o ganancias de alineación.

Metodología
Los autores realizan un análisis de sensibilidad controlado en cuatro benchmarks de preguntas y respuestas (TriviaQA, SciQ, TruthfulQA, MMLU) utilizando tres familias de modelos base/Instruct de código abierto de 7–8B (Llama-3-8B, Mistral-7B-v0.3, Qwen2.5-7B), con verificaciones de robustez en variantes más grandes de Qwen2.5 (14B, 32B, 72B).

El estudio mantiene fija la elicitación de la confianza verbalizada (una única plantilla de prompt continua de 0.0–1.0) mientras varía sistemáticamente los "ejes del protocolo" que definen la comparación de probabilidad de token:

1. Procedencia de la respuesta: Comparar la confianza elicita en respuestas auto-generadas versus respuestas suministradas (doradas, incorrectas plausibles e incorrectas de tipo ajeno).
2. Respuesta puntuada: Comparar las probabilidades de token asignadas a la respuesta generada por el modelo versus una referencia dorada forzada por el profesor.
3. Lectura de token: Comparar la media geométrica del segmento de respuesta ($T_1$) versus la probabilidad del primer token de respuesta ($T_2$).
4. Contexto de condicionamiento: Comparar las probabilidades de token medidas bajo una consulta desnuda versus bajo el prefijo de prompt verbalizado.
5. Estimador: Comparar el Error de Calibración Esperado (ECE) estándar de 10 bins contra estimadores sin bins (KDE-ECE, KS-Cal, ECE suavizado).

La métrica principal es la brecha de calibración con signo $g = \text{ECE}(c_{\text{verb}}) - \text{ECE}(c_{\text{tok}})$, donde los valores negativos indican que la confianza verbalizada está mejor calibrada.

Contribuciones Clave

1. Sensibilidad del protocolo con elicitación fija: Los autores demuestran que, incluso con un prompt de confianza verbalizada fijo, la comparación entre las señales verbalizadas y de token es inestable. El contexto de condicionamiento y las elecciones de lectura de token cambian materialmente la brecha de ECE observada, a menudo invirtiendo su signo. Por el contrario, cambiar el estimador de ECE tiene un efecto negligible.
2. Procedencia de la respuesta y plausibilidad: El estudio revela que la confianza verbalizada rastrea la plausibilidad y la procedencia de la respuesta, y no solo la corrección. Cuando se suministran respuestas incorrectas superficialmente plausibles, los modelos asignan niveles de confianza casi idénticos a los de las respuestas doradas suministradas, mientras que rechazan claramente las discrepancias de tipo ajeno.
3. Lista de verificación de informes: El artículo propone una lista de verificación para informes de comparaciones de señales de confianza que cubre la procedencia de la elicitación, la respuesta puntuada, la lectura de probabilidad de token y el contexto de condicionamiento para garantizar la reproducibilidad e interpretabilidad de la medición.

Resultados

• Inestabilidad de la brecha de calibración: Bajo el protocolo predeterminado de "respuesta generada, contexto desnudo", los modelos Instruct muestran una paridad casi perfecta entre la confianza verbalizada y la de token (brecha media $g_A \approx -0.029$), contradiciendo las afirmaciones de grandes ganancias de calibración para la confianza verbalizada. Sin embargo, cambiar el contexto de condicionamiento (medir la probabilidad de token bajo el prefijo verbalizado) desplaza la brecha en $\approx -0.090$ en los modelos Instruct, invirtiendo frecuentemente el signo de la brecha.
• Magnitud de los efectos del protocolo: La magnitud del desplazamiento causado por el contexto de condicionamiento (desplazamiento absoluto medio 0.28) es comparable a la variación causada por cambiar la familia de modelos (0.37) o el conjunto de datos (0.17). La lectura de token también induce desplazamientos significativos (0.11), mientras que la elección del estimador induce desplazamientos mínimos (0.01).
• Sensibilidad a la procedencia: En los análisis de respuestas suministradas, la diferencia en confianza entre las respuestas doradas suministradas y las incorrectas plausibles es marginal ($\approx +0.021$), whereas la diferencia para las incorrectas de tipo ajeno es grande. Esto sugiere que la confianza verbalizada refleja la plausibilidad del texto proporcionado en lugar de una estimación de corrección de verdad fundamental.
• Robustez: Estos hallazgos se mantienen a través de diferentes escalas de modelos (hasta 72B), diferentes escalas de prompts (enteros 0–100) y diversas métricas de calibración (Brier, NLL, AUROC).

Significado y Afirmaciones
El artículo argumenta que ni la confianza verbalizada ni la probabilidad de token deben tratarse como una lectura directa y libre de contexto de la incertidumbre del modelo. En cambio, ambas son mediciones conductuales cuya interpretación está inextricablemente ligada al protocolo de medición. Los autores afirman que las afirmaciones escalares sobre que la alineación mejora la incertidumbre auto-reportada, o la superioridad de la confianza verbalizada sobre las probabilidades de token, solo son significativas cuando la configuración de medición específica (procedencia de la respuesta, método de lectura, contexto de condicionamiento) se especifica explícitamente. El estudio sirve como un análisis de advertencia, instando a la comunidad a tratar las comparaciones de calibración como análisis de sensibilidad dependientes del protocolo en lugar de descomposiciones causales de las capacidades del modelo.