Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors

Resumen Técnico: Descalibración Estable en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Los errores de alta confianza (alucinaciones) en los Modelos de Lenguaje de Gran Escala (LLM) se interpretan frecuentemente como evidencia de una "inferencia interna frágil": la idea de que una pequeña perturbación en el prompt o el contexto provoca que el modelo cambie su respuesta. Este artículo desafía esa visión singular proponiendo la descalibración estable: un estado en el que un modelo produce una respuesta incorrecta y con alta confianza que permanece localmente estable ante pequeñas perturbaciones. El autor argumenta que, si los errores de alta confianza son estables en lugar de frágiles, pueden no ser distinguibles de las respuestas correctas de alta confianza mediante el análisis de sensibilidad por sí solo, y aun así representan riesgos significativos para los sistemas de toma de decisiones. La pregunta central es: ¿qué se puede inferir sobre estos errores utilizando respuestas de confianza medibles y pequeñas sondas internas, dado que las explicaciones mecánicas internas completas son a menudo inaccesibles?

Metodología
El estudio emplea un enfoque multifacético que combina un conjunto de auditoría etiquetado, diagnósticos a nivel de salida y sondeo de sensibilidad interna a través de tres modelos de pesos abiertos (Llama-3.1-8B, DeepSeek-R1 y Qwen2.5-7B).

1. Conjunto de Datos de Auditoría: Se utilizó un conjunto congelado de 532 ítems factuales binarios en 11 dominios (por ejemplo, epidemiología médica, estadísticas sociales, historia). Los ítems fueron evaluados bajo tres políticas distintas:

   • C0 (Respuesta Forzada): El modelo debe responder "Sí" o "No".
   • C1 (Abstención Cautelosa): El modelo puede abstenerse si el ítem está subespecificado.
   • C2 (Abstención Autocrítica): El modelo realiza una verificación de autocrítica explícita antes de decidir, pudiendo abstenerse.

2. Diagnóstico a Nivel de Salida ($H_{proxy}$): El autor introduce una puntuación de auditoría consciente de las etiquetas diseñada para clasificar los dominios por riesgo. Esta puntuación combina dos señales:

   • Variación de Confianza: La desviación estándar de la confianza reportada ($P(\text{correcto})$) a través de las tres políticas.
   • Masa de Exceso de Confianza en Errores (OCW - Overconfident-Wrong): Un indicador binario donde la línea base C0 es errónea pero reporta una confianza > 0.8.
   • La puntuación se define como $H_{proxy}(d) = \frac{1}{|D_d|} \sum_{i \in D_d} [\text{Std}_{c \in \{C0,C1,C2\}}(p_{i,c}) + \lambda \cdot \text{OCW}(i)]$.
   • Esta métrica se define explícitamente como un diagnóstico de auditoría retrospectivo, no como un estimador en tiempo de despliegue para datos no etiquetados.

3. Sondeo de Sensibilidad Interna: Para probar la hipótesis de la "fragilidad", el autor inyectó ruido gaussiano ($\sigma=0.01$) en el espacio de embeddings de los tres modelos de pesos abiertos. Midieron el movimiento de los estados ocultos del último token ($S_\ell$) a través de las capas. Esto se realizó en ítems preclasificados por los registros de auditoría C0 como ya sea Correctos con Confianza (CC) o Erróneos con Exceso de Confianza (OCW). El estudio también probó el efecto del prompting autocrítico en esta sensibilidad.

Contribuciones Clave

1. Abstracción Teórica: El artículo postula la "descalibración estable" como una hipótesis de incertidumbre válida. Utilizando una abstracción de bucle cerrado lineal-gaussiana, demuestra que la estabilidad local (perturbaciones amortiguadas) y la corrección no tienen por qué coincidir; un sistema puede converger a un estado estable que es sistemáticamente erróneo.
2. Puntuación de Auditoría para Intervención: El autor propone $H_{proxy}$ como una herramienta práctica para identificar los dominios donde la abstención con conciencia de política (C2) es más probable que reduzca la pérdida consciente de la política. La puntuación se correlaciona con los lugares donde la intervención ayuda, distinguiendo dominios que parecen seguros en promedio pero que son riesgosos bajo cambios de política.
3. Discrepancia Interna vs. Salida: El estudio proporciona evidencia empírica de que, si bien el prompting autocrítico induce una estabilización local (reduciendo la sensibilidad del estado oculto en todas las capas), no crea una brecha de sensibilidad clara entre los ítems erróneos con exceso de confianza y los correctos con confianza.

Resultados

• Hallazgos a Nivel de Salida: La puntuación $H_{proxy}$ muestra una fuerte correlación positiva (Spearman $\rho = 0.71$) con la ganancia lograda por la política autocrítica (C2) sobre la línea base de respuesta forzada (C0). Dominios como la epidemiología médica y las estadísticas sociales mostraron las mayores mejoras con C2, mientras que los dominios de entretenimiento y literatura mostraron poco o ningún beneficio. Sin embargo, las líneas base etiquetadas directas (tasa de error C0 y riesgo Brier) clasificaron los dominios de forma aún más fuerte, confirmando que $H_{proxy}$ es un diagnóstico estructurado en lugar de un predictor superior del rendimiento bruto.
• Hallazgos Internos:
  • Estabilización: El prompting autocrítico redujo consistentemente la sensibilidad de los estados ocultos por capa en los tres modelos, apoyando la visión de que tales prompts inducen estabilización local.
  • Sin Brecha de Fragilidad: Crucialmente, la diferencia en la sensibilidad entre los grupos OCW y CC fue insignificante (brecha estandarizada $\approx 0.13$ desviaciones estándar agrupadas o menos, con intervalos de confianza que incluyen cero). Esto sugiere que los errores con exceso de confianza definidos por la auditoría no son únicamente frágiles en comparación con las respuestas correctas bajo las perturbaciones probadas.
  • Robustez: Barridos de ruido más densos y verificaciones de reescritura semántica confirmaron que la falta de una brecha de fragilidad no fue un artefacto de la configuración específica de las perturbaciones.

Significancia y Reivindicaciones
El artículo concluye con una lección modesta y práctica en lugar de una reducción mecánica completa. La significancia principal es que el comportamiento relacionado con la incertididad relevante para las decisiones puede estudiarse a través de las respuestas de confianza incluso cuando los mecanismos internos permanecen parcialmente comprendidos.

• La Descalibración Estable como Riesgo: Los hallazgos sugieren que los errores de alta confianza pueden ser "estables y descalibrados" en lugar de "frágiles". Un sistema puede parecer robusto porque sus respuestas son localmente estables, pero aun así producir respuestas erróneas con alta confianza en dominios de alto impacto.
• Papel de los Diagnósticos: La puntuación de auditoría propuesta está destinada a la evaluación periódica etiquetada para triar riesgos y asignar intervenciones (ej. abstención, recuperación, revisión humana) donde se concentra la masa de errores con exceso de confianza. No está diseñada como un filtro de seguridad en vivo o un estimador sin etiquetas.
• Limitaciones: El autor reconoce que el estudio utiliza un conjunto de auditoría congelado y curado por el autor, que puede no generalizarse a conjuntos de datos más grandes o generación abierta. El resultado de "sin brecha clara" es específico para la sonda actual y no descarta la inestabilidad en otros contextos, pero desafía la suposición de que la fragilidad es la firma principal de las alucinaciones de alta confianza.

En resumen, el trabajo desplaza el enfoque de ver los errores de alta confianza únicamente como signos de inestabilidad hacia el reconocimiento de que pueden ser descalibraciones estables, lo que requiere estrategias de auditoría que miren más allá del simple análisis de sensibilidad.