Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs

Resumen Técnico: Intervención de Cabeza Condicionada por Sonda para LLMs

Planteamiento del Problema
Los modelos de lenguaje extensos (LLMs) exhiben frecuentemente una "sobreconfianza verbalizada", expresando una alta confianza en respuestas incorrectas. Las técnicas de calibración estándar, como el escalado de temperatura o el ajuste de instrucciones post-hoc, típicamente aplican ajustes globales a la distribución de salida. Si bien estos métodos pueden mejorar las métricas de calibración agregadas, sufren de una limitación crítica: no pueden suprimir selectivamente la confianza injustificada en respuestas erróneas sin erosionar simultáneamente la confianza justificada en respuestas correctas. Esto crea una tensión donde la reducción de los falsos positivos (erróneos-pero-confiados) conlleva inevitablemente un aumento de los falsos negativos (correctos-pero-poco-confiados). El artículo postula que se requiere un enfoque más selectivo, uno que intervenga solo cuando una respuesta es probablemente errónea-pero-confiada, de modo que se desacople la supresión de la confianza injustificada de la pérdida de la confianza justificada.

Metodología: Intervención de Cabeza Condicionada por Sonda (PCHI)
Los autores proponen PCHI, un método de inferencia que opera internamente dentro del modelo para reescalar selectivamente las salidas de las cabezas de atención basándose en la evidencia de sobreconfianza. El método consta de tres componentes principales:

1. Autoevaluación Estructurada: Se instruye al modelo para generar una respuesta JSON estructurada que contenga reasoning (razonamiento), answer (respuesta) y un campo binario is_confident (es_confiado) (yes/no). La intervención apunta al grupo "erróneo-sí" (WY, por sus siglas en inglés: respuestas incorrectas con alta confianza) mientras busca preservar el grupo "correcto-sí" (CY: respuestas correctas con alta confianza).
2. Sondas de Plantilla de Confianza: Se entrena una sonda lineal congelada para detectar evidencia latente de respuestas WY. Esta sonda lee los estados ocultos en tokens específicos de "plantilla de confianza" (el intervalo de tokens entre la respuesta y el valor de confianza final). La sonda predice la probabilidad de que una respuesta confiada sea en realidad errónea. La capa de la sonda ($\ell_p$) se selecciona en la parte media de la red donde la separabilidad entre WY y CY es fuerte, asegurando que las capas posteriores permanezcan disponibles para la intervención.
3. Reescalado de Cabeza Condicional: Durante la inferencia, la puntuación de la sonda controla un reescalado aprendido de las salidas de las cabezas de atención descendentes.
   • Para cada cabeza de atención $h$ en las capas descendentes de $\ell_p$, se aplica un coeficiente escalar aprendido $g_h$ (inicializado en 1).
   • La fuerza de la intervención $s_{i,t}$ se determina mediante la puntuación de la sonda $p_{i,t}$. Si la puntuación supera un umbral $\tau$ (por ejemplo, 0.5), la salida de la cabeza $z_{i,t,h}$ se reescala: $z'_{i,t,h} = (1 + (g_h - 1)s_{i,t}) z_{i,t,h}$.
   • Si la sonda no marca la respuesta como probablemente errónea-confiada ($s_{i,t} = 0$), el modelo se comporta de manera idéntica al modelo base.
   • Se puede aplicar una máscara de atención opcional post-sonda para restringir a qué regiones del contexto (prompt, razonamiento, respuesta) consultan las plantillas, lo que potencialmente fortalece la señal de intervención.

El objetivo de aprendizaje utiliza una pérdida de tipo hinge para empujar los ejemplos WY por debajo de un margen de confianza mientras protege a los ejemplos CY de ser degradados, regularizado por una penalización L1 para mantener los coeficientes de las cabezas innecesarios cerca de la identidad.

Contribuciones Clave

• Intervención Interna Selectiva: A diferencia de la calibración post-hoc global, PCHI interviene condicionalmente basándose en evidencia interna, permitiendo corregir tipos de error específicos (WY) sin suprimir la confianza de forma global.
• Desacoplamiento de Calibración y Precisión: El método demuestra que la confianza injustificada puede reducirse preservando en gran medida la confianza justificada, abordando el compromiso inherente a los métodos de reescalado uniforme.
• Perspectiva Mecanística: El enfoque trata la confianza verbalizada como un proceso de computación interna que puede controlarse en puntos específicos (tokens de plantilla) en lugar de ser solo una distribución de salida que debe ser mapeada.

Resultos Experimentales
El método fue evaluado en problemas de OpenMathInstruct utilizando los modelos Qwen3-4B-Instruct y Gemma3-4B-it con un campo de confianza binaria estructurada.

• Intervención en el Token de Lectura: Aplicar PCHI en el token de confianza final produjo mejoras significativas. En Qwen3-4B, el Error de Calibración Esperada (ECE) cayó del 21.9% al 11.7%, y el Área Bajo la Curva Característica Operativa del Receptor (AUROC) aumentó de 66.5 a 90.3. Crucialmente, el 82.2% de las lecturas originales de "erróneo-sí" se convirtieron en "no", mientras que solo el 10.8% de las lecturas "correcto-sí" originales resultaron dañadas.
• Intervención Upstream: Intervenir en los tokens de la plantilla de confianza ascendente mostró resultados variables. En Qwen3-4B, una intervención conjunta en los tokens 1–5 redujo el ECE a 9.2% con una corrección de WY del 63.3% y solo un 5.1% de daño en CY. En Gemma3-4B, los efectos ascendentes fueron más débiles y dependientes del enmascaramiento de atención; restringir el contexto visible al campo de la respuesta mejoró la corrección de WY al 40.4% pero con un ligero aumento en el daño a CY.
• Ablación: Los controles confirmaron que las ganancias no se deben simplemente al enmascaramiento de atención o al direccionamiento de activación genérico. La combinación de la evidencia de la sonda y el reescalado aprendido específico de la cabeza es necesaria para la selectividad observada.

Significancia y Reivindicaciones
El artículo afirma que PCHI ofrece un camino viable hacia modelos que puedan expresar la incertidumbre de una manera confiable sin sacrificar su capacidad de expresar confianza cuando son correctos. Al tratar la calibración como un problema de control selectivo en lugar de un mapeo global, los autores demuestran que las intervenciones internas pueden desacoplar parcialmente la supresión de la confianza injustificada de la pérdida de la confianza justificada.

Los autores mantienen un alcance modesto, señalando que sus resultados son específicos para la resolución de problemas matemáticos con salidas JSON estructuradas y campos de confianza binarios. Reconocen que el método depende del entrenamiento de sondas específicas del modelo y de los datos, y que extender esto a expresiones de confianza de forma libre o tareas abiertas sigue siendo un desafío abierto. El trabajo no pretende proporcionar una explicación mecánica completa de la confianza verbalizada, sino más bien ofrecer evidencia de que dicha evidencia es decodificable y accionable para una corrección selectiva.