Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs

Resumen Técnico: Wired for Overconfidence

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) sufren de un problema crítico en entornos de alto riesgo: no solo cometen errores, sino que lo hacen con excesiva confianza. Cuando generan respuestas factualmente incorrectas, tienden a verbalizar niveles de confianza muy altos en lugar de señalar incertidumbre.

• Consecuencia: Esta "sobreconfianza verbalizada" engaña a los usuarios y debilita la utilidad de las puntuaciones de confianza como señales fiables de incertidumbre.
• Brecha de conocimiento: Aunque se sabe que los LLMs pueden expresar incertidumbre, los mecanismos internos que causan esta inflación de confianza no están bien entendidos. La literatura previa se ha centrado en correcciones post-hoc (a nivel de salida) sin abordar las causas internas.

2. Metodología

Los autores aplican la interpretabilidad mecánica para descomponer el fenómeno en tres ejes: captura, descubrimiento y mitigación.

• Configuración Experimental:

  • Modelos: Qwen2.5-3B-Instruct y Llama-3.2-3B-Instruct.
  • Datos: Tres benchmarks de preguntas y respuestas factuales (PopQA, MMLU, NQOpen).
  • Procedimiento: Se utiliza un esquema de dos pasos: (1) El modelo responde a una pregunta factual; (2) El modelo autoevalúa su respuesta y genera un puntaje de confianza (entero de 0 a 99).

• Diseño de Contrafactuales (Inyección de Verdad):

  • Para aislar el efecto causal de la corrección factual, se crean pares de prompts:
    • Limpio: Contiene la respuesta incorrecta generada por el modelo.
    • Corrupto: Reemplaza la respuesta incorrecta con la verdad absoluta (ground truth), manteniendo todos los demás tokens idénticos.
  • Esto permite observar cómo cambia la "propensión a la confianza" del modelo cuando la respuesta es correcta vs. incorrecta.

• Métrica Interna: Diferencia de Logits del Conjunto Objetivo (TSLD):

  • Dado que la confianza verbalizada es un rango continuo (0-99) y no un token único, los autores introducen el TSLD.
  • Calcula la diferencia media entre los logits de un conjunto de alta confianza (ej. {70-99}) y uno de baja confianza (ej. {0-30}) en la posición del token final.
  • El $\Delta$TSLD mide cuánto reduce la inyección de verdad la propensión a la alta confianza. Se demuestra que $\Delta$TSLD se correlaciona fuertemente con el cambio en la confianza verbalizada real.

• Descubrimiento de Circuitos (EAP-IG):

  • Se utiliza Edge Attribution Patching con Integrated Gradients (EAP-IG) para identificar qué componentes internos (capas MLP y cabezas de atención) causan causalmente la señal de sobreconfianza.
  • Se estratifican los datos para enfocarse en casos donde la inyección de verdad suprime drásticamente la confianza (el subconjunto "Bucket 1").

3. Contribuciones Clave

1. Captura Diferenciable: Introducción del TSLD como un proxy interno diferenciable para la confianza verbalizada, permitiendo el uso de métodos basados en gradientes.
2. Localización de Circuitos: Identificación de un conjunto compacto de componentes internos (el Circuito Movilizador de Confianza o Confidence Mover Circuit - CMC) que escriben causalmente la señal de inflación de confianza.
3. Validación Causal: Demostración de que estos circuitos son necesarios y suficientes para el comportamiento de sobreconfianza mediante ablaciones.
4. Intervención en Tiempo de Inferencia: Desarrollo de estrategias para recalibrar el modelo en tiempo real interviniendo en estos circuitos específicos, mejorando significativamente la calibración sin necesidad de reentrenamiento.

4. Resultados Principales

• Localización de los Circuitos:

  • La sobreconfianza no es difusa; está concentrada en un conjunto compacto de bloques MLP y cabezas de atención, ubicados principalmente en las capas medias a tardías del modelo.
  • Existe una alta conservación cruzada: los mismos componentes (o muy similares) son responsables de la sobreconfianza en diferentes conjuntos de datos (PopQA, MMLU, NQOpen), lo que sugiere un mecanismo interno fijo del modelo y no un artefacto específico de la tarea.
  • Ejemplo: En Qwen2.5-3B, capas MLP como M30, M35 y M26 son dominantes. En Llama-3.2-3B, las cabezas de atención L14H3 y L13H18 junto con MLPs como M27 son críticas.

• Validación Causal:

  • Suficiencia: Retener solo el ~0.6% de las aristas más importantes del grafo computacional permite al modelo reproducir el comportamiento de sobreconfianza con una fidelidad >85%.
  • Necesidad: La ablación de estos circuitos elimina entre el 74% y el 79% de la señal de sobreconfianza (medida por la caída en TSLD), probando que son causalmente necesarios.

• Intervención y Recalibración:
  Se probaron dos estrategias de intervención en tiempo de inferencia sobre los componentes top-10:

  1. Ablación de la Media: Reemplaza la activación del componente con la media de las activaciones de los prompts "corruptos" (verdad).
  2. Steering (Dirigido): Resta una dirección de sobreconfianza escalada de la activación original.

  Resultados de Calibración (PopQA):

  • Qwen2.5-3B: El steering con $\alpha=0.5$ redujo el Error de Calibración Esperado (ECE) en un 77.5% y la puntuación Brier en un 69.7%.
  • Llama-3.2-3B: La ablación de media fue extremadamente efectiva, reduciendo el ECE en un 96.9%. El steering también logró reducciones superiores al 90% en configuraciones óptimas.
  • La intervención generaliza bien a todo el conjunto de datos, no solo a los casos de descubrimiento.

5. Significado e Implicaciones

• Mecanismo Interno Fijo: La sobreconfianza verbalizada parece surgir de un "núcleo causal compacto" que está estructuralmente desalineado con los circuitos de recuperación de hechos. El modelo genera incertidumbre genuina en sus vías de razonamiento, pero el circuito de verbalización de confianza falla al transmitir esa señal, imponiendo en su lugar un sesgo de alta confianza.
• Más allá de la Corrección Post-hoc: Este trabajo demuestra que la recalibración basada en la intervención mecánica es viable y superior a los métodos puramente estadísticos en la salida.
• Control Preciso: La técnica de steering ofrece un "botón de sintonización" continuo, permitiendo ajustar la confianza sin destruir la capacidad de generación del modelo, a diferencia de la ablación total que puede ser frágil.
• Origen del Entrenamiento: Los autores sugieren que el ajuste fino por instrucción (SFT) y el aprendizaje por refuerzo (RLHF) podrían haber fortalecido este sesgo hacia la sobreconfianza, ya que los modelos alineados suelen ser más seguros de lo que deberían.

En conclusión, el artículo establece que la sobreconfianza en los LLMs no es un defecto aleatorio, sino un fenómeno mecánico identificable y mitigable mediante intervenciones dirigidas en circuitos neuronales específicos.