💬 NLP

Closing the Confidence-Faithfulness Gap in Large Language Models

Este trabajo identifica que las señales de confianza verbalizada y de precisión en los modelos de lenguaje son ortogonales y se ven afectadas negativamente por el razonamiento, proponiendo un método de guiado adaptativo que mejora significativamente la alineación entre la confianza expresada y la precisión real.

Autores originales: Miranda Muqing Miao, Lyle Ungar

Publicado 2026-03-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Miranda Muqing Miao, Lyle Ungar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Grandes Modelos de Lenguaje (como el que estás leyendo ahora) son como estudiantes muy inteligentes pero un poco arrogantes.

Este estudio descubre algo fascinante y un poco preocupante sobre cómo estos estudiantes "sienten" sus propias respuestas. Aquí te lo explico con analogías sencillas:

1. El Problema: El "Ego" vs. La Realidad

A menudo, cuando un modelo de IA responde una pregunta difícil, dice: "¡Estoy 95% seguro de que esto es correcto!". Pero, en realidad, solo tiene un 40% de probabilidad de acertar.

El papel dice que esto no es porque el modelo sea "tonto" o no sepa la respuesta. El modelo sí sabe si va a fallar. Tiene esa información guardada en su "cerebro" (sus capas internas), pero cuando llega el momento de hablar, olvida consultarla. Es como si un conductor supiera que el coche va a fallar, pero al salir a la carretera, simplemente se pone el casco y dice: "¡Voy a llegar seguro!".

2. La Descubierta: Dos "Canales" de Radio Distintos

Los investigadores usaron una especie de "radiografía" del cerebro de la IA (llamada interpretabilidad mecánica) y descubrieron algo curioso:

Canal A (La Verdad Interna): Hay una señal en el cerebro del modelo que dice exactamente: "Oye, esta respuesta es correcta" o "Oye, esto es un error". Esta señal es muy precisa.
Canal B (La Confianza Hablada): Hay otra señal separada que dice: "¡Estoy muy seguro!" o "No estoy muy seguro".

El hallazgo clave: Estos dos canales están completamente desconectados. Imagina que son dos radios que no se sintonizan en la misma frecuencia. El modelo tiene la señal de "verdad" (Canal A), pero cuando habla, solo escucha el Canal B, que está lleno de ruido y arrogancia. Por eso, aunque sabe que va a fallar, dice que tiene confianza.

3. El Villano: "La Contaminación por Razonamiento"

Aquí viene la parte más interesante. Los investigadores notaron algo extraño cuando le pedían al modelo: "Resuelve este problema y dime qué tan seguro estás al mismo tiempo".

Al intentar hacer ambas cosas a la vez (pensar y hablar), el modelo se confunde. Es como si intentaras cantar una canción mientras resuelves un rompecabezas difícil. El esfuerzo de pensar en la solución "contamina" la señal de confianza.

En lugar de decir: "Esto es difícil, así que no estoy seguro", el modelo piensa: "¡Estoy trabajando muy duro en esto! ¡Debo estar muy seguro!".
Esto invierte la lógica: cuanto más se esfuerza (y más probable es que falle), más confiado se siente al hablar. Los autores llaman a esto "Efecto de Contaminación por Razonamiento".

4. La Solución: Un "Director de Orquesta" (Steering)

En lugar de intentar reentrenar al modelo (que es como intentar enseñarle a un adulto a caminar de nuevo), los autores decidieron reparar el micrófono.

Crearon una técnica llamada "Adición de Activación Contrastiva". Imagina que tienes un control remoto que puede empujar suavemente la señal del cerebro del modelo hacia la dirección correcta.

Su proceso tiene dos pasos:

Escuchar la verdad interna: Primero, el modelo lee la pregunta y mira su propio "Canal A" (la señal interna de verdad) para saber si va a acertar o fallar.
Ajustar el volumen: Luego, usan ese control remoto para empujar la señal del "Canal B" (lo que va a decir en voz alta) para que coincida con la verdad interna.

Si el modelo sabe que va a fallar, el control remoto le susurra: "Baja el volumen de tu confianza". Si sabe que va a acertar, le dice: "Sube un poco la confianza".

5. El Resultado: ¡Milagros de Precisión!

Al aplicar este "control remoto":

La IA dejó de ser arrogante.
Cuando dijo "Estoy 90% seguro", acertó el 90% de las veces.
Funcionó en diferentes modelos y tipos de preguntas (matemáticas, cultura general, etc.).

En Resumen

Este estudio nos dice que la IA no necesita aprender a ser honesta; ya es honesta por dentro. El problema es que su "boca" no escucha a su "cerebro".

La solución no es darle más clases, sino conectarle un cable que le permita escuchar su propia intuición interna antes de hablar. Es como ponerle un espejo al modelo para que vea sus propias dudas antes de salir a hablar con nosotros.

La lección final: A veces, para arreglar a una inteligencia artificial, no necesitamos cambiar su personalidad, solo necesitamos asegurarnos de que escuche lo que realmente piensa.

Resumen Técnico: Cerrando la Brecha de Confianza-Veracidad en LLMs

1. El Problema: Desalineación entre Confianza Verbalizada y Precisión

Los Modelos de Lenguaje Grandes (LLMs) sufren sistemáticamente de una mala calibración, manifestándose principalmente de dos formas:

A nivel de token: Las probabilidades de salida no reflejan la precisión real.
A nivel verbal: Los modelos tienden a agrupar sus declaraciones de confianza (ej. "tengo un 95% de certeza") en el extremo superior del rango, independientemente de si su respuesta es correcta o incorrecta.

Este fenómeno se agrava con el ajuste fino (fine-tuning) y el aprendizaje por refuerzo con retroalimentación humana (RLHF), que comprimen aún más la confianza verbal hacia la certeza absoluta. El problema crítico es que, cuando un modelo dice estar "95% seguro" pero solo acierta el 40% de las veces, las consecuencias en aplicaciones de alto riesgo (como diagnósticos médicos) pueden ser catastróficas.

La hipótesis central de los autores es que esta descalibración no se debe a una falta de conocimiento interno, sino a una falla en la lectura de señales (readout failure). La información necesaria para declaraciones de confianza fieles ya existe en el flujo residual del modelo, pero el proceso de generación falla al utilizarla.

2. Metodología

El estudio emplea técnicas de interpretabilidad mecánica para analizar y manipular las representaciones internas del modelo. Se utilizan tres familias de modelos (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B) y cuatro conjuntos de datos (MATH, MMLU, TriviaQA, TruthfulQA).

Las herramientas metodológicas clave son:

Sondeo Lineal de Calibración Dorada (Gold Calibration Linear Probing): Se entrenan regresores de ridge sobre vectores de activación extraídos del flujo residual para predecir la precisión empírica (la probabilidad de que el modelo responda correctamente). Esto verifica si la información de precisión está codificada linealmente.
Adición de Activación Contrastiva (CAA - Contrastive Activation Addition): Se construyen vectores de dirección (steering vectors) restando las activaciones de instancias de baja confianza de las de alta confianza. Estos vectores se inyectan en el flujo residual durante la generación para alterar causalmente el comportamiento del modelo.
Diseño de Prompts: Se comparan tres tipos de prompts para disociar las representaciones:
1. Pura Corrección: Solo responder la pregunta.
2. Pura Confianza: Solo declarar el nivel de confianza sin responder.
3. Conjunta: Resolver la pregunta y declarar la confianza simultáneamente.

3. Contribuciones Clave y Descubrimientos

A. Disociación Geométrica (Orthogonalidad)
Los autores descubrieron que la información de precisión interna ("gold calibration") y la confianza verbalizada se codifican en direcciones lineales casi ortogonales en el espacio de activaciones (similitud de coseno < 0.04).

El modelo "sabe" cuándo es probable que esté equivocado (la señal existe y es linealmente accesible).
Sin embargo, el proceso de generación utiliza una dirección diferente para verbalizar la confianza, ignorando la señal de precisión interna.

B. Efecto de Contaminación por Razonamiento (Reasoning Contamination Effect)
Este es un hallazgo crucial: cuando se pide al modelo que resuelva un problema y declare su confianza en la misma generación (prompt conjunto), la relación entre las direcciones de precisión y confianza se invierte.

En condiciones puras, la correlación es débilmente positiva (+0.26).
En condiciones conjuntas, la correlación se vuelve fuertemente negativa (-0.63).
Interpretación: El proceso de razonamiento "contamina" la señal de confianza, haciendo que el modelo exprese mayor confianza precisamente cuando está luchando con el problema, invirtiendo la relación entre lo que sabe y lo que dice.

C. Calibración Basada en Dirección (Steering)
Se demostró que los vectores de dirección de confianza son causalmente activos. Al inyectar estos vectores, se puede desplazar la confianza verbalizada de manera controlada y lineal, generalizando a través de diferentes conjuntos de datos y transfiriéndose desde modelos base a sus versiones ajustadas (instruct).

4. Resultados: Pipeline de Dirección Adaptativa en Dos Etapas

Para cerrar la brecha de calibración, los autores proponen un pipeline que evita el "Efecto de Contaminación" separando las tareas:

Estimación del Objetivo (Etapa 1): Se utiliza un sondeo lineal sobre el estado interno del modelo (antes de generar la respuesta) para predecir la precisión empírica de la pregunta. Esta predicción se convierte en el "objetivo" de confianza que el modelo debería expresar.
Dirección Adaptativa (Etapa 2): Se aplica la dirección de confianza (CAA) utilizando exclusivamente el prompt de "pura confianza". Se ajusta la fuerza de la dirección ( $\alpha$ ) para que la confianza verbalizada coincida con la precisión estimada en la Etapa 1.

Métricas de Desempeño:

El método reduce el Error de Calibración Esperado (ECE) entre 4 y 7 veces en comparación con la confianza verbalizada no dirigida.
En Mistral-7B, el ECE bajó de 35.1 a 3.3.
Supera significativamente a métodos basados en prompts (como SteerConf) y a la línea base de logit.
Los vectores de dirección derivados de modelos base funcionan eficazmente en sus contrapartes ajustadas (instruct), sugiriendo que la señal de confianza persiste tras el ajuste fino, aunque el proceso de generación falla al leerla.

5. Significado e Implicaciones

Cambio de Paradigma: El trabajo demuestra que la descalibración verbal es un problema de lectura de señales (readout) y no de falta de conocimiento. La solución no requiere reentrenar el modelo desde cero, sino corregir cómo se extrae la información interna.
Seguridad y Confiabilidad: Proporciona un mecanismo directo para hacer que las declaraciones de incertidumbre de los LLMs sean fieles a su rendimiento real, lo cual es vital para la implementación segura en dominios críticos.
Generalidad: La dirección de confianza es una característica estable y general en las representaciones de los LLMs, que sobrevive al ajuste fino y se transfiere entre modelos de diferentes arquitecturas.
Limitaciones: El estudio se centra en tareas de preguntas y respuestas con respuestas verificables y modelos de 7-8B parámetros. La extensión a generación abierta y modelos de mayor escala (donde las representaciones podrían ocupar subespacios de mayor dimensión) requiere investigación futura.

En conclusión, el artículo establece que al identificar y corregir la lectura de las señales internas de precisión, es posible alinear la confianza verbalizada con la realidad, cerrando una brecha fundamental en la fiabilidad de los LLMs.