🤖 AI

The Knowing-Saying Gap: When Probes See Errors that Confidence Misses

Este artículo revela que, si bien las sondas lineales pueden detectar con precisión el contexto corrupto en los modelos de lenguaje, fallan al predecir de manera fiable la corrección de la respuesta final o al guiar intervenciones efectivas en tiempo real, lo que requiere estrategias de enrutamiento conscientes del modelo y del tipo de error en lugar de una solución de monitoreo de talla única.

Autores originales: Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

Publicado 2026-08-11

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo a un mago realizar un truco de cartas. El mago es tan fluido, tan seguro y tan rápido que nunca sospechas nada. Pero, ¿y si en lo profundo del cerebro del mago, una pequeña alarma gritara: "¡Espera! ¡Acabo de cambiar la carta equivocada!"? En el mundo de la Inteligencia Artificial, específicamente en los Modelos de Lenguaje Extensos (los chatbots superinteligentes que escriben código, planean viajes y resuelven problemas matemáticos), esto es exactamente lo que sucede. Estos modelos son como el mago: pueden hablar con total confianza incluso cuando están cometiendo un error terrible.

Los científicos han esperado durante mucho tiempo que, si un modelo está confundido o equivocado, este "tartamudee" o diga: "No estoy seguro de esto". Esta idea se llama "confianza verbalizada". Es como preguntarle al mago: "¿Estás seguro de que esa es la carta correcta?" y esperar que admita su error. Pero hay otra forma de comprobarlo: mirando sus "ondas cerebrales" internas (señales matemáticas dentro de la computadora) para ver si sabe que se ha equivocado, incluso si no lo dice. Este artículo investiga una brecha aterradora pero fascinante: la diferencia entre lo que un modelo sabe dentro de su cerebro digital y lo que dice en voz alta.

La alarma silenciosa y la mentira confiada

Los investigadores configuraron un patio de juegos digital para probar esto. Crearon 1,400 problemas matemáticos que requerían que un modelo resolviera un rompecabezas paso a paso, como una reacción en cadena. Por ejemplo: "Si tengo 5 manzanas, y compro 3 más, luego pierdo la mitad...". El truco era que plantaron secretamente un error en el primer paso de la cadena. Querían ver dos cosas:

La Alarma: ¿Podría un detector especial (llamado "sonda lineal") detectar que el primer paso era erróneo simplemente mirando la actividad cerebral interna del modelo?
La Predicción: ¿Podría ese mismo detector predecir que la respuesta final sería incorrecta?

Probaron cinco modelos diferentes, incluyendo algunos de los más inteligentes disponibles hoy en día, como Llama-3.1-8B y Qwen3-4B.

El gran descubrimiento: Saber pero no decir

Los resultados fueron un shock. La "alarma" funcionó perfectamente. Cuando el modelo cometía un error, el detector podía detectar el error en las ondas cerebrales internas del modelo con casi un 100% de precisión (específicamente, una puntuación AUROC de 0.997 para un modelo). Era como si el cerebro del modelo estuviera gritando: "¡ERROR! ¡ERROR!".

Pero aquí está el giro: el modelo no escuchó su propia alarma.

A pesar de que la alarma interna estaba sonando con fuerza, la respuesta final del modelo era tan confiada como si estuviera en lo cierto. El detector que podía ver el error perfectamente era completamente inútil para predecir si la respuesta final sería errónea. Es como tener un detector de humo que grita "¡FUEGO!" cuando quemas una tostada, pero el cuerpo de bomberos (la respuesta final del modelo) llega y dice: "Todo está bien, no hay fuego aquí".

El artículo descarta explícitamente algunas cosas que la gente podría esperar que fueran ciertas:

La confianza no es una pista: Cuando le pidieron a los modelos que dijeran qué tan confiados estaban, los modelos simplemente dieron un "Sí" o "No" binario sin ningún tipo de matiz. Un modelo que estaba 99% seguro era tan propenso a estar equivocado como uno que estaba un 50% seguro.
Pensar más no ayuda: Intentaron un "modo de pensamiento" donde el modelo era obligado a escribir su razonamiento paso a paso (Cadena de Pensamiento o Chain-of-Thought). Uno podría pensar que esto ayudaría al modelo a detectar sus propios errores. En cambio, hizo que el modelo fuera peor obteniendo la respuesta correcta (bajando la precisión del 27.9% al 1.2%) sin cambiar el hecho de que la alarma interna seguía sonando. El modelo sabía que estaba equivocado, pero hablar de ello no lo solucionaba.

¿Podemos arreglarlo? La estrategia "Branch-and-Pick"

Dado que los modelos no admitirán que están equivocados, los investigadores intentaron actuar como una "red de seguridad" para ellos. Construyeron un sistema que escucha la alarma interna e intenta corregir el error antes de que el modelo termine su respuesta. Probaron tres formas diferentes de intervenir:

Reprompt (Reprompting): Simplemente decirle al modelo: "¡Oye, revisa tu trabajo!" (Esto no funcionó bien).
Replace-Prior (Reemplazo previo): Borrar el paso incorrecto y obligar al modelo a intentarlo de nuevo desde cero. Esto fue un resultado mixto; salvó algunas respuestas incorrectas pero accidentalmente arruinó algunas correctas.
Branch-and-Pick (Ramificar y Elegir): Este fue el ganador. Cuando la alarma se activaba, el sistema no solo adivinaba; le pedía al modelo que intentara el siguiente paso de cuatro maneras diferentes (usando diferentes niveles de aleatoriedad). Luego, utilizaba la alarma interna para elegir el camino que pareciera más "limpio" (menos propenso a estar corrupto).

Este método "Branch-and-Pick" fue el único que consistentemente salvó respuestas incorrectas sin romper las correctas. En un modelo específico (Llama-3.1-8B), rescató 4 respuestas incorrectas y no rompió ninguna correcta. Sin embargo, el artículo señala que esto no es una solución mágica para cada situación. El éxito dependía en gran medida de qué tipo de error se cometía. Por ejemplo, corregir un error de "unidad incorrecta" funcionó muy bien, pero corregir un error de "porcentaje incorrecto" en realidad empeoró las cosas.

La conclusión

El artículo concluye que no podemos confiar en las palabras de un modelo para saber si tiene razón. Un modelo puede ser internamente consciente de un desastre mientras entrega una respuesta errónea con total confianza. La "Brecha entre Saber y Decir" es real y peligrosa.

La solución no es pedirle al modelo que sea más honesto; es construir un sistema de seguridad "consciente del modelo". Necesitamos escuchar las alarmas internas (las sondas) y usar estrategias inteligentes como "Branch-and-Pick" para atrapar los errores. Pero también debemos tener cuidado: no existe una única solución que funcione para cada tipo de error o cada modelo. El futuro de una IA segura no consiste en confiar en la confianza del chatbot; consiste en construir un guardarraíl que sepa cuándo el chatbot se está mintiendo a sí mismo.

Resumen Técnico: La brecha entre el saber y el decir en los modelos de lenguaje

Declaración del Problema

El artículo aborda un fallo crítico de fiabilidad en los Modelos de Lenguaje Grande (LLM) desplegados, particularmente dentro de los procesos agénticos donde las salidas del modelo alimentan el contexto futuro (por ejemplo, agentes de codificación, planificación de múltiples pasos). En estos entornos, un único error en un paso temprano se propaga a través del contexto subsiguiente, causando una "corrupción de contexto en cascada". El problema central es una disociación entre el estado interno y la salida verbal: los modelos suelen continuar generando texto fluido y confiado incluso después de que su computación interna haya sido corrompida por un error. Esta "fluidez sin fidelidad" hace que las técnicas de monitoreo estándar, como pedir al modelo confianza verbalizada o autocrítica, sean ineficaces porque el conocimiento interno del modelo sobre el error no se traduce en su comportamiento superficial.

Metodología

Los autores investigan este fenómeno utilizando un diseño experimental controlado y contrastivo:

Conjunto de datos: Un conjunto de datos sintético de 1,400 trazas aritméticas de múltiples saltos generadas a partir de 500 problemas base. El conjunto incluye trazas "limpias" y trazas "corruptas" donde un salto (paso) específico es reemplazado con un valor sintéticamente erróneo. Se utilizan cinco tipos de error distintos: off_by_one (error por uno), wrong_operator (operador incorrecto), wrong_unit (unidad incorrecta), magnitude_error (error de magnitud) y wrong_percentage_base (base de porcentaje incorrecta).
Modelos: La evaluación abarca cinco modelos de dos familias (Qwen y Llama), incluyendo variantes ajustadas por instrucciones y de razonamiento (modo de pensamiento), que van desde 3B hasta 8B de parámetros.
Entrenamiento de la sonda (Probe Training): Se entrena una sonda lineal (regresión logística) sobre las activaciones del flujo residual de los modelos congelados. La sonda se entrena para distinguir entre contextos limpios y corruptos utilizando dos modos de agregación: último token (last-token) y media sobre tokens (mean-over-tokens).
Métricas clave:
- Detección ( $AUROC_{detect}$ ): La capacidad de la sonda para distinguir un contexto corrupto de uno limpio.
- Predicción de fallos ( $AUROC_{fail}$ ): La capacidad de la sonda para predecir si la corrupción resultará en una respuesta final incorrecta, dado que el error ya ha ocurrido.
- Señales superficiales: Se computan seis señales de incertidumbre escalares (ej. entropía, confianza, brecha de vocabulario) a partir de los logits de los tokens para servir como líneas de base.
Intervenciones: Se prueban tres estrategias activadas por la sonda para ver si detectar el error puede mejorar la precisión final:
1. Reprompt: Añadir una instrucción de revisión (recheck).
2. Replace-prior: Regenerar el salto anterior desde cero.
3. Branch-and-pick: Muestrear múltiples continuaciones y seleccionar la que tenga la puntuación de error de la sonda más baja.

Contribuciones Clave

Conjunto de datos contrastivo: Un conjunto de datos determinista, libre de intervención humana, de 1,400 trazas con cinco tipos de error, evaluado a través de variantes de modelos ajustados por instrucciones y de razonamiento.
Colapso de la Detección vs. Predicción de Fallos: Una caracterización que muestra que, si bien las sondas pueden detectar la corrupción con una precisión casi perfecta, fallan al predecir si esa corrupción conducirá a una respuesta final incorrecta.
Análisis de Intervención: Una comparación controlada de tres políticas de intervención, revelando que ninguna estrategia es universalmente efectiva; la eficacia depende altamente del modelo y del tipo de error.
Hipótesis Refutada: Los autores pre-registraron y posteriormente refutaron la hipótesis de que la "persistencia de la activación de la sonda a través de los saltos" predice el fallo.
Controles de Robustez: Evidencia de que la señal de detección no es un artefacto de filtración de datos o de firmas de tokens superficiales, demostrado mediante validación cruzada agrupada y evaluaciones de exclusión de un tipo de error (leave-one-error-type-out).

Resultados

1. La disociación entre el Saber y el Decir

Alta precisión de detección: Las sondas lineales detectan errores inyectados con un $AUROC_{detect} > 0.98$ en todos los modelos, alcanzando un máximo de 0.997 en Llama-3.1-8B. La señal emerge principalmente de la transición entre la capa 0 y la capa 1.
Fracaso en la predicción de fallos: A pesar de la alta precisión de detección, las mismas sondas no son informativas sobre la corrección de la respuesta final. El $AUROC_{fail}$ colapsa a niveles cercanos al azar (0.47–0.53) en todos los modelos. El modelo "sabe" que el contexto está corrupto pero no lo "dice" (o actúa sobre) ese conocimiento para prevenir una salida final incorrecta.
Señales superficiales: La confianza verbalizada y otras señales de incertidumbre superficial funcionan al nivel del azar ( $AUROC \approx 0.5$ ) para la detección y no muestran correlación con la corrección final. La confianza suele colapsar a extremos binarios (0 o 1) con tasas de error indistinguibles entre los dos grupos.

2. Impacto de los Modos de Razonamiento

Habilitar el "modo de pensamiento" (cadena de pensamiento extendida) en Qwen3-4B no cerró la brecha. Aunque aumentó el conteo de tokens, degradó la precisión de la condición de error del 27.9% al 1.2% sin cambiar la capacidad de la sonda para detectar el estado de error interno. Esto sugiere que la codificación interna de la corrupción persiste incluso cuando el canal de salida se ve interrumpido.

3. Efectividad de la Intervención

Branch-and-pick: Esta fue la única política con un resultado neto positivo en todos los modelos y la única que no fue destructiva en Llama-3.1-8B (4 rescatadas, 0 rotas). Sin embargo, aumenta significativamente el costo de inferencia.
Replace-prior: Esta estrategia rescató trazas incorrectas pero rompió trazas correctas a una tasa comparable, resultando en ninguna ganancia neta.
Reprompt: Generalmente ineficaz.
Heterogeneidad: El éxito de la intervención depende altamente del tipo de error. Por ejemplo, replace-prior fue altamente efectivo para errores de wrong_unit pero neto-negativo para errores de wrong_percentage_base.

Significancia y Reclamaciones

El artículo afirma que el monitoreo basado en sondas es un complemento necesario de la confianza verbalizada, no un reemplazo. El hallazgo central es que la suposición de que el estado interno de un modelo es accesible a través de sus salidas verbales es falsa en el contexto de errores en cascada.

Decodificabilidad, no Causalidad: Los autores enfatizan que, aunque la señal de error es linealmente decodificable del flujo residual, esto no implica que la política de generación consulte dicha señal. Las intervenciones que eliminan el valor corrupto (replace-prior) reducen las tasas de activación de la sonda pero no mejoran proporcionalmente la precisión, lo que sugiere que la dirección sondeada no es la causa próxima de la respuesta incorrecta.
Implicaciones de Despliegue: No existe una solución de "talla única". La solución desplegable es el enrutamiento consciente del modelo y del tipo de error. Dado que ninguna intervención única domina, los sistemas deben enrutar hacia estrategias de corrección específicas basadas en el modelo y el tipo de error predicho.
Limitaciones: Los autores señalan que sus intervenciones no son estrictamente seguras (pueden romper trazas correctas) y que branch-and-pick incurre en costos computacionales significativos. El artículo plantea la estrategia de enrutamiento como una dirección para el trabajo futuro en lugar de una solución totalmente desplegable, ya que actualmente carece de un clasificador robusto de tipos de error.

En conclusión, el artículo establece que para los sistemas agénticos, confiar en que el modelo "diga" que está cometiendo un error es insuficiente. El monitoreo del estado interno mediante sondas lineales ofrece un mecanismo de detección de alta fidelidad, pero cerrar la brecha entre la detección y la corrección exitosa requiere estrategias de intervención matizadas y específicas para cada contexto.