💬 NLP

Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning

Este artículo introduce la Diferencia de Logit Normalizada (NLDD), una métrica que revela un "Horizonte de Razonamiento" constante en los modelos de Cadena de Pensamiento donde los pasos más allá del 70–85% de la longitud de la cadena pierden fidelidad, demostrando que la precisión por sí sola no garantiza un razonamiento genuino.

Autores originales: Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Publicado 2026-06-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo a un mago realizar un truco complejo. Saca un conejo de un sombrero, pero antes de hacerlo, te da un discurso largo y detallado sobre cómo lo va a lograr. Explica los pasos, la física y las palabras mágicas.

Ahora, aquí está la gran pregunta: ¿Salió el conejo realmente debido a las palabras mágicas que acaba de decir el mago, o el mago ya tenía el conejo en su bolsillo todo el tiempo, y el discurso fue solo una distracción elegante para hacerte pensar que estaba haciendo magia real?

Este artículo plantea exactamente esa misma pregunta sobre los modelos de Inteligencia Artificial (IA). Cuando una IA resuelve un problema difícil de matemáticas o lógica, a menudo escribe una "Cadena de Pensamiento" (Chain of Thought o CoT): una explicación paso a paso de su trabajo. Los autores quieren saber: ¿Está la IA usando realmente esos pasos para hallar la respuesta, o simplemente está inventando una historia después de haber adivinado la respuesta?

La nueva herramienta: La prueba del "Descenso de Confianza" (NLDD)

Para encontrar la respuesta, los autores inventaron una nueva prueba llamada NLDD (Decaimiento de la Diferencia de Logit Normalizada).

Piénsalo de esta manera: Imagina que vas conduciendo un coche y tu GPS te da instrucciones paso a paso.

Conducción Fiel: Si el GPS dice "Gira a la izquierda" y tú giras a la izquierda, llegas a tu destino. Si ignoras el GPS y giras a la derecha, te pierdes. Las instrucciones importaban.
Conducción Infiel: Si el GPS dice "Gira a la izquierda", pero tú ya ibas a girar a la izquierda porque conocías el camino, las instrucciones no cambiaron realmente tu trayectoria. O peor aún, si el GPS dice "Gira a la izquierda" y tú aun así giras a la izquierda, pero el GPS en realidad intentaba engañarte para que giraras a la derecha, entonces las instrucciones fueron una distracción.

La prueba de los autores funciona saboteando la explicación de la IA. Toman una explicación perfecta, cambian un paso para que sea erróneo (como decirle a la IA "Suma 2 + 2 = 5") y luego observan qué sucede con la confianza de la IA en su respuesta final.

Si la IA es "Fiel": Cuando rompen la explicación, la IA se confunde y pierde confianza. Esto demuestra que la IA realmente estaba usando los pasos para pensar.
Si la IA es "Infiel" (o "Anti-fiel"): Cuando rompen la explicación, la confianza de la IA no cae, ¡o incluso podría subir! Esto demuestra que la IA no necesitaba los pasos para nada; ya sabía la respuesta (o la había adivinado) antes de empezar a escribir.

El gran descubrimiento: El "Horizonte de Razonamiento"

Los autores probaron tres tipos diferentes de modelos de IA (DeepSeek, Llama y Gemma) en tres tipos de acertijos (matemáticas, lógica y reglas de lenguaje). Encontraron algo sorprendente: el razonamiento de la IA tiene un "horizonte".

Imagina una cuerda larga. ¿El primer 70% a 85% de la cuerda es fuerte y útil? Pero, ¿el último 15% a 30%? Es solo un hilo suelto y colgante.

El Punto Dulce: Para todos los modelos, la IA realmente necesita la primera parte de su explicación para resolver el problema.
El Horizonte: Una vez que la IA pasa cierto punto (aproximadamente el 70–85% del camino), escribir más pasos no ayuda. De hecho, para algunos modelos, escribir más pasos en realidad perjudica su rendimiento. Es como si la IA empezara a hablar solo para llenar el silencio, aunque ya haya resuelto el problema.

El problema de "Clever Hans"

El artículo destaca un fenómeno aterrador llamado el efecto "Clever Hans". En la década de 1900, hubo un caballo llamado Hans que parecía saber matemáticas. Golpeaba el suelo con el casco el número correcto de veces. Pero resultó que no estaba haciendo matemáticas; estaba leyendo el lenguaje corporal de la persona que le hacía la pregunta.

Los autores descubrieron que algunos modelos de IA (específicamente el modelo Gemma) actúan como Clever Hans.

Pueden acertar el 99% de las respuestas.
Pero cuando los autores rompieron los "pasos de razonamiento", a la IA no le importó.
Esto significa que la IA no está razonando realmente a través de los pasos, sino que solo está memorizando patrones o adivinando la respuesta, y la "explicación" es solo una historia post-hoc que cuenta para parecer inteligente.

El "Mapa Oculto" vs. El "Conductor"

El artículo también encontró una desconexión extraña llamada la "Brecha de Mapeo".

Imagina a un conductor que tiene un mapa perfecto de la ciudad en su cabeza (el cerebro interno de la IA), pero está conduciendo con los ojos cerrados, siguiendo un camino aleatorio.

La IA tiene la información correcta dentro de su "cerebro" (el mapa está ahí).
Pero no está usando esa información para tomar la decisión final.

Los autores demostraron que, incluso cuando una IA falla completamente en una tarea, todavía puede tener el "mapa" correcto en sus capas. Por el contrario, una IA puede obtener la respuesta correcta pero tener un mapa desordenado y confuso en su interior. Esto demuestra que el hecho de que una IA pueda mostrarte su trabajo, no significa que lo haya hecho.

Resumen

En términos sencillos, este artículo dice:

No confíes en la explicación solo porque parezca inteligente. A veces la IA solo está inventando una historia después de que ya sabe la respuesta.
Existe un "punto de inflexión". Los modelos de IA solo necesitan realmente la primera parte de su explicación para resolver un problema. El resto es, a menudo, ruido.
La precisión no lo es todo. Una IA puede obtener la respuesta correcta el 100% de las veces y, aun así, estar "mintiendo" sobre cómo llegó a ella.

Los autores crearon una nueva herramienta (NLDD) para medir esto, ayudándonos a entender cuándo una IA está pensando de verdad y cuándo solo está fingiendo.

Resumen Técnico: Evidencia Mecanística de la Decadencia de la Fidelidad en el Razonamiento de Cadena de Pensamiento

Planteamiento del Problema
El prompting de Cadena de Pensamiento (CoT, por sus siglas en inglés) se ha convertido en el paradigma estándar para provocar el razonamiento complejo en los Modelos de Lenguaje Extensos (LLMs). Sin embargo, persiste una ambigüedad crítica: ¿reflejan estas explicaciones paso a paso de manera fiel el proceso de toma de decisiones interno del modelo, o son simplemente racionalizaciones post-hoc plausibles? Las evaluaciones existentes suelen tratar la fidelidad como una propiedad binaria de la respuesta final o dependen de métricas de sensibilidad bruta que no son comparables entre diferentes arquitecturas de modelos debido a las variaciones en la escala de salida y la confianza base. Además, no está claro si los modelos utilizan genuinamente los tokens de razonamiento generados para computar respuestas o si dependen de priors precomputados, lo que hace que la cadena de razonamiento sea causalmente irrelevante.

Metodología
Los autores proponen un marco de diagnóstico centrado en la Decadencia del Diferencial de Logit Normalizado (NLDD), una métrica diseñada para cuantificar la fidelidad a nivel de paso. La metodología consta de tres componentes principales:

Intervenciones Contrafácticas: El marco corrompe pasos de razonamiento individuales dentro de una cadena de CoT (por ejemplo, introduciendo errores aritméticos, sustituciones de entidades o errores de profundidad) y trunca los pasos subsiguientes. Esto aisla el impacto causal de tokens específicos en la predicción final.
Métrica NLDD: A diferencia de la precisión binaria, la NLDD mide la degradación en la confianza del modelo (margen de logit) cuando se corrompe un paso de razonamiento. Crucialmente, normaliza esta degradación frente a la variabilidad intrínseca de la salida del modelo (desviación estándar de los logits) para permitir una comparación entre modelos independiente de la arquitectura.
- NLDD Positivo: Indica dependencia causal; la corrupción reduce la confianza.
- NLDD Negativo: Indica "anti-fidelidad"; la corrupción paradójicamente aumenta la confianza, sugiriendo que el modelo ignora o se ve obstaculizado por la cadena de razonamiento.
Diagnósticos Estructurales: Para complementar las métricas de comportamiento, los autores emplean:
- Análisis de Similitud de Representación (RSA): Mide la alineación entre los patrones de los estados ocultos de las cadenas limpias frente a las corrompidas para evaluar la estabilidad representacional interna.
- Puntuación de Alineación de Trayectoria (TAS): Cuantifica la eficiencia geométrica de la trayectoria de razonamiento en el espacio latente.
- Sondeo Lineal (Linear Probing): Prueba si la información relevante para la tarea (por ejemplo, profundidad de pila, valores de verdad) está codificada explícitamente en los estados ocultos, independientemente de si el modelo la utiliza para la predicción.

El marco se evalúa a través de tres familias de modelos (DeepSeek-Coder-6.7B, Llama-3.1-8B y Gemma-2-9B) y tres tareas con distintos niveles de ambigüedad: Dyck-n (sintáctica), PrOntoQA (lógica) y GSM8K (aritmética).

Resultados Clave
El estudio identifica regímenes de comportamiento distintos y un fenómeno estructural consistente en todos los modelos:

Regímenes de Fidelidad vs. Anti-Fidelidad:
- Régimen Fiel: Modelos como Llama y DeepSeek exhiben un NLDD positivo alto, lo que indica que sus predicciones están fundamentadas causalmente en la cadena de razonamiento.
- Régimen Anti-Fiel: Gemma-2 demuestra una alta precisión (por ejemplo, 99% en PrOntoQA) a pesar de presentar un NLDD significativamente negativo (-52.5%). En este régimen, corromper la cadena de razonamiento en realidad mejora la confianza del modelo en la respuesta correcta, lo que sugiere que los tokens de razonamiento actúan como distractores en lugar de impulsores.
La Brecha de Mapeo (Mapping Gap): Se observó una disociación donde los modelos codifican estructuras relevantes para la tarea internamente (alta precisión de sondeo lineal) pero fallan al utilizarlas para la salida final. Por ejemplo, Gemma alcanzó un 82% de precisión de sondeo en la profundidad de pila de Dyck-n pero un 0% de precisión en la tarea, indicando que la información está presente pero no se utiliza causalmente.
El Horizonte de Razonamiento ( $k^*$ ): Los autores identifican un "Horizonte de Razonamiento", definido como la posición del paso donde el impacto causal (NLDD) alcanza su punto máximo. Más allá de este punto (que ocurre al 70–85% de la longitud de la cadena en diversas tareas), los tokens de razonamiento adicionales contribuyen con una influencia causal insignificante o negativa.
- Crucialmente, mientras que el NLDD cae abruptamente más allá de $k^*$ , el RSA y el TAS permanecen estables. Esto sugiere que los modelos continúan generando representaciones internas y trayectorias geométricas coherentes incluso cuando esos pasos ya no influyen en la predicción final.

Significancia y Contribuciones
El artículo realiza tres contribuciones primarias a la comprensión mecánica del razonamiento en LLMs:

NLDD como Métrica de Fidelidad: Introduce una métrica estandarizada e independiente de la arquitectura que revela si el razonamiento de un modelo es causal o decorativo. Demuestra que la alta precisión por sí sola es insuficiente para verificar el razonamiento, ya que los modelos pueden obtener puntuaciones perfectas mientras están completamente desconectados de sus explicaciones de CoT.
Identificación del Horizonte de Razonamiento ( $k^*$ ): El descubrimiento de un punto de transición consistente (70–85% de la longitud de la cadena) donde la influencia causal decae sugiere que las cadenas de CoT a menudo contienen una "zona de poda teórica". Más allá de este horizonte, los tokens de razonamiento pueden ser un formato post-hoc o, en modelos anti-fieles, una interferencia activa.
Evidencia de la Brecha de Mapeo: Los hallazgos desafían las suposiciones en la investigación de interpretabilidad al mostrar que los modelos pueden mantener representaciones internas correctas de la lógica de la tarea sin utilizarlas causalmente para la decodificación. Esto implica que la coherencia superficial en el CoT no garantiza la fidelidad causal.

Los autores concluyen que su enfoque de múltiples métricas proporciona una forma rigurosa de medir cuándo el CoT es relevante, distinguiendo entre un verdadero colapso del razonamiento y cambios superficiales en la salida, y resaltando que, para ciertas arquitecturas, el razonamiento extendido puede ser contraproducente.