💬 NLP

Integrated and Cross-Architecture Interpretation of LLM Reasoning

Este artículo presenta el marco de Razonamiento Integrado entre Arquitecturas (IAR), que combina el análisis de Pico de Información Mutua calibrado por ancho de banda con las métricas de superposición de la Proporción de Pensamiento Profundo y estabilidad de Jaccard para ofrecer un método unificado y generalizable para interpretar patrones de razonamiento en diferentes arquitecturas y dominios de modelos de lenguaje grandes.

Autores originales: Leonardo Matthew Yauw, Wei-Bin Kou, Yujiu Yang

Publicado 2026-05-28

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Leonardo Matthew Yauw, Wei-Bin Kou, Yujiu Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo a un mago realizar un truco complejo. Puedes ver el resultado final (el conejo en el sombrero) y escuchar la explicación hablada del mago ("Ahora, observa atentamente mientras saco al conejo..."). Pero no puedes ver los movimientos secretos que ocurren dentro del sombrero ni el proceso de pensamiento interno del mago.

Durante mucho tiempo, los investigadores han intentado descifrar cómo los Modelos de Lenguaje Grandes (LLM) "piensan" para resolver problemas difíciles como ecuaciones matemáticas o acertijos de programación. Pueden ver las palabras que la IA escribe (la "cadena de razonamiento"), pero el trabajo mental real que ocurre dentro del cerebro de la computadora sigue siendo una caja negra.

Este artículo, titulado "Interpretación Integrada y de Arquitectura Cruzada del Razonamiento de los LLM", propone una nueva forma de echar un vistazo dentro de esa caja negra. Los autores, Leonardo Matthew Yauw, Wei-Bin Kou y Yujiu Yang, argumentan que observar solo una pista no es suficiente. En su lugar, han creado un kit de detective de tres partes llamado IAR (Razonamiento Integrado e Independiente de la Arquitectura) para comprender cómo razonan diferentes modelos de IA.

Así es como funciona su método, explicado con analogías simples:

Las Tres Pistas del Kit de Detective IAR

Los investigadores se dieron cuenta de que los métodos anteriores eran como intentar resolver un misterio con solo la mitad de las pruebas. Combinaron tres "sondas" diferentes para obtener la imagen completa:

1. El Detector del Momento "¡Ajá!" (MIP)

La Analogía: Imagina que estás escuchando una conferencia. La mayor parte del tiempo, el orador solo está llenando espacio. Pero ocasionalmente, dice algo que conecta perfectamente con la clave de respuestas. Esa palabra específica es un momento "¡Ajá!".
La Ciencia: El equipo utiliza una herramienta llamada Pico de Información Mutua (MIP). Escanea la salida de la IA para encontrar palabras específicas (tokens) que portan la mayor información sobre la respuesta correcta.
El Truco: Para que esto funcione en diferentes tipos de modelos de IA, tuvieron que "calibrar" la herramienta, como ajustar el enfoque de un lente de cámara, para que no se vea borrosa en algunos modelos ni demasiado nítida en otros.

2. El Rastreador del "Pensamiento Profundo" (DTR)

La Analogía: Imagina a un estudiante resolviendo un problema matemático. Algunos pasos son fáciles y ocurren instantáneamente (pensamiento superficial). Otros pasos requieren que el estudiante se detenga, se rasque la cabeza y piense profundamente antes de escribir algo (pensamiento profundo).
La Ciencia: Utilizan una herramienta llamada Ratio de Pensamiento Profundo (DTR). Esto mide cuánto "trabajo computacional" ocurre dentro de las capas del modelo antes de que se elija finalmente una palabra. Si una palabra solo se decide después de que el modelo la ha procesado a través de muchas capas profundas, es un token de "pensamiento profundo".

3. La Verificación de "Consistencia" (Estabilidad Jaccard)

La Analogía: Si le haces la misma pregunta difícil a un estudiante tres veces, ¿usará exactamente los mismos pasos clave para resolverla? Si lo hace, probablemente realmente entiende el concepto. Si adivina de manera diferente cada vez, podría ser solo suerte.
La Ciencia: Los investigadores le preguntan a la IA el mismo problema tres veces con ligeras variaciones. Verifican si las palabras "¡Ajá!" (del paso 1) aparecen en los mismos lugares cada vez. Si lo hacen, el razonamiento es estable y genuino. Si cambian drásticamente, el razonamiento podría ser una casualidad.

El Gran Descubrimiento: Unir las Pistas

El hallazgo más emocionante del artículo es lo que sucede cuando combinamos estas pistas.

El Efecto "Filtro":
Los investigadores descubrieron que las palabras "¡Ajá!" (MIP) son casi siempre un subconjunto pequeño y especial de las palabras de "Pensamiento Profundo" (DTR).

Piénsalo así: Imagina una fábrica que produce 1.000 piezas (pensamientos profundos). La mayoría son solo partes estándar. Pero solo 50 de ellas son los engranajes críticos que realmente hacen funcionar la máquina.
La herramienta MIP actúa como un filtro que encuentra esos 50 engranajes críticos dentro de la pila de 1.000 pensamientos profundos.
Por qué esto importa: Antes, la gente pensaba que "Pensamiento Profundo" significaba "Buen Razonamiento". Este artículo muestra que solo porque un modelo está pensando duro no significa que esté pensando correctamente. Necesitas el filtro "¡Ajá!" para encontrar los pensamientos difíciles correctos.

Pruebas en Diferentes Modelos

El equipo no solo probó esto en una IA. Lo probaron en tres modelos diferentes (Qwen-7B, Qwen-14B y Llama-8B) en cuatro tipos de tareas: Matemáticas, Programación, Lógica y Sentido Común.

Los Resultados:

Patrón Universal: El efecto "Filtro" (donde las palabras críticas "¡Ajá!" son una pequeña parte de los pensamientos profundos) funcionó de la misma manera en los tres modelos, aunque fueron construidos de manera diferente. Esto sugiere una forma universal en la que los modelos de IA razonan.
Suerte vs. Genuino: Pudieron distinguir entre un modelo que realmente resolvió un problema y uno que tuvo suerte.
- Razonamiento Genuino: El modelo encontró unas pocas palabras "¡Ajá!" muy específicas y se mantuvo fiel a ellas consistentemente.
- Adivinación por Suerte: El modelo produjo muchas palabras "¡Ajá!", pero estaban dispersas, eran inconsistentes y no coincidían entre diferentes intentos.
El Fracaso "Silencioso": A veces el modelo obtiene la respuesta incorrecta pero aún así produce una cadena de razonamiento. El equipo descubrió que en estos casos, las palabras "¡Ajá!" estaban ausentes o eran inestables.

Lo Que Esto Significa (y Lo Que No)

Lo que el artículo afirma:

Ahora podemos ver dónde y cómo razonan los modelos de IA al observar palabras específicas y la profundidad con la que el modelo piensa sobre ellas.
Este método funciona en diferentes tipos de modelos de IA, no solo en una marca específica.
Podemos distinguir entre un modelo que realmente entiende un problema y uno que solo está adivinando o alucinando.

Lo que el artículo NO afirma:

No dice que esto hará que la IA sea más inteligente en el futuro.
No afirma que esto pueda usarse para diagnosticar problemas de salud mental o clínicos en humanos.
No promete que ahora podamos "arreglar" los errores de razonamiento de la IA inmediatamente; solo nos da una mejor manera de verlos.

Resumen

Piensa en este artículo como la invención de un nuevo par de gafas. Antes, cuando mirábamos a una IA resolviendo un problema matemático, veíamos una borrosidad de palabras. Con estas nuevas gafas (el marco IAR), podemos ver claramente los momentos específicos en los que la IA está haciendo su trabajo real, distinguir entre una idea brillante y una adivinación por suerte, y confirmar que este "estilo de pensamiento" es una parte fundamental de cómo funcionan estas máquinas, independientemente de su marca.

Resumen Técnico: Interpretación Integrada y Trans-Arquitectónica del Razonamiento de los LLM

1. Planteamiento del Problema

La interpretabilidad del razonamiento de los Modelos de Lenguaje Grande (LLM) se ve obstaculizada por una asimetría fundamental: mientras que las cadenas de razonamiento generadas (salidas) son observables, las trayectorias computacionales internas que las producen permanecen opacas. Los métodos existentes de interpretabilidad sufren dos limitaciones principales:

Aislamiento de los Sondas: Los métodos actuales dependen de sondas individuales que proporcionan vistas parciales. Los Picos de Información Mutua (MIP) identifican tokens con alto contenido de información respecto a la respuesta dorada en la capa de salida, pero ignoran la profundidad computacional requerida para producirlos. Por el contrario, la Relación de Pensamiento Profundo (DTR) mide la profundidad computacional mediante la divergencia entre capas, pero se activa en demasiados tokens para servir como señal discriminativa por sí sola para la relevancia del razonamiento.
Falta de Validación Trans-Arquitectónica: Los análisis previos a menudo se confinan a una sola familia de modelos, lo que dificulta distinguir las propiedades fundamentales del razonamiento de los artefactos arquitectónicos.

2. Metodología: El Marco IAR

Los autores proponen el marco de Razonamiento Integrado y Agnóstico a la Arquitectura (IAR), una tubería unificada que analiza el razonamiento a lo largo de tres ejes: relevancia del razonamiento, profundidad computacional y robustez ante el ruido.

2.1 Aislamiento de Tokens Cruciales para el Razonamiento (Capa de Salida)

El marco aísla primero los tokens críticos para el razonamiento utilizando un MIP Calibrado en Ancho de Banda:

Estimación HSIC: La Información Mutua (MI) entre la representación de salida de un token y la incrustación de la respuesta dorada se estima utilizando el Criterio de Independencia Hilbert–Schmidt (HSIC) con un kernel RBF gaussiano.
Calibración del Ancho de Banda: Para evitar el colapso del kernel (saturación de similitudes), el ancho de banda del kernel ( $\sigma$ ) se calibra por arquitectura. Para los modelos Qwen, se utiliza un $\sigma=50$ fijo; para Llama-8B, se aplica una heurística de mediana por problema basada en las distancias de los estados ocultos.
Detección de Picos: Una regla no paramétrica de Rango Intercuartílico (IQR) de Tukey identifica los tokens "cruciales para el razonamiento" ( $P_q$ ) donde la MI supera $Q3 + 1.5 \times IQR$ .

2.2 Análisis de Trayectoria Trans-Capas (Profundidad Computacional)

El marco rastrea luego la profundidad computacional de estos tokens utilizando DTR:

Divergencia de Jensen–Shannon (JSD): Se calcula la divergencia entre la distribución predictiva de cada capa oculta y la capa final.
Capa de Estabilización: Un token se define como DTR-profundo si su distribución predictiva solo se estabiliza (JSD < umbral) en las capas superiores de la red.
Análisis de Superposición: El marco realiza un análisis de superposición a nivel de conjunto entre el conjunto MIP ( $P_q$ $P_{q}$ ) y el conjunto DTR-profundo ( $D_q$ $D_{q}$ ). Se prueban dos hipótesis:
- Independencia ( $H_1$ ): Los MIP están dispersos entre tokens profundos y superficiales.
- Contención ( $H_2$ ): $P_q \subseteq D_q$ , lo que implica que los MIP son un subconjunto disperso y relevante para el razonamiento de los tokens computacionalmente profundos.

2.3 Validación de la Calidad del Razonamiento (Robustez ante el Ruido)

Para verificar que los tokens identificados reflejen un razonamiento genuino y no artefactos estocásticos, el marco emplea una métrica de Estabilidad de Jaccard de Tercera Vía:

Generación Estocástica: Se generan tres cadenas de razonamiento con semillas independientes para cada problema.
Métrica de Estabilidad ( $J_3$ ): La intersección de los conjuntos MIP entre las tres generaciones se divide por su unión.
Taxonomía: Los problemas se categorizan en Genuinos (estructura MIP correcta y estable), Afortunados (correctos pero con estructura MIP inestable) y Silenciosos (incorrectos) basándose en la corrección y $J_3$ .
Discriminación: Las estadísticas agregadas de MIP (conteo de picos, relación, intensidad) se prueban para ver si discriminan los problemas Genuinos de los Afortunados/Silenciosos utilizando pruebas U de Mann–Whitney.

3. Configuración Experimental

Modelos: Tres modelos de razonamiento de la familia DeepSeek-R1-Distill: Qwen-7B, Qwen-14B y Llama-8B.
Dominios: Matemáticas (GSM8K), Código (MBPP), Lógica (Expresiones Booleanas BBH) y Sentido Común (CommonsenseQA).
Decodificación: Determinista (greedy) para el análisis de detección/superposición; Estocástica (muestreo, $T=0.7$ ) para la estabilidad y discriminación de calidad.

4. Resultados Clave

Los experimentos arrojan cuatro hallazgos principales a través de las tres arquitecturas y los cuatro dominios:

Detectabilidad (RQ1): La detección de MIP calibrada en ancho de banda es viable en todas las arquitecturas pero muestra sensibilidad condicional. Llama-8B exhibe una detección uniforme en todos los dominios. Los modelos Qwen muestran una división: alta detección en tareas simbólicas (matemáticas, código) pero detección cercana a cero en tareas de lenguaje natural (lógica, sentido común) para Qwen-7B, atribuido a la dimensionalidad de las incrustaciones y las interacciones del ancho de banda del kernel.
Contención (RQ2): La Hipótesis de Contención ( $H_2$ ) está fuertemente respaldada. Los tokens identificados por MIP son un subconjunto de alta precisión (Precisión del Pool de Tokens $\approx 0.82$ ) de los tokens DTR-profundos. Esto confirma que los tokens cruciales para el razonamiento son computacionalmente intensivos, y que el MIP actúa como un filtro interpretable sobre el conjunto más amplio de tokens profundos.
Estabilidad (RQ3): Si bien la existencia del MIP es estable por muestra (el evento binario de detectar picos es reproducible), la identidad específica de los tokens MIP es frágil por muestra (baja estabilidad de Jaccard, $J_3 \approx 0.09–0.28$ ). Esto sugiere que la calidad del razonamiento debe evaluarse mediante estadísticas agregadas en lugar de identidades de tokens específicas.
Discriminación de Calidad (RQ4): Las estadísticas agregadas de MIP discriminan el razonamiento genuino de las conjeturas afortunadas. Contra intuitivamente, los problemas genuinos exhiben menos MIP, más dispersos y más débiles que los afortunados. Esto respalda una visión de "economía del razonamiento" donde las soluciones verdaderas dependen de unos pocos anclajes agudos, mientras que las trayectorias afortunadas producen actividad de MI difusa y de alto volumen. Esta discriminación es portable entre arquitecturas, aunque los tamaños del efecto varían (más fuertes en Qwen-14B).

5. Significado y Contribuciones

El artículo afirma las siguientes contribuciones:

Marco Unificado: Introduce IAR, un paradigma que revela conjuntamente el razonamiento mediante relevancia, profundidad y robustez, superando las sondas aisladas.
Insight Composicional: Establece que MIP y DTR no son métricas competitivas sino composicionales; MIP filtra los tokens computacionalmente profundos identificados por DTR para encontrar el subconjunto relevante para el razonamiento.
Generalización Trans-Arquitectónica: Proporciona la primera evidencia de un patrón de razonamiento transferible (contención de MIP dentro de tokens DTR-profundos) a través de diferentes familias de modelos (Qwen y Llama) y escalas.
Rigor Metodológico: Demuestra la necesidad de una evaluación estocástica multi-semilla y calibración de ancho de banda para evitar artefactos arquitectónicos, refinando la comprensión de los "tokens de pensamiento" en los LLM.

Los autores concluyen que, si bien las identidades de los tokens individuales son inestables, las propiedades estadísticas agregadas de las trazas de razonamiento ofrecen una señal robusta e invariante a la arquitectura para distinguir el razonamiento genuino del éxito estocástico.