💻 computer science

DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition

Este artículo presenta DMDIntel, un novedoso marco de interpretabilidad que aprovecha la descomposición de modos dinámicos para descomponer los estados ocultos de los LLM en modos prominentes y clasificar los tokens de entrada, demostrando un rendimiento superior sobre los métodos de atribución del estado del arte como PCA, gradientes integrados y SHAP a través de múltiples conjuntos de datos y familias de modelos.

Autores originales: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Publicado 2026-08-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo a un mago sacar un conejo de un sombrero. Ves el sombrero, ves al conejo, pero la magia ocurre en la fracción de segundo entre los dos, oculta dentro de las mangas del mago. Durante mucho tiempo, la Inteligencia Artificial (IA) ha sido ese mago. Le damos una frase y nos da una respuesta, pero nadie sabe realmente cómo decidió esa respuesta. La IA es una "caja negra", y los científicos están desesperados por mirar dentro para ver qué palabras le importaron realmente a la computadora. Este campo se llama "interpretabilidad". Para entender el nuevo artículo, primero necesitas saber dos cosas: cómo lee texto la IA y cómo intentamos mirar dentro habitualmente.

Los modelos de IA, específicamente los llamados "Modelos de Lenguaje Extensos" (LLM), no leen palabras como nosotros. En su lugar, convierten cada palabra en una larga lista de números (un vector) y las pasan a través de una serie de capas, como una carrera de relevos. En cada capa, los números cambian ligeramente, mezclando el significado de la palabra actual con las palabras que vinieron antes. Al final de la carrera, el modelo tiene un conjunto final de números que deciden la respuesta. Usualmente, para averiguar qué palabras importaron, los científicos usan herramientas que observan el estado "estático" del modelo, como tomar una sola foto de la carrera de relevos y adivinar quién corría más rápido. Pero este artículo sugiere que mirar una sola foto pierde toda la historia. Argumenta que deberíamos ver la película de la carrera, observando cómo evolucionan los números de un paso al siguiente, porque el secreto del pensamiento de la IA está en ese movimiento.

Entra DMDINTEL, un nuevo método introducido por Amogh Joshi y su equipo de el IIT Kharagpur y la Universidad de Manchester. Piensa en el procesamiento interno de la IA no como una lista estática de números, sino como un río que fluye. A medida que la IA lee una oración, el "agua" (la información oculta) ondula y cambia de forma con cada nueva palabra. Los investigadores utilizaron una herramienta matemática llamada Descomposición de Modos Dinámicos (DMD) —inventada originalmente para estudiar cómo el agua se arremolina en la mecánica de fluidos— para mapear estas ondulaciones.

Así es como funciona en la práctica la analogía del "río": Cuando la IA lee una oración, los estados ocultos de las palabras crean un patrón complejo y arremolinado. DMDINTEL descompone este patrón en unos pocos "modos" o formas simples y repetitivas, muy parecido a cómo una onda compleja en el océano puede describirse como una combinación de unas pocas formas de ondas básicas. El equipo descubrió que al observar cómo estas formas crecen, se encogen u oscilan a medida que la IA lee la oración, podían identificar qué palabras eran los "impulsores" de la decisión final. Trataron a la IA como un sistema dinámico, lo que significa que observaron el cambio entre una palabra y la siguiente, en lugar de solo la palabra en sí.

Los investigadores probaron esta idea en tres familias diferentes de modelos de IA (Llama, Qwen y Mistral) y tres tareas diferentes: determinar si una reseña es positiva o negativa, detectar noticias falsas y detectar discursos de odio. Compararon su método de la "película del río" contra los viejos métodos de la "foto estática", que incluyen técnicas como Gradientes Integrados, SHAP y Análisis de Componentes Principales (PCA).

Los resultados sugieren que DMDINTEL es un detective mucho mejor. En sus experimentos, el nuevo método encontró consistentemente las palabras más importantes (la "verdad fundamental" o ground truth) con más frecuencia que los otros métodos. Por ejemplo, cuando la IA decidía si una reseña era negativa, DMDINTEL clasificó correctamente palabras como "basura" y "incapaz" como los principales impulsores, mientras que otros métodos a veces se distraían con palabras menos importantes como "programado" o "conferencia". El artículo muestra que, al observar la evolución de los pensamientos de la IA, DMDINTEL captura mejor la lógica de la oración. Sugiere que el razonamiento de la IA no se trata solo de las palabras permaneciendo quietas; se trata de cómo el significado fluye y se transforma a medida que se construye la oración.

Sin embargo, los autores tienen cuidado en señalar que esto no es una solución mágica para todos los problemas de la IA. Su método funciona mejor cuando la IA solo está leyendo una oración y dando una respuesta simple (como una tarea de clasificación). Admiten que si la IA comienza a escribir una historia larga o a traducir un libro entero palabra por palabra, la matemática se vuelve complicada porque la IA comienza a retroalimentar sus propias palabras nuevas al sistema. Pero para el trabajo específico de explicar por qué una IA etiquetó una oración como "discurso de odio" o "noticia falsa", esta nueva forma de observar la danza de los números sugiere una imagen más clara y precisa de la mente de la máquina.

Resumen Técnico: DMDINTEL – Interpretación de LLMs mediante la Descomposición de Modos Dinámicos

1. Declaración del Probleem

El artículo aborda el desafío de la interpretabilidad en los modelos de lenguaje de gran tamaño (LLMs), específicamente en lo que respecta a la atribución de entrada en tareas de clasificación. Aunque los métodos tradicionales como Integrated Gradients (IG), SHAP y el Análisis de Componentes Principales (PCA) son efectivos para identificar a qué tokens presta atención un modelo, los autores argumentan que presentan limitaciones significativas:

Tratamiento Discreto: A menudo tratan los tokens como entidades discretas e aisladas.
Falta de Contexto Temporal: No logran capturar la evolución secuencial de la información latente a medida que el modelo procesa una secuencia token por token.
Instantáneas Fragmentadas: Proporcionan una visión estática del razonamiento en lugar de una narrativa continua de cómo los estados ocultos evolucionan para formar una predicción.

El trabajo existente de interpretabilidad mecánica suele centrarse en el sondeo estático o en el mapeo de circuitos específicos, pero tiene dificultades para modelar el flujo dinámico de información a través de una secuencia.

2. Metodología: El Marco DMDINTEL

El marco propuesto, DMDINTEL, trata a un LLM de solo decodificador con ajuste fino supervisado como un sistema dinámico de tiempo discreto. Modela la evolución de los estados ocultos como un flujo en el espacio de embeddings, aproximando la función de modelo no lineal $F$ con un operador de sustitución lineal.

Flujo de Trabajo Principal

Formulación del Sistema Dinámico:
La transición de estado del modelo se modela como $h_{t+1} \approx F(w_{\le t})$ , donde $h_t$ es el estado oculto en el token $t$ . Los autores aproximan esta transición utilizando una relación lineal $h_{t+1} = A h_t$ , donde $A$ es un operador lineal de sustitución.
Construcción y Eliminación de Ruido de la Matriz de Datos:
- Selección de Capa: Un heurístico (Algoritmo 1) selecciona la capa del decodificador óptima ( $\ell^*$ ) analizando la similitud de coseno entre los estados ocultos de los tokens y un vector de sesgo de instrucción (derivado de un prompt vacío). La capa seleccionada equilibra la fidelidad del token de entrada con el sesgo de seguimiento de instrucciones, ubicándose típicamente en el punto de inflexión donde la similitud con el sesgo de la instrucción comienza a aumentar bruscamente.
- Eliminación de Sesgo: Para aislar la señal de la oración de entrada real del template del prompt, los autores restan el vector de sesgo de instrucción ( $b$ ) de los estados ocultos: $\hat{h}_i = h_i - b$ .
- Formación de la Matriz: Los estados ocultos sin sesgo forman una matriz de datos $X$ .
Descomposición de Modos Dinámicos (DMD):
- DMD Estándar: Se aproxima el operador lineal $A$ a partir de la matriz de datos. Su descomposición en autovalores produce modos DMD (estructuras espacio-temporales) y autovalores (que cuantifican crecimiento, decaimiento y oscilación).
- DMD de Orden Superior (HODMD): Para capturar dependencias de largo plazo y la dinámica temporal que el DMD estándar (que asume un proceso de Markov $h_{t+1} = A h_t$ ) podría omitir, los autores también emplean HODMD. Este construye una matriz de Hankel a partir de instantáneas apiladas, permitiendo que el sistema modele los estados ocultos como combinaciones lineales de pasos de tiempo anteriores.
Atribución de Entrada (Ranking de Tokens):
- Ranking de Modos: Los modos se clasifican por su significancia dinámica, específicamente utilizando la magnitud de las amplitudes modales iniciales o la magnitud de las amplitudes promediadas en el tiempo.
- Puntuación de Tokens: Para cada token $w_t$ , la contribución se mide mediante el cambio de estado $\Delta h_t = h_t - h_{t-1}$ . Se calcula la proyección escalar de este cambio sobre los top- $k$ modos dominantes. La suma de estas magnitudes de proyección a través de los principales modos genera una puntuación de proyección ( $s_t$ ) para el token.
- Salida Final: Los tokens se clasifican por sus puntuaciones de proyección para identificar los impulsores más influyentes de la predicción del modelo.

3. Contribuciones Clave

Marco DMDINTEL: Introducción de un pipeline de atribución de entrada que descompone los estados ocultos de los LLM en modos espacio-temporales interpretables para clasificar los tokens de entrada.
Perspectiva Dinámica: El primer trabajo que analiza la evolución secuencial de los estados ocultos en decodificadores de solo un LLM como un sistema dinámico específicamente para la atribución de entrada.
Validación Empírica: Evaluación extensa a través de tres familias de modelos (Llama-3.2-3B, Qwen3-4B, Mistral-7B) y tres conjuntos de datos de clasificación de texto diversos (Sentimiento, HateXplain, FakeEdit).
Superioridad de Rendimiento: Demostración de que DMDINTEL supera consistentemente a las líneas base de vanguardia (PCA, IG, SHAP) al identificar los tokens de la verdad fundamental (ground-truth) preservando su importancia de ranking.

4. Resultados Experimentales

Los autores evaluaron el marco utilizando Conteo Emparejado (MC), Solapamiento Sesgado por Rango (RBO) y Recall@k frente a los rankings de la verdad fundamental (GT) generados por GPT-4.1.

Análisis de Sentimiento: HODMD con ranking de amplitud promediada en el tiempo funcionó mejor. Los autores atribuyen esto a la necesidad de factores de retardo para capturar la dinámica de frases de múltiples palabras, algo que el DMD estándar omite. DMDINTEL superó a PCA, IG y SHAP en todas las métricas.
HateXplain y FakeEdit: DMD estándar con ranking basado en amplitud resultó ser lo más efectivo. Los autores sugieren que para estas tareas, donde palabras clave específicas (ej. términos de discurso de odio o figuras políticas) impulsan la clasificación, la evolución del estado sigue un proceso casi-markoviano que no requiere la memoria extendida de HODMD. DMDINTEL alcanzó el Recall@10 más alto, recuperando la mayor cantidad de tokens de la verdad fundamental.
Análisis Cualitativo: DMDINTEL mostró una fuerte alineación con la GT, clasificando consistentemente tokens semánticamente relevantes (ej. "trash", "unable", "fa**ot") cerca de la parte superior. En contraste, IG a menudo se enfocaba en subconjuntos estrechos de palabras clave tóxicas mientras perdía el contexto, y SHAP a veces presentaba tokens contextualmente plausibles pero ausentes en la GT.
Fidelidad (Perturbación): En experimentos de enmascaramiento de tokens, DMDINTEL causó consistentemente caídas significativas en la precisión y confianza del modelo (a menudo ocupando el primer o segundo lugar), confirmando que los tokens identificados son de hecho críticos para el proceso de decisión del modelo.
Robustez: El método mostró estabilidad a través de diferentes familias de modelos y fue relativamente insensible a pequeñas variaciones en el índice de la capa seleccionada ( $\ell^*$ ).

5. Significado y Reivindicaciones

El artículo afirma que DMDINTEL ofrece una lente más robusta y efectiva para la atribución de entrada comparada con los métodos tradicionales estáticos o basados en gradientes. Al ver el LLM como un sistema dinámico, el marco captura la narrativa continua del razonamiento del modelo en lugar de instantáneas fragmentadas.

Los autores enfatizan que:

Los estados ocultos de los modelos con ajuste fino, cuando se descomponen en estructuras espacio-temporales de menor dimensión, revelan patrones interpretables que sirven como indicadores robustos del flujo de información.
Esta perspectiva dinámica permite la identificación de tokens que impulsan la clasificación de salida con mayor fidelidad, particularmente en tareas donde el contexto secuencial o los disparadores a nivel de token son críticos.
El enfoque logra cerrar la brecha entre el complejo comportamiento no lineal del modelo y las estructuras lineales interpretables (modos) sin requerir conocimiento previo de las ecuaciones que gobiernan el sistema.

6. Limitaciones

Los autores reconocen límites específicos en su trabajo actual:

Alcance de la Tarea: El marco se evalúa actualmente solo en tareas de clasificación con salidas cortas (1-2 tokens). Se señala que aplicar esto a la generación autorregresiva (ej. traducción automática) es un desafío porque los tokens generados se reintroducen en el modelo, complicando la formulación de la matriz DMD.
Alcance del Modelo: El estudio se centra en modelos con ajuste fino de instrucciones supervisadas para tareas específicas. Los modelos de propósito general ajustados para instrucciones, lanzados por empresas, permanecen inexplorados en este contexto.