💻 computer science

DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition

Cet article introduit DMDIntel, un nouveau cadre d'interprétabilité qui exploite la décomposition en modes dynamiques pour décomposer les états cachés des LLM en modes saillants et classer les jetons d'entrée, démontrant une performance supérieure aux méthodes d'attribution de pointe telles que la PCA, les gradients intégrés et SHAP à travers de multiples ensembles de données et familles de modèles.

Auteurs originaux : Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Publié 2026-08-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un magicien sortir un lapin d'un chapeau. Vous voyez le chapeau, vous voyez le lapin, mais la magie opère dans la fraction de seconde entre les deux, cachée dans les manches du magicien. Pendant longtemps, l'Intelligence Artificielle (IA) a été ce magicien. Nous lui donnons une phrase, et elle nous donne une réponse, mais personne ne sait vraiment comment elle a décidé de cette réponse. L'IA est une « boîte noire », et les scientifiques cherchent désespérément à jeter un coup d'œil à l'intérieur pour voir quels mots l'ordinateur a réellement pris en compte. Ce domaine s'appelle l'« interprétabilité ». Pour comprendre ce nouvel article, vous devez d'abord savoir deux choses : comment l'IA lit un texte et comment nous essayons habituellement de jeter un coup d'œil à l'intérieur.

Les modèles d'IA, spécifiquement ceux appelés « Large Language Models » (LLM), ne lisent pas les mots comme nous. Au lieu de cela, ils transforment chaque mot en une longue liste de nombres (un vecteur) et les font passer à travers une série de couches, comme une course de relais. À chaque couche, les nombres changent légèrement, mélangeant la signification du mot actuel avec les mots qui l'ont précédé. À la fin de la course, le modèle dispose d'un ensemble final de nombres qui décident de la réponse. Habituellement, pour déterminer quels mots étaient importants, les scientifiques utilisent des outils qui observent l'état « statique » du modèle — comme prendre une photo unique de la course de relais et deviner qui courait le plus vite. Mais cet article suggère que regarder une seule photo fait manquer toute l'histoire. Il soutient que nous devrions regarder le film de la course, en observant comment les nombres évoluent d'une étape à l'autre, car le secret de la pensée de l'IA réside dans ce mouvement.

Entrez en scène DMDINTEL, une nouvelle méthode introduite par Amogh Joshi et son équipe de l'IIT Kharagpur et de l'Université de Manchester. Considérez le traitement interne de l'IA non pas comme une liste statique de nombres, mais comme une rivière qui coule. À mesure que l'IA lit une phrase, l'« eau » (l'information cachée) ondule et change de forme à chaque nouveau mot. Les chercheurs ont utilisé un outil mathématique appelé Dynamic Mode Decomposition (DMD) — inventé à l'origine pour étudier le mouvement des tourbillons dans la mécanique des fluides — pour cartographier ces ondulations.

Voici comment leur analogie de la « rivière » fonctionne en pratique : lorsque l'IA lit une phrase, les états cachés des mots créent un motif complexe et tourbillonnant. DMDINTEL décompose ce motif en quelques « modes » ou formes simples et répétitives, tout comme une vague complexe dans l'océan peut être décrite comme une combinaison de quelques formes d'ondes basiques. L'équipe a découvert qu'en observant comment ces formes croissent, rétrécissent ou oscillent à mesure que l'IA lit la phrase, ils pouvaient identifier quels mots étaient les « moteurs » de la décision finale. Ils ont traité l'IA comme un système dynamique, ce qui signifie qu'ils ont observé le changement entre un mot et le suivant, plutôt que le mot lui-même.

Les chercheurs ont testé cette idée sur trois familles différentes de modèles d'IA (Llama, Qwen et Mistral) et sur trois tâches différentes : déterminer si un avis est positif ou négatif, repérer les fausses informations et détecter les discours de haine. Ils ont comparé leur méthode de « film de la rivière » aux anciennes méthodes de « photo statique », qui incluent des techniques telles que les gradients intégrés (Integrated Gradients), SHAP et l'analyse en composantes principales (PCA).

Les résultats suggèrent que DMDINTEL est un bien meilleur détective. Dans leurs expériences, la nouvelle méthode a systématiquement trouvé les mots les plus importants (la « vérité terrain » ou ground truth) plus souvent que les autres méthodes. Par exemple, lorsqu'une IA décidait si un avis était négatif, DMDINTEL classait correctement des mots comme « ordure » et « incapable » comme les principaux moteurs, alors que d'autres méthodes étaient parfois distraites par des mots moins importants comme « prévu » ou « conférence ». L'article montre qu'en observant l' évolution de la pensée de l'IA, DMDINTEL capture mieux la logique de la phrase. Cela suggère que le raisonnement de l'IA ne dépend pas seulement des mots qui sont immobiles ; il dépend de la façon dont le sens coule et se transforme à mesure que la phrase se construit.

Cependant, les auteurs précisent avec prudence que ce n'est pas un remède miracle pour tous les problèmes d'IA. Leur méthode fonctionne mieux lorsque l'IA se contente de lire une phrase et de donner une réponse simple (comme une tâche de classification). Ils admettent que si l'IA commence à écrire une longue histoire ou à traduire un livre entier mot par mot, les mathématiques deviennent complexes car l'IA commence à réinjecter ses propres nouveaux mots dans le système. Mais pour le travail spécifique consistant à expliquer pourquoi une IA a étiqueté une phrase comme « discours de haine » ou « fausse information », cette nouvelle façon d'observer la danse des nombres suggère une image plus claire et plus précise de l'esprit de la machine.

Résumé Technique : DMDINTEL – Interpréter les LLM via la Décomposition en Modes Dynamiques

1. Énoncé du Problème

Le papier traite du défi de l'interprétabilité des grands modèles de langage (LLM), plus précisément concernant l'attribution d'entrée dans les tâches de classification. Bien que les méthodes traditionnelles comme les Gradients Intégrés (IG), SHAP et l'Analyse en Composantes Principales (PCA) soient efficaces pour identifier quels jetons (tokens) attirent l'attention du modèle, les auteurs soutiennent qu'elles présentent des limitations significatives :

Traitement Discret : Elles traitent souvent les jetons comme des entités discrètes et isolées.
Absence de Contexte Temporel : Elles ne parviennent pas à capturer l'évolution séquentielle de l'information latente alors que le modèle traite une séquence jeton par jeton.
Instantanés Fragmentés : Elles fournissent une vue statique du raisonnement plutôt qu'un récit continu de la manière dont les états cachés évoluent pour former une prédiction.

Le travail actuel de l'interprétabilité mécaniste se concentre souvent sur le sondage statique ou la cartographie de circuits spécifiques, mais peine à modéliser le flux dynamique d'information à travers une séquence.

2. Méthodologie : Le Cadre DMDINTEL

Le cadre proposé, DMDINTEL, traite un LLM de type décodeur uniquement, affiné par apprentissage supervisé, comme un système dynamique à temps discret. Il modélise l'évolution des états cachés comme un flux dans l'espace d'embedding, en approximant la fonction non linéaire du modèle $F$ par un opérateur de substitution linéaire.

Flux de Travail Central

Formulation du Système Dynamique :
La transition d'état du modèle est modélisée par $h_{t+1} \approx F(w_{\le t})$ , où $h_t$ est l'état caché au jeton $t$ . Les auteurs approximent cette transition à l'aide d'une relation linéaire $h_{t+1} = A h_t$ , où $A$ est un opérateur linéaire de substitution.
Construction de la Matrice de Données et Débruitage :
- Sélection de la Couche : Une heuristique (Algorithme 1) sélectionne la couche de décodeur optimale ( $\ell^*$ ) en analysant la similitude cosinus entre les états cachés des jetons et un vecteur de "biais d'instruction" (dérivé d'un prompt vide). La couche sélectionnée équilibre la fidélité aux jetons d'entrée et le biais de suivi d'instruction, se situant généralement au point d'inflexion où la similitude avec le biais d'instruction commence à augmenter brusquement.
- Suppression du Biais : Pour isoler le signal de la phrase d'entrée réelle du template du prompt, les auteurs soustraient le vecteur de biais d'instruction ( $b$ ) des états cachés : $\hat{h}_i = h_i - b$ .
- Formation de la Matrice : Les états cachés débiaisés forment une matrice de données $X$ .
Décomposition en Modes Dynamiques (DMD) :
- DMD Standard : L'opérateur linéaire $A$ est approximé à partir de la matrice de données. Sa décomposition en valeurs propres et vecteurs propres produit des modes DMD (structures spatio-temporelles) et des valeurs propres (quantifiant la croissance, la décroissance et l'oscillation).
- HODMD (DMD d'Ordre Supérieur) : Pour capturer les dépendances à long terme et la dynamique temporelle que le DMD standard (qui suppose un processus markovien $h_{t+1} = A h_t$ ) pourrait manquer, les auteurs emploient également la HODMD. Celle-ci construit une matrice de Hankel à partir de clichés empilés, permettant au système de modéliser les états cachés comme des combinaisons linéaires d'étapes temporelles précédentes.
Attribution d'Entrée (Classement des Jetons) :
- Classement des Modes : Les modes sont classés par leur importance dynamique, spécifiquement en utilisant l'amplitude modale initiale ou l'amplitude moyenne dans le temps.
- Score de Jeton : Pour chaque jeton $w_t$ , la contribution est mesurée par le changement d'état $\Delta h_t = h_t - h_{t-1}$ . La projection scalaire de ce changement sur les $k$ premiers modes dominants est calculée. La somme des magnitudes de ces projections à travers les modes principaux donne un score de projection ( $s_t$ ) pour le jeton.
- Résultat Final : Les jetons sont classés par leurs scores de projection pour identifier les moteurs les plus influents de la prédiction du modèle.

3. Contributions Clés

Cadre DMDINTEL : Introduction d'un pipeline d'attribution d'entrée qui décompose les états cachés des LLM en modes spatio-temporels interprétables pour classer les jetons d'entrée.
Perspective Dynamique : Premier travail analysant l'évolution séquentielle des états cachés dans les LLM de type décodeur uniquement en tant que système dynamique spécifiquement pour l'attribution d'entrée.
Validation Empirique : Évaluation étendue sur trois familles de modèles (Llama-3.2-3B, Qwen3-4B, Mistral-7B) et trois jeux de données de classification de texte diversifiés (Sentiment, HateXplain, FakeEdit).
Supériorité de Performance : Démonstration que DMDINTEL surpasse systématiquement les méthodes de référence de l'état de l'art (PCA, IG, SHAP) pour identifier les jetons de vérité terrain tout en préservant leur importance classée.

4. Résultats Expérimentaux

Les auteurs ont évalué le cadre en utilisant le Nombre Apparié (MC), le Recouvrement Pondéré par le Rang (RBO) et le Rappel@k par rapport au classement de vérité terrain (GT) généré par GPT-4.1.

Analyse de Sentiment : La méthode HODMD avec classement par amplitude moyenne a été la plus performante. Les auteurs attribuent cela au besoin de facteurs de retard pour capturer la dynamique des phrases multi-mots, ce que le DMD standard manque. DMDINTEL a surpassé PCA, IG et SHAP sur tous les indicateurs.
HateXplain & FakeEdit : Le DMD standard avec classement basé sur l'amplitude s'est avéré le plus efficace. Les auteurs suggèrent que pour ces tâches, où des mots-clés spécifiques (ex: termes de discours de haine ou figures politiques) pilotent la classification, l'évolution de l'état suit un processus quasi-markovien qui ne nécessite pas la mémoire étendue de la HODMD. DMDINTEL a obtenu le Recall@10 le plus élevé, récupérant le plus de jetons de vérité terrain.
Analyse Qualitative : DMDINTEL montre un fort alignement avec la vérité terrain, classant systématiquement les jetons sémantiquement pertinents (ex: "trash", "unable", "fa**ot") près du sommet. En revanche, IG se concentrait souvent sur de sous-ensembles étroits de mots toxiques tout en manquant le contexte, et SHAP faisait parfois remonter des jetons contextuellement plausibles mais absents de la vérité terrain.
Fidélité (Perturbation) : Dans les expériences de masquage de jetons, DMDINTEL a systématiquement provoqué des chutes significatives de l'exactitude et de la confiance du modèle (se classant souvent premier ou deuxième), confirmant que les jetons identifiés sont effectivement critiques pour le processus de décision du modèle.
Robustesse : La méthode a montré une stabilité à travers différentes familles de modèles et était relativement insensible aux petites variations de l'indice de la couche sélectionnée ( $\ell^*$ ).

5. Signification et Revendications

Le papier affirme que DMDINTEL offre un prisme plus robuste et plus efficace pour l'attribution d'entrée par rapport aux méthodes traditionnelles statiques ou basées sur le gradient. En considérant le LLM comme un système dynamique, le cadre capture le récit continu du raisonnement du modèle plutôt que des instantanés fragmentés.

Les auteurs soulignent que :

Les états cachés des modèles affinés, lorsqu'ils sont décomposés en modes spatio-temporels de dimension réduite, révèlent des motifs interprétables qui servent d'indicateurs robustes du flux d'information.
Cette perspective dynamique permet d'identifier les jetons qui pilotent la classification de sortie avec une plus grande fidélité, particulièrement dans les tâches où le contexte séquentiel ou les déclencheurs spécifiques au niveau du jeton sont critiques.
L'approche comble avec succès le fossé entre le comportement complexe et non linéaire du modèle et les structures linéaires interprétables (modes) sans nécessiter de connaissance préalable des équations régissant le système.

6. Limites

Les auteurs reconnaissent des frontières spécifiques à leur travail actuel :

Portée de la Tâche : Le cadre est actuellement évalué uniquement sur des tâches de classification avec des sorties courtes (1-2 jetons). Il est noté que l'appliquer à la génération auto-régressive (ex: traduction automatique) est complexe car les jetons générés sont réinjectés dans le modèle, ce qui complique la formulation de la matrice DMD.
Portée du Modèle : L'étude se concentre sur des modèles avec instruction fine supervisée pour des tâches aval spécifiques. Les modèles d'instruction généralistes publiés par des entreprises restent inexplorés dans ce contexte.