🤖 machine learning

From Mechanistic to Compositional Interpretability

Ce papier introduit l'« interprétabilité compositionnelle », un cadre de théorie des catégories qui formalise les explications mécanistes comme des applications syntaxiques et sémantiques commutatives afin de permettre une vérification objective, une optimisation et un raffinement systématique des modèles vers des interprétations plus concises et alignées sur l'humain.

Auteurs originaux : Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une machine incroyablement complexe, une boîte noire capable d'accomplir des choses étonnantes, comme reconnaître des animaux ou traduire des langues. Vous savez ce qu'elle fait, mais vous n'avez aucune idée de comment elle le fait. À l'intérieur, c'est un enchevêtrement confus d'engrenages, de fils et de leviers qu'aucun humain ne peut facilement comprendre. Tel est l'état actuel de nombreux modèles d'IA avancés.

L'article que vous avez fourni propose une nouvelle façon de démêler ce chaos. Il passe de la simple « supposition » sur le fonctionnement de la machine à la création d'un code de règles mathématiques strict pour l'expliquer. Voici l'idée centrale, décomposée avec des analogies simples.

1. Le Problème : L'Histoire « Juste-Comme-Cela »

Actuellement, lorsque les scientifiques tentent d'expliquer ces modèles d'IA, ils observent souvent les entrées et les sorties (par exemple : « Il a vu un chat, donc il a dit « miaou » »). Ils pourraient pointer un fil spécifique et dire : « Ce fil s'allume quand il voit du poil ».

L'article soutient que c'est risqué. C'est comme regarder le moteur d'une voiture et dire : « Ce piston bouge quand la voiture va vite ». Cela pourrait être vrai, mais cela n'explique pas le mécanisme par lequel le carburant se transforme en mouvement. Si vous ne regardez que la surface, vous pourriez raconter une histoire qui semble juste mais qui est en réalité fausse sur le fonctionnement réel de la machine. C'est ce qu'on appelle une « histoire juste-comme-cela » — un récit qui correspond aux faits mais qui manque de la logique interne réelle.

2. La Solution : La Carte « Commutative »

Les auteurs introduisent un concept appelé Interprétabilité Compositionnelle. Imaginez-le comme un projet de traduction pour une machine complexe.

Pour expliquer correctement la machine, vous avez besoin de deux cartes qui doivent correspondre parfaitement :

Carte A (Le Plan) : Elle montre la structure interne de la machine — les fils, les engrenages, la « syntaxe ».
Carte B (Le Comportement) : Elle montre ce que la machine fait réellement lorsque vous appuyez sur un bouton — la « sémantique ».

L'article affirme qu'une bonne explication n'est valide que si ces deux cartes sont commutatives. En termes simples, cela signifie :

Si vous suivez le chemin d'un engrenage spécifique dans le Plan, cela doit mener au même résultat exact que d'observer ce même engrenage bouger dans la carte du Comportement.
Si les cartes ne s'alignent pas, votre explication est brisée. Vous ne pouvez pas simplement étiqueter un engrenage « Contrôleur de Vitesse » s'il fait en réalité autre chose.

Cela garantit que votre explication n'est pas une simple supposition ; c'est un lien vérifié entre les entrailles de la machine et ses actions.

3. L'Objectif : La « Histoire la Plus Courte » (Rasoir d'Occam)

Une fois que vous avez une carte valide, comment savoir quelle explication est la meilleure ? L'article utilise un principe appelé Longueur Minimale de Description.

Imaginez que vous devez expliquer un tour de magie complexe à un ami.

Explication 1 : « Le magicien a agité une baguette, a prononcé un mot magique, et le lapin est apparu. » (Simple, mais peut-être qu'elle manque le piège caché).
Explication 2 : « Le magicien a utilisé un piège caché, un mécanisme à ressort et un angle d'éclairage spécifique pour faire apparaître le lapin. » (Plus complexe, mais précis).
Explication 3 : « Le magicien a utilisé un piège caché, un ressort, un angle d'éclairage, un courant d'air spécifique et un code secret. » (Trop complexe, sur-explication).

L'article soutient que la meilleure explication est la plus courte qui reste parfaitement précise. C'est le juste milieu où vous ne laissez pas de côté les détails importants (fidélité) mais où vous n'ajoutez pas non plus de fioritures inutiles (complexité).

4. La Méthode : « Raffinement Compressif »

Comment trouver cette explication parfaite et courte ? Les auteurs suggèrent un processus appelé Raffinement Compressif.

Imaginez le modèle d'IA comme un tas désordonné de briques Lego.

État Actuel : Les briques sont collées ensemble en grappes étranges et emmêlées. Il est difficile de voir ce que fait chaque pièce.
Le Processus : Vous démontez soigneusement les grappes et les réassemblez en structures nettes et distinctes. Vous pourriez ajouter quelques « connecteurs » (câblage) supplémentaires pour clarifier la structure, mais vous simplifiez les pièces individuelles afin qu'elles soient plus faciles à comprendre.
Le Résultat : Vous aboutissez à un modèle où les « atomes du calcul » (les plus petites parties utiles) sont simples et clairs, et la façon dont ils se connectent est logique.

L'article prouve que si vous effectuez ce « réassemblage » correctement, vous êtes garanti d'obtenir une explication plus simple et plus conviviale pour les humains, sans changer ce que la machine fait réellement.

5. Pourquoi Cela Fonctionne : L'Hypothèse « Optimiste »

L'article fait un pari optimiste (une conjecture) pour rendre cela possible : Les motifs que l'IA utilise pour résoudre des problèmes sont probablement les mêmes motifs que les humains utilisent pour comprendre ces problèmes.

Si l'IA est bonne pour reconnaître des chats, elle utilise probablement des caractéristiques simples et logiques (oreilles, moustaches) plutôt qu'une mathématique alien incompréhensible. En compressant le modèle pour trouver ces motifs simples, nous « filtrons » essentiellement le bruit et trouvons la logique lisible par l'homme cachée à l'intérieur.

Résumé

En bref, cet article dit :

Arrêtez de deviner : Ne regardez pas seulement ce que fait l'IA ; mappez ses parties internes à ses actions et assurez-vous qu'elles correspondent parfaitement.
Gardez-le simple : La meilleure explication est la plus courte qui reste 100 % précise.
Réorganisez la machine : Restructurez systématiquement le câblage interne de l'IA pour le rendre plus simple et plus clair, ce qui conduit naturellement à des explications que les humains peuvent réellement comprendre.

Cela fournit un « code de règles » mathématique pour transformer la boîte noire de l'IA en une machine transparente et compréhensible.

Résumé Technique : De l'Interprétabilité Mécaniste à l'Interprétabilité Compositionnelle

Énoncé du Problème
L'interprétabilité mécaniste vise à rétro-ingénierier les modèles neuronaux en composants compréhensibles par l'humain. Cependant, les approches actuelles manquent d'un cadre formel, rendant les explications difficiles à vérifier, comparer ou composer objectivement. Les méthodes existantes approximent souvent la fidélité plutôt que de l'imposer structurellement. De plus, sans une définition mesurable de la qualité de l'interprétation, les explications risquent de devenir de simples « just-so stories » qui corrèlent avec un comportement de surface mais échouent à capturer les mécanismes internes. Le défi central consiste à définir l'interprétabilité de manière à ce qu'elle soit compositionnelle (les parties s'additionnent pour former le tout), fidèle (correspondant au calcul interne) et concise (faible longueur de description pour l'humain).

Méthodologie
Les auteurs introduisent l'Interprétabilité Compositionnelle, un cadre fondé sur la théorie des catégories et le principe de la Longueur Minimale de Description (MDL).

Définitions Formelles via la Théorie des Catégories :
- Modèle Compositionnel : Défini comme un tuple $(D, S, C, [[\cdot]])$ , où $D$ est un diagramme de chaînes représentant la syntaxe du modèle (structure), $S$ est la catégorie syntaxique, $C$ est la catégorie sémantique (implémentation concrète), et $[[\cdot]]$ est un foncteur mappant la syntaxe vers la sémantique.
- Interprétation Compositionnelle : Définie comme une paire de mappings : une interprétation basée sur la syntaxe $I_S: S \to H$ (attribuant des explications aux composants structurels) et une interprétation basée sur la sémantique $I_C: C \to H$ (attribuant des explications aux comportements).
- Commutativité : Une interprétation valide exige que le diagramme commute ( $I_S = I_C \circ [[\cdot]]$ ). Cela impose une cohérence, garantissant que les explications dérivées de la structure du modèle s'alignent avec les explications dérivées de son comportement observé.
Optimisation via MDL :
- L'interprétabilité est présentée comme un problème d'optimisation contraint : trouver l'explication la plus concise qui reste fidèle à la sémantique du modèle.
- Fidélité : Mesurée par le coût informationnel nécessaire pour corriger une explication afin qu'elle corresponde à la vraie sémantique du modèle. Les auteurs définissent la fidélité compositionnelle, exigeant que l'explication permette la reconstruction des sémantiques des composants individuels, et non seulement du comportement global entrée-sortie.
- Complexité : Mesurée par la Longueur de Description Compositionnelle ( $L(M, I_S)$ $L (M, I_{S})$ ), qui se décompose en :
  - Complexité de Représentation ( $L_{rep}$ ) : Le coût de description de la syntaxe et de la complexité sémantique des composants atomiques.
  - Complexité d'Interprétation ( $L_{int}$ ) : Le coût subjectif d'alignement de ces composants avec des concepts humains.
- La longueur totale de description sert de borne supérieure à la longueur de description minimale de l'explication elle-même.
Raffinement Compressif :
- Pour optimiser l'interprétabilité, l'article propose le Raffinement Syntaxique : un foncteur $R: S \to S'$ qui restructure la syntaxe du modèle tout en préservant la sémantique ( $[[\cdot]] = [[\cdot]]' \circ R$ ).
- Le Raffinement Compressif se produit lorsque cette restructuration réduit la complexité de représentation ( $L_{rep}(M') \leq L_{rep}(M)$ ).
- Critère de Parsimonie : Un raffinement produit une meilleure explication uniquement si la réduction de la complexité de représentation l'emporte sur toute augmentation de la complexité d'interprétation.

Contributions Clés

Cadre Formel : L'article établit une fondation catégorielle pour l'interprétabilité, distinguant la syntaxe (structure) de la sémantique (comportement) et exigeant leur alignement via des diagrammes commutatifs.
Objectif Quantifiable : Il présente l'interprétabilité comme un problème d'optimisation contraint utilisant la MDL, séparant la fidélité (distorsion) et la complexité (longueur de description).
Raffinement Compressif : Il introduit une méthode systématique pour restructurer les modèles en parties plus simples sans altérer la fonction, généralisant les méthodes mécanistes existantes (comme la décomposition basée sur la parcimonie) comme des sous-classes de raffinement.
Critère de Parsimonie et Garanties Théoriques :
- Les auteurs prouvent que le raffinement compressif garantit des explications plus concises si la distribution de codage est comonotone avec la distribution d'interprétation (liant la simplicité structurelle à la compréhensibilité humaine).
- Ils invoquent la Parcimonie Compositionnelle (Théorème 4.5) pour soutenir que les réseaux profonds de taille polynomiale approximent des fonctions admettant des décompositions parcimonieuses, assurant que la recherche d'« atomes de calcul » est réalisable et ne conduit pas à des tailles de diagrammes ingérables.
- Ils formalisent le Principe Faible de l'Optimisme Explicatif, suggérant que si un modèle performe bien, ses mécanismes centraux sont probablement compréhensibles par l'humain, justifiant l'utilisation de la compression comme filtre pour ces mécanismes.

Résultats et Affirmations
L'article ne présente pas de nouvelles expériences empiriques mais fournit une unification théorique et une preuve de concept :

Il démontre que les méthodes mécanistes proéminentes (par exemple, celles utilisant des heuristiques de parcimonie) peuvent être considérées comme des instances spécifiques de raffinement syntaxique.
Il prouve que sous le critère de parcimonie, la minimisation de la complexité de représentation garantit théoriquement des explications plus concises et alignées sur l'humain, à condition que l'a priori d'« optimisme explicatif » soit valide.
Il clarifie pourquoi les heuristiques de compressibilité s'alignent souvent sur l'interprétabilité humaine : elles éliminent la redondance pour isoler les mécanismes centraux correspondant à des concepts humains.

Signification
L'article revendique fournir une fondation mesurable et optimisable pour automatiser la découverte et l'évaluation des explications mécanistes. En passant d'une rétro-ingénierie ad hoc à un cadre compositionnel formel, il répond au manque de vérification objective dans la recherche actuelle sur l'interprétabilité. Ce travail situe l'interprétabilité comme un objectif d'optimisation continu plutôt que comme une contrainte architecturale binaire, comblant le fossé entre l'interprétabilité intrinsèque et l'explication a posteriori. Les auteurs suggèrent que les travaux futurs pourront exploiter ce cadre pour intégrer le raffinement compressif avec l'inférence causale et utiliser des outils tels que les réseaux de tenseurs pour une optimisation évolutive.