🤖 machine learning

The Standard Interpretable Model: A general theory of interpretable machine learning to deductively design interpretable methods using Lagrangian mechanics

Cet article introduit le Modèle Interprétable Standard (SIM), une théorie générale fondée sur la mécanique lagrangienne qui dérive de manière déductive des méthodes interprétables en traduisant des prémisses définies par l'utilisateur en contraintes mathématiques, unifiant ainsi la recherche fragmentée et permettant la conception systématique de modèles opaques optimisés et d'architectures intrinsèquement interprétables.

Auteurs originaux : Pietro Barbiero, Giovanni De Felice, Mateo Espinosa Zarlenga, Francesco Giannini, Filippo Bonchi, Mateja Jamnik, Giuseppe Marra, Ruggero Noris

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pietro Barbiero, Giovanni De Felice, Mateo Espinosa Zarlenga, Francesco Giannini, Filippo Bonchi, Mateja Jamnik, Giuseppe Marra, Ruggero Noris

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit une machine incroyablement puissante et complexe (un modèle d'IA) capable de prédire la météo, de diagnostiquer des maladies ou d'écrire de la poésie. Mais il y a un problème : la machine est une « boîte noire ». Vous introduisez des données, et une réponse en sort, mais vous n'avez aucune idée de la manière dont elle y est parvenue. C'est comme un chef qui prépare une soupe délicieuse mais refuse de vous donner la recette ou même de vous dire quels ingrédients se trouvent dans la marmite.

Ce document présente un nouveau cadre appelé le Standard Interpretable Model (SIM). Voyez le SIM non pas comme une recette spécifique, mais comme un plan universel pour construire des machines transparentes. Il utilise les lois de la physique (plus précisément la mécanique lagrangienne, la même mathématique utilisée pour décrire le mouvement des planètes) pour créer un guide étape par étape pour concevoir une IA que les humains peuvent réellement comprendre.

Voici comment le document le décompose, en utilisant des analogies simples :

1. L'idée centrale : La « physique » de la compréhension

Les auteurs soutiennent que pour comprendre des choses complexes, les scientifiques cherchent généralement des symétries — des choses qui restent les mêmes même si l'on change de perspective.

L'analogie : Imaginez une toupie. Si vous la regardez de gauche, de droite ou du haut, c'est toujours une toupie. Cette « similitude » est une symétrie.
En IA : Le document pose la question suivante : « Quelles parties du raisonnement d'une IA doivent rester les mêmes pour qu'un humain puisse la comprendre ? » Ils proposent que, pour qu'une IA soit interprétable, sa logique interne doit respecter des « symétries » spécifiques par rapport à un utilisateur humain.

2. Les trois règles du jeu (Les prémisses)

Le document définit trois « règles » qu'une IA interprétable doit suivre, basées sur la façon dont les humains pensent et parlent.

Règle 1 : Un langage partagé (Sémantique des concepts)
- La métaphore : Imaginez que vous et un ami jouiez à un jeu où vous pointez des objets du doigt. Si vous pointez une pomme rouge et dites « Rouge », votre ami doit être d'accord pour dire qu'elle est rouge. Si vous pointez une pomme verte et dites « Rouge », le jeu s'arrête.
- La règle : L'IA doit utiliser des mots (concepts) qui signifient la même chose pour l'humain que pour l'IA. Si l'IA pense que « Rouge » signifie « Bleu », elle n'est pas interprétable. Le document montre comment forcer l'IA à respecter l'ordre de ces significations (par exemple, si l'Objet A est plus rouge que l'Objet B, l'IA doit être d'accord).
Règle 2 : Pas de tours cachés (Dépendance Prédiction-Concept)
- La métaphore : Imaginez un magicien sortant un lapin d'un chapeau. Si le lapin est en réalité sorti d'une poche cachée dans la manche du magicien, le tour n'est pas « magique » de la manière dont le public le croit.
- La règle : La réponse finale de l'IA doit dépendre uniquement des concepts qu'elle vous a montrés. Elle ne peut pas utiliser secrètement des variables cachées ou « tricher » avec des données internes que vous ne pouvez pas voir. Si l'IA dit « Je prédis de la pluie à cause des nuages », elle doit réellement regarder les nuages, et non un code secret.
Règle 3 : Ne pas trop compliquer (Raisonnement borné)
- La métaphore : Si vous demandez à un humain de résoudre un problème mathématique, il peut gérer une équation simple comme $2+2$ . Il ne peut pas résoudre instantanément une équation de 1 000 pages avec des variables infinies. Les humains ont des cerveaux « bornés » (limités).
- La règle : L'explication de l'IA doit être assez simple pour qu'un humain puisse la suivre. Elle ne peut pas utiliser une méthode de raisonnement trop complexe pour qu'un humain puisse la retracer. L'IA doit s'en tenir à un « menu » de styles de raisonnement que les humains peuvent réellement digérer.

3. Le plan : De la théorie à la construction

Le document fournit un « Lagrangien », qui est essentiellement un manuel de construction mathématique. Il propose deux façons de construire une IA qui respecte ces règles :

Méthode A : L'approche « douce » (Entraînement avec contraintes)
- Imaginez que vous apprenez des ordres à un chien. Vous lui donnez une friandise quand il s'assoit et un léger « non » quand il saute. Avec le temps, il apprend.
- Dans cette méthode, vous prenez une IA standard et vous ajoutez des « pénalités » à son entraînement. Si l'IA essaie d'utiliser une variable cachée secrète (brisant la Règle 2) ou utilise la mauvaise définition de « Rouge » (brisant la Règle 1), les mathématiques la punissent. L'IA apprend à changer son comportement pour éviter la pénalité, devenant ainsi interprétable.
Méthode B : L'approche « dure » (Compilation architecturale)
- Imaginez construire une voiture où le volant est physement boulonné aux roues avant. Il est impossible de diriger la voiture sans tourner les roues. Il est impossible de tricher.
- Dans cette méthode, le document conçoit la structure de l'IA de telle sorte qu'il soit physiquement impossible pour elle de briser les règles. L'IA est construite uniquement avec les concepts et les styles de raisonnement autorisés. Elle n'a pas besoin d'être « apprise » pour être honnête ; sa conception même la force à l'être.

4. Ce qu'ils ont trouvé (Les expériences)

Les auteurs ont testé ce cadre et ont découvert des choses surprenantes :

Les mesures standards mentent : Le simple fait qu'une IA obtienne la bonne réponse (faible erreur) ne signifie pas qu'elle comprend correctement les concepts. Une IA peut deviner la bonne réponse tout en ayant une compréhension totalement erronée de « rouge » ou de « bleu ».
Les « explications » actuelles sont souvent fausses : Ils ont testé des modèles d'IA populaires qui génèrent des explications de type « Chaîne de pensée » (comme un humain pensant à voix haute). Ils ont constaté que la réponse finale de l'IA ne dépendait souvent pas réellement de ces pensées. L'explication n'était qu'une histoire que l'IA racontait, et non la véritable raison de la décision.
Les grands modèles peuvent être réparés : Ils ont montré que même des modèles massifs et complexes peuvent être « réparés » pour suivre ces règles sans avoir besoin d'être réentraînés de zéro, simplement en changeant la façon dont ils traitent l'information.

Résumé

Le Standard Interpretable Model est une nouvelle façon de penser l'IA. Au lieu de simplement espérer qu'une IA soit compréhensible, il donne aux scientifiques une recette mathématique rigoureuse pour concevoir une IA qui est compréhensible par construction. Il traite la « compréhensibilité » non pas comme un sentiment vague, mais comme un ensemble de lois physiques (symétries) qui peuvent être intégrées dans le code de la machine, garantissant que les « pensées » de l'IA correspondent à la logique humaine.

Résumé Technique : Le Modèle Interprétable Standard (SIM)

Énoncé du Problème

À mesure que les modèles d'Intelligence Artificielle gagnent en complexité, l'interprétabilité devient essentielle pour le débogage, le contrôle et la garantie de l'équité de ces systèmes. Cependant, le domaine manque actuellement d'une théorie générale et systématique pour concevoir de manière déductive des méthodes interprétables. La littérature existante est fragmentée, avec des protocoles d'évaluation incohérents et un décalage entre les principes théoriques et les implémentations pratiques (par exemple, les fonctions de perte, les architectures et les métriques). Les approches actuelles échouent souvent à traduire les principes abstraits d'interprétabilité en méthodes opérationnelles concrètes, ce qui produit des modèles difficiles à comparer, à reproduire ou à approfondir systématiquement.

Méthodologie : Le Modèle Interprétable Standard (SIM)

Les auteurs proposent le Modèle Interprétable Standard (SIM), une théorie générale fondée sur la mécanique lagrangienne et le concept d'« immuables » (symétries). Le SIM fournit un cadre déductif pour dériver des méthodes d'apprentissage automatique (ML) interprétables à partir d'un ensemble de prémisses définies par l'utilisateur.

Le cadre fonctionne via un processus en six étapes :

Prémisses d'Interprétabilité : Définir ce que signifie « interprétable » pour une entité cible $h$ (par exemple, un humain doté d'un raisonnement borné et d'un vocabulaire formel).
Symétries d'Interprétabilité : Formaliser ces prémisses comme des propriétés qui doivent rester invariantes sous des transformations spécifiques $g$ .
Contraintes d'Interprétabilité : Traduire les symétries en contraintes opérationnelles $q(z) \leq 0$ qui quantifient les violations de la symétrie.
Formulation Lagrangienne : Construire un Lagrangien $\mathcal{L} = T - V$ , où $T$ représente la dynamique des paramètres et $V$ est la fonction d'objectif (perte) intégrant les contraintes d'interprétabilité. Les minima de $V$ correspondent aux modèles interprétables optimaux.
Trajectoires (Optimisation) : Dériver les équations du mouvement (par exemple, la descente de gradient avec moment) pour mettre à jour les paramètres $\theta$ d'un modèle opaque vers un modèle interprétable en minimisant l'intégrale d'action de $\mathcal{L}$ .
Compilation de Contraintes : Alternativement, compiler les contraintes directement dans l'architecture du modèle, garantissant que l'interprétabilité est respectée par construction plutôt que par des pénalités d'optimisation.

Étude de Cas : Entités Bornées et Formales

Le document dérive une instance spécifique du SIM pour une entité cible $h$ possédant un vocabulaire, une sémantique et des ressources computationnelles fixes. Cette dérivation produit trois symétries centrales et leurs contraintes correspondantes :

Symétrie I (Invariance des Concepts) : Les cartes de concepts du modèle doivent préserver la préordre (classement) de la sémantique des concepts humains sous des transformations monotones.
- Contrainte : Les différences de scores de concepts par paires du modèle doivent respecter l'ordonnancement induit par l'humain.
Symétrie II (Dépendance Prédiction-Concept) : Les prédictions du modèle doivent dépendre exclusivement des concepts partagés. Le gradient de la fonction de prédiction doit se situer dans l'espace engendré par les gradients des concepts.
- Contrainte : La projection du Jacobien de la prédiction sur le sous-espace des gradients de concepts doit être invariante (c'est-à-dire qu'il n'y a aucune sensibilité aux directions en dehors de l'espace des concepts).
Symétrie III (Raisonnement Borné) : La composition des concepts en prédictions doit appartenir à une classe d'hypothèses traitable pour l'entité cible (par exemple, des fonctions linéaires creuses).
- Contrainte : La formule du concept doit être une solution d'un opérateur différentiel spécifique $K[h]$ (par exemple, la Hessienne doit s'annuler pour les fonctions linéaires).

Ces contraintes forment le « paysage d'interprétabilité » $V$ . Le SIM unifie la conception d'architectures interprétables (en compilant les contraintes) et l'optimisation sous contraintes (en ajoutant des termes de pénalité à la perte).

Contributions Clés

Une Théorie Générale de l'Interprétabilité : Le SIM offre une méthode déductive pour dériver des méthodes interprétables à partir de premiers principes, comblant le fossé entre la théorie abstraite et la conception opérationnelle.
Cadre Opérationnel pour les Modèles à Grande Échelle : Les auteurs appliquent le SIM pour analyser et améliorer les modèles à grande échelle, démontrant comment identifier et corriger les « ruptures » de la sémantique des concepts et des dépendances de prédiction sans réentraînement.
Comparaison Systématique et Analyse des Écarts : Le cadre subsume les familles existantes de modèles interprétables (par exemple, les Concept Bottleneck Models, les réseaux prototypiques, les autoencodeurs creux) comme des cas particuliers, révélant des limites telles que l'absence de garantie de sémantique partagée ou des espaces d'hypothèses trop contraints.
Implémentation Logicielle (PyTorch Concepts) : La théorie est traduite en une bibliothèque open-source, PyTorch Concepts (PyC), fournissant des couches modulaires, des fonctions de perte et des métriques qui correspondent directement aux symétries et contraintes théoriques.

Résultats Empiriques

Le document valide le SIM par des expériences contrôlées et des applications à des modèles à grande échelle :

Validation des Symétries :
- Symétrie I : Les métriques de performance standard (par exemple, l'Erreur Absolue Moyenne) ne parviennent pas à capturer la préservation sémantique. Les modèles minimisant la MAE violent souvent l'ordonnancement des concepts induit par l'humain, tandis que les modèles avec des contraintes compilées (Architecture I) préservent parfaitement la sémantique.
- Symétrie II : L'application de l'optimisation pour imposer les contraintes (ajout de pénalités à la perte) n'atteint qu'un alignement local entre les prédictions et les concepts. La compilation architecturale (forcer les prédictions à être des fonctions des concepts) est nécessaire pour garantir une dépendance globale.
- Symétrie III : Le SIM permet d'ajuster la complexité des formules de concepts (par exemple, linéaire vs non-linéaire) via des multiplicateurs de Lagrange, interpolant entre l'ajustement flexible et le raisonnement borné.
Applications aux Modèles à Grande Échelle :
- Modèles Vision-Langage (VLM) : Les VLM pré-entraînés (CLIP, Moondream2, Qwen2) produisent souvent des classements par paires inconsistants pour les concepts (par exemple, « rouge »), violant la Symétrie I. Cependant, les auteurs montrent que la sémantique des concepts sans étiquette peut être corrigée sans entraînement en utilisant des prototypes ordonnés pour récupérer le classement correct.
- Chaîne de Pensée (CoT) : Des expériences sur Qwen2.5 montrent que les explications CoT sont largement indépendantes du calcul réel de la prédiction (haute violation de la Symétrie II), suggérant qu'elles ne sont pas des explications fidèles.
- LLM à base de Concepts (Steerling-8B) : L'analyse révèle que les prédictions dans les grands modèles basés sur des concepts dépendent d'une petite fraction (~1,5 %) des concepts supervisés. La dépendance peut être davantage sparsifiée au moment de l'inférence, confirmant que ces modèles peuvent être rendus pilotables par conception.

Signification et Revendications

Le document affirme que le SIM déplace la perspective de l'interprétabilité d'une collection informelle de méthodes vers un domaine de recherche rigoureux et déductif.

Unification : Il fournit un langage unique (mécanique lagrangienne) pour réconcilier les formalismes, les pertes et les architectures fragmentés.
Conscience de l'Utilisateur : Il paramètre explicitement l'interprétabilité par les caractéristiques de l'utilisateur cible, reconnaissant que différentes prémisses engendrent différentes théories cohérentes en interne.
Falsifiabilité : Le cadre rend les affirmations d'interprétabilité falsifiables par des vérifications analytiques (invariance), des tests empiriques (violation de contrainte) et une évaluation épistémique (études utilisateurs).
Valeur Pédagogique : En ancrant l'interprétabilité dans les principes établis de la géométrie, de la physique et de la logique, le SIM offre une base pour l'enseignement de l'interprétabilité dans l'enseignement supérieur.

Les auteurs soulignent que le SIM ne prétend pas résoudre tous les problèmes d'interprétabilité, mais fournit une recette systématique pour dériver des méthodes interprétables, identifier les limites des approches actuelles et guider la conception des futures interfaces de programmation et des directions de recherche.