Actionable Interpretability Must Be Defined in Terms of Symmetries

Résumé Technique : L'Interprétabilité Actionnable Doit Être Définie en Termes de Symétries

1. Énoncé du Problème

L'article soutient que la recherche actuelle en intelligence artificielle (IA) interprétable est fondamentalement mal posée. Bien qu'il existe de nombreuses définitions de l'interprétabilité (ex. Kim et al., 2016 ; Miller, 2019 ; Doshi-Velez & Kim, 2017), elles sont largement informelles et descriptives. Par conséquent, le domaine manque de :

1. Un cadre formel pour vérifier si un modèle est interprétable.
2. Un ensemble de principes de conception pour construire des modèles interprétables.

Les définitions existantes ne précisent pas comment l'interprétabilité peut être testée ou ingéniérée de manière formelle. Les auteurs postulent que sans fondation rigoureuse, les limitations clés sont négligées, et le domaine reste fragmenté en listes de propriétés désirables (ex. parcimonie, modularité) plutôt qu'en principes unifiés.

2. Méthodologie : Le Cadre Basé sur les Symétries

Inspirés par le Programme d'Erlangen (Klein, 1893), les auteurs proposent qu'une définition actionnable de l'interprétabilité doit être formulée en termes de symétries (transformations préservant la structure). Ils adoptent une vue probabiliste compositionnelle utilisant les catégories de Markov (spécifiquement la catégorie BorelStoch) pour formaliser les utilisateurs humains et les modèles.

La méthodologie introduit quatre symétries spécifiques qui, lorsqu'elles sont satisfaites, caractérisent la classe de modèles interprétables pour un utilisateur humain $h$ donné :

• Symétrie I : Équivariance de l'Inférence

  • Définition : Un modèle $P_{Y|X}$ est interprétable si un utilisateur peut « simuler » le processus de décision du modèle. Formellement, il doit exister un « modèle mental » $P^{[h]}_{Y|X}$ dans l'espace d'hypothèse $H_m$ de l'utilisateur tel que la traduction des entrées vers l'espace de l'utilisateur et la prédiction produisent le même résultat que la prédiction dans l'espace d'origine suivie de la traduction.
  • Mécanisme : Ceci est représenté par un diagramme commutatif où le chemin de la traduction-puis-prédiction est égal à la prédiction-puis-traduction.
  • Limitation : Vérifier cela naïvement est intraitable pour de grands espaces d'entrée (Défi C1).

• Symétrie II : Invariance de l'Information

  • Définition : Pour remédier à l'intraitabilité, le modèle doit ne conserver que l'information d'entrée suffisante pour la tâche, en écartant les détails non pertinents.
  • Mécanisme : Une application surjective $P_{Z|X}$ compresse l'entrée $X$ en une variable latente $Z$ telle que l'information mutuelle $I(Y; X)$ est invariante sous la marginalisation ($I(Y; X|Z) = 0$).
  • Résultat : Cela réduit la vérification de l'équivariance de l'inférence de l'espace exponentiel de $X$ vers l'espace traitable de $Z$.

• Symétrie III : Invariance de la Clôture de Concept

  • Définition : Pour garantir que la traduction entre les sorties du modèle et la compréhension humaine est « saine » (préserve le sens), le modèle doit opérer sur des concepts qui s'alignent avec la sémantique humaine.
  • Mécanisme : En utilisant l'Analyse Conceptuelle Formelle, un « concept » est défini comme un point fixe d'une relation entre objets et phrases. Une traduction $\tau_C$ est saine si elle préserve la clôture de concept (le diagramme des objets, des phrases et de leurs applications commute).
  • Résultat : Cela garantit que les variables latentes utilisées par le modèle correspondent à des concepts compréhensibles par l'humain, empêchant les interprétations conflictuelles.

• Symétrie IV : Invariance Structurelle

  • Définition : La structure interne du modèle doit être compatible avec les capacités cognitives de l'utilisateur (son « modèle mental » ou espace d'hypothèse $H_m$).
  • Mécanisme : Si un utilisateur ne peut raisonner que linéairement, le modèle doit être linéaire. Formellement, les propriétés structurelles sont préservées sous un foncteur $F$ mappant la catégorie des modèles interprétables vers la catégorie des modèles mentaux humains.
  • Résultat : Cela rend l'interprétabilité explicitement centrée sur l'utilisateur ; un modèle n'est interprétable que si sa complexité structurelle correspond à la capacité de raisonnement de l'utilisateur.

3. Contributions Clés

A. Définition Formelle des Modèles Interprétables
Les auteurs définissent un modèle interprétable comme un modèle satisfaisant les quatre symétries. Ils construisent une Catégorie de Modèles Interprétables ($I_m$) comme une sous-catégorie de BorelStoch.

• Objets : Espaces de concepts ($C_1, \dots, C_k$).
• Processus : Probabilités conditionnelles basées sur les concepts, applications de copie et applications de rejet.
• Composition : Règles de composition séquentielle et parallèle.
  Cette catégorie sert de « recette » (via des diagrammes de cordes) pour construire tout modèle interprétable.

B. Unification des Types d'Inférence par l'Inversion Bayésienne
L'article démontre que, sous ce cadre, trois types critiques d'inférence utilisés en interprétabilité sont unifiés comme des formes d'inversion bayésienne :

1. Alignement de Concept : Apprendre les concepts humains en calculant la distribution a posteriori des paramètres compte tenu des preuves de concepts de vérité terrain.
2. Interventions : Mettre à jour l'état du modèle basé sur des interventions externes (ex. le calcul $do$ ou des dépassements de vérité terrain) via l'inférence a posteriori.
3. Contrefactuels : Réécrire le modèle pour isoler les variables exogènes (abduction), intervenir, et prédire les résultats dans le modèle modifié.

C. Dérivation des Propriétés Existantes
Le cadre montre que les propriétés souvent citées comme désirables dans la littérature (parcimonie, compacité, fidélité, modularité) ne sont pas des axiomes primitifs mais des conséquences de la satisfaction des symétries proposées. Par exemple :

• La parcimonie et la compacité découlent de l'Invariance de l'Information.
• La fidélité et l'alignement découlent de l'Invariance de la Clôture de Concept.
• Les exigences de linéarité ou de monotonie découlent de l'Invariance Structurelle.

4. Résultats et Revendications

L'article ne présente pas de nouveaux benchmarks expérimentaux ou de résultats empiriques. À la place, ses « résultats » sont théoriques et structurels :

• Tractabilité : En imposant l'Invariance de l'Information, l'article prétend résoudre l'intraitabilité de la vérification de l'équivariance de l'inférence dans des espaces de haute dimension.
• Validité (Soundness) : En imposant l'Invariance de la Clôture de Concept, l'article fournit un critère formel pour distinguer les traductions valides (ex. « noir » $\to$ « noir ») des traductions invalides.
• Centrage Utilisateur : En imposant l'Invariance Structurelle, l'article formalise le fait que l'interprétabilité n'est pas une propriété intrinsèque d'un modèle, mais une relation entre le modèle et l'espace d'hypothèse d'un utilisateur spécifique.
• Unification : L'article prétend unifier des tâches d'inférence disparates (alignement, intervention, contrefactuel) sous une seule opération mathématique (inversion bayésienne au sein d'une catégorie de Markov).

5. Signification et Appel à l'Action

L'article soutient que sa signification réside dans le passage de l'énumération informelle de propriétés à la vérification formelle via les symétries.

• Réfutation du Scepticisme : Les auteurs répondent à la vue selon laquelle « aucune définition mathématique universelle n'existe » en arguant que les symétries fournissent un cadre universel qui incorpore le centrage utilisateur (via $H_m$) sans sacrifier la rigueur mathématique.
• Réfutation des Inquiétudes sur l'Accessibilité : Ils soutiennent que bien que le formalisme (théorie des catégories) soit rigoureux, les symétries admettent des interprétations intuitives au niveau de l'exemple, accessibles à un large public.
• Direction Future : Les auteurs appellent la communauté à :
  1. Mapper les méthodes d'interprétabilité existantes sur ces quatre symétries.
  2. Identifier quelles symétries sont implicitement supposées ou violées dans les travaux actuels (ex. noter que les modèles de goulot d'étranglement conceptuel [Concept Bottleneck Models] peuvent satisfaire la Clôture de Concept mais peuvent échouer à l'Invariance Structurelle s'ils utilisent des réseaux de neurones profonds non contraints).
  3. Développer de nouvelles méthodes qui sont explicitement « complètes pour la symétrie » pour leurs tâches et utilisateurs visés.

En résumé, l'article pose que l'interprétabilité actionnable n'est pas une qualité vague, mais une propriété structurelle spécifique définie par la manière dont un modèle préserve l'information, les concepts et la structure par rapport à un utilisateur humain, le tout pouvant être formellement vérifié et conçu en utilisant le cadre de symétrie proposé.