🔢 mathematics

When Are AI Explanations Recoverable? Identifiability, Stability, and Transfer from an Inverse-Problem Perspective

Cet article établit un cadre mathématique pour déterminer la récupérabilité des explications de l'IA en les formulant comme des problèmes inverses, en dérivant une trichotomie complète des conditions d'identifiabilité et de stabilité pour les systèmes linéaires et non linéaires, et en fournissant des bornes explicites qui distinguent la sous-détermination intrinsèque de la variabilité algorithmique.

Auteurs originaux : Chibuike Chiedozie Ibebuchi

Publié 2026-08-24

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chibuike Chiedozie Ibebuchi

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, un modèle est souvent jugé sur sa capacité à prédire l'avenir. Si un système peut prévoir avec précision l'issue de santé d'un patient ou le prix d'une action, nous avons tendance à faire confiance à son jugement. Mais la confiance en une prédiction est différente de la confiance en une explication. Lorsqu'un modèle prend une décision, nous voulons souvent savoir pourquoi. S'est-il appuyé sur un symptôme spécifique ? A-t-il accordé plus de poids à un facteur qu'à un autre ? Ces explications sont censées révéler la logique interne de la machine, agissant comme une fenêtre sur son raisonnement. Cependant, une réalité troublante existe : deux modèles différents peuvent produire exactement les mêmes prédictions pour chaque cas, tout en offrant des raisons totalement différentes pour le faire. L'un peut blâmer une caractéristique spécifique tandis que l'autre l'ignore complètement, même si les deux arrivent à la même réponse correcte. Cela crée un puzzle fondamental : si le comportement observable est identique, pouvons-nous jamais être sûrs de laquelle des explications est la vraie ?

Cette question est au cœur d'une nouvelle étude qui traite la recherche d'explications pour l'IA non pas comme une question de meilleur logiciel, mais comme un problème de physique et de géométrie. Le chercheur, Chibuike Chiedozie Ibebuchi de l'Université Morgan State, a abordé la question en la formulant comme un problème inverse. En science, un problème direct demande ce qui se passe lorsque l'on appuie sur un bouton ; un problème inverse demande ce qui a dû se passer à l'intérieur de la machine pour produire le résultat que l'on observe. L'étude demande si le « pourquoi » d'une prédiction peut être récupéré de manière unique et stable à partir du « quoi » de la prédiction. La réponse, trouve l'auteur, n'est pas un simple oui ou non. Au contraire, la capacité de récupération d'une explication dépend entièrement de la forme mathématique des données sur lesquelles le modèle a été entraîné. L'étude prouve que pour certains types de questions, la réponse est cachée à la vue de tous, tandis que pour d'autres, la réponse est mathématiquement impossible à trouver, peu importe la puissance de calcul appliquée.

Le chercheur a développé une façon précise de mesurer les limites de l'explication. Il a imaginé un scénario où deux systèmes d'IA sont si similaires que leurs prédictions ne diffèrent que d'une quantité infime, presque invisible. Il a ensuite demandé : à quel point les explications de ces deux systèmes peuvent-elles différer ? Si les explications peuvent varier radicalement alors que les prédictions sont presque identiques, l'explication est instable. Si les explications peuvent être complètement différentes alors que les prédictions sont exactement les mêmes, l'explication est non identifiable. L'étude établit une frontière claire entre ces états. Elle montre qu'une explication n'est récupérable que si elle s'aligne sur les directions dans les données que le modèle peut réellement « voir ». Si l'explication dépend d'une direction que le modèle ne peut pas voir, l'explication est perdue à jamais. Si l'explication dépend d'une direction que le modèle peut voir mais seulement faiblement, l'explication existe en théorie mais est si sensible au bruit qu'elle est inutile en pratique.

Dans le cas spécifique des modèles linéaires, qui sont courants dans de nombreuses applications statistiques, l'auteur a dérivé une formule exacte qui sert de règle pour cette incertitude. Cette formule lie la stabilité d'une explication directement à la géométrie des relations des données. Lorsque les caractéristiques des données sont fortement corrélées, une situation connue sous le nom de colinéarité, la règle montre que les explications deviennent de plus en plus instables. L'étude démontre qu'à mesure que la corrélation entre les points de données croît, l'incertitude de l'explication croît avec elle, devenant finalement infinie si la corrélation devient parfaite. Le chercheur a testé cette théorie avec des simulations informatiques. Il a créé des scénarios où les relations de données étaient ajustées de parfaitement claires à presque impossibles à distinguer. Dans chaque cas, le comportement de l'ordinateur correspondait exactement à la prédiction mathématique. Lorsque les données étaient bien structurées, les explications étaient stables. Lorsque les données étaient presque identiques de manières différentes, les explications divergeaient radicalement, confirmant que l'instabilité n'était pas un bug du logiciel mais une propriété fondamentale de l'information disponible.

L'étude a également exploré ce qui se passe lorsque l'IA utilise des règles non linéaires plus complexes pour prendre des décisions. On pourrait espérer qu'un modèle plus complexe puisse démêler la confusion causée par des données désordonnées. Cependant, le chercheur a découvert que la complexité ne sauve pas une explication perdue. Si une information manque aux données dès le départ, aucune torsion non linéaire ne peut la ramener. L'étude prouve que si une explication dépend d'une variable cachée que le modèle ne peut observer, un modèle non linéaire échouera également à l'identifier. L'explication reste aussi invisible qu'elle l'était dans le cas linéaire plus simple. Cette conclusion est cruciale car elle dissipe l'idée que des algorithmes plus complexes peuvent résoudre des problèmes qui sont fondamentalement sous-déterminés par les données.

De plus, la recherche aborde la question du transfert, demandant si une explication qui fonctionne dans une situation tiendra bon si les données changent légèrement. L'auteur a trouvé que la stabilité n'est pas garantie par de petits changements dans les données. Si la distribution sous-jacente des données dévie même un tout petit peu, une explication qui était autrefois stable peut soudainement devenir impossible à récupérer. Cela se produit lorsque le changement de données pousse le problème vers une frontière où l'information est perdue. L'étude fournit une condition spécifique, une « marge spectrale », qui doit être maintenue pour garantir que les explications restent fiables lors du passage d'un ensemble de données à un autre. Sans cette marge, même un changement minuscule dans les données peut détruire la capacité d'expliquer le comportement du modèle.

Le travail conclut en recadrant la manière dont nous devrions aborder l'intelligence artificielle explicable. Au lieu de chercher immédiatement le meilleur algorithme pour générer une explication, l'étude suggère que nous devons d'abord nous demander si une explication est même possible à trouver. Avant de faire confiance à une attribution de caractéristique ou à un score de sensibilité, nous devons déterminer si l'information requise pour générer celle-ci est réellement présente dans les prédictions observables. L'étude sépare la variabilité causée par le choix de l'algorithme de l'incertitude intrinsèque causée par les données elles-mêmes. Elle offre une base mathématique pour savoir quand une affirmation explicative est soutenue par les preuves et quand elle est fondamentalement sous-déterminée. En définissant les limites de ce qui peut être connu, la recherche fournit une fondation nécessaire pour construire la confiance dans l'intelligence artificielle, garantissant que nous ne confondons pas un algorithme stable avec une vérité stable.

Résumé Technique : Quand les explications de l'IA sont-elles récupérables ?

Formulation du Problème
L'article traite d'une lacune fondamentale dans l'IA explicable (XAI) : l'hypothèse selon laquelle la similitude prédictive implique un accord explicatif. L'auteur postule que différents modèles peuvent produire des prédictions observationnellement indiscernables tout en supportant des attributions de caractéristiques, des sensibilités ou des classements matériellement différents. La question centrale est formulée comme un problème inverse : étant donné un opérateur d'observation $\mathcal{A}$ (représentant le comportement observable du modèle) et un fonctionnel d'explication $\Psi$ (la quantité à récupérer), sous quelles conditions $\Psi(\theta)$ est-il de manière unique et stable récupérable à partir de $\mathcal{A}(\theta)$ ?

L'étude distingue trois phénomènes souvent confondus :

Non-identifiabilité : L'explication varie parmi des systèmes présentant des observations identiques.
Mauvais conditionnement (Ill-conditioning) : L'explication est unique mais infiniment sensible aux petites perturbations observationnelles.
Récupération stable : L'explication est déterminée de manière unique et varie de façon continue (Lipschitz-stablement) avec les observations.

Méthodologie
Le cadre définit un module d'identifiabilité spécifique à l'explication, $\omega_{\Psi, \mathcal{A}}(\delta)$ , qui quantifie l'écart maximal possible du fonctionnel d'explication $\Psi$ entre deux systèmes dont les observations diffèrent d'une tolérance au plus $\delta$ .

L'analyse procède à travers quatre étapes théoriques :

Théorie des espaces de Hilbert linéaires : Le problème est modélisé à l'aide d'opérateurs d'observation linéaires bornés $A: \mathcal{H} \to \mathcal{Y}$ et de fonctionnels d'explication linéaires $\Psi_a(\theta) = \langle a, \theta \rangle$ . L'analyse repose sur la géométrie du noyau $\ker(A)$ et de l'image de l'opérateur adjoint $\text{Range}(A^*)$ .
Spécialisation en dimension finie : Pour les prédicteurs linéaires avec une géométrie de covariance $\Sigma$ , le module est dérivé à l'aide de la pseudo-inverse de Moore-Penrose $\Sigma^\dagger$ .
Extensions non linéaires : La théorie s'étend aux opérateurs d'observation non linéaires $F$ qui sont localement bi-Lipschitz comparables à un opérateur linéaire $A$ . Cela permet de borner le module non linéaire en utilisant le contrepartie linéaire mise à l'échelle par les constantes de Lipschitz de la non-linéarité.
Analyse de perturbation : L'étude examine comment la récupérabilité de l'explication se transfère à travers les changements de distribution (source $P$ vers cible $Q$ ) en analysant les perturbations relatives de la matrice de covariance.

Résultats Clés

La trichotomie de la récupérabilité (Cas linéaire) :
Pour une direction d'explication $a$ , exactement un de trois régimes prévaut :
1. Non-identifiable : Si $a \notin (\ker A)^\perp$ , le module est infini pour tout $\delta \geq 0$ . L'explication ne peut pas être récupérée.
2. Identifiable mais infiniment instable : Si $a \in (\ker A)^\perp$ mais $a \notin \text{Range}(A^*)$ , le module est nul à $\delta=0$ mais infini pour tout $\delta > 0$ . L'explication est unique dans la limite sans bruit, mais irrécupérable sous perturbation.
3. Lipschitz-Stable : Si $a \in \text{Range}(A^*)$ , le module est $\omega_a(\delta) = \delta \|y_a^\dagger\|$ , où $y_a^\dagger$ est la solution de norme minimale à $A^*y = a$ . Cela fournit une constante de stabilité optimale exacte.
Formule de la pseudo-inverse en dimension finie :
En dimension finie, où $\text{Range}(A^*)$ est fermé, le régime instable intermédiaire s'effondre. Si la direction de l'explication se trouve dans la plage observable, le module est donné par :
$\omega_a(\delta) = \delta \sqrt{a^\top \Sigma^\dagger a}$
Cela lie explicitement la récupérabilité de l'explication à la géométrie de la covariance. La quasi-colinéarité (petites valeurs propres) conduit à un mauvais conditionnement (module élevé), tandis que le déficit de rang dans la direction de $a$ conduit à une non-identifiabilité.
Bornes Non Linéaires :
Pour les modèles linéaires généralisés (ex: régression logistique) avec une fonction de lien $g$ ayant des bornes de dérivée $m \leq g' \leq M$ , le module non linéaire est borné par le module linéaire mis à l'échelle par $1/M$ et $1/m$ . Crucialement, la non-linéarité ne peut pas restaurer l'identifiabilité perdue dans le noyau observationnel ; si une direction est inobservable dans le prédicteur linéaire, elle reste inobservable après une transformation monotone.
Certificats de Transfert :
L'article étabule que la stabilité de l'explication se transfère sous un changement de distribution uniquement si la perturbation relative de la géométrie de la covariance est éloignée d'un effondrement spectral. Plus précisément, si $\|E\|_{op} \leq \rho < 1$ (où $E$ est la perturbation relative), le module cible est borné dans un facteur de $1/\sqrt{1 \pm \rho}$ du module source. Inversement, des perturbations absolues arbitrairement petites peuvent détruire l'identifiabilité si le système source est proche d'une frontière de déficit de rang.

Vérification Numérique
Quatre expériences contrôlées vérifient les prédictions théoriques :

Conditionnement Spectral : Le module linéaire exact a été reproduit avec une précision de virgule flottante à travers des nombres de conditionnement de covariance allant de $1 $à$ 10^6$.
Échec du Noyau (Null-Space) : Des déplacements le long d'une direction du noyau ont entraîné une divergence de la discrépance explicative pour une discrépance prédictive nulle, confirmant la non-identifiabilité exacte.
Bornes Non Linéaires : Les modules numériques pour un modèle logistique sont restés strictement à l'intérieur des bornes théoriques bilatérales dérivées du cas linéaire.
Enveloppe de Transfert : Les ratios échantillonnés de module cible-sur-source sous des perturbations aléatoires de la covariance sont restés à l'intérieur de l'enveloppe théorique prédite par le théorème de perturbation relative.

Signification et Revendications
L'article prétend fournir une théorie quantitative du problème inverse pour un fonctionnel d'explication spécifié par rapport à un opérateur d'observation spécifié. Sa contribution primaire n'est pas un nouvel algorithme d'attribution, mais un cadre mathématique pour déterminer a priori si une cible explicative est récupérable à partir des informations prédictives disponibles.

L'auteur soutient que ce cadre sépare la variabilité algorithmique (différences découlant du choix de la méthode d'explication) de l'instabilité intrinsèque et de la non-identifiabilité (limites fondamentales imposées par les données et la structure du modèle). Le travail pose qu'avant de sélectionner ou de comparer des algorithmes d'explication, les chercheurs doivent d'abord déterminer si la cible explicative est identifiable et stable sous la structure d'information donnée. Si la cible se situe en dehors de la plage observable ou dans un régime instable, aucun algorithme ne peut la récupérer de manière fiable, quel que soit son design.

L'étude conclut que la fiabilité de l'explication est une propriété du problème inverse lui-même, et non simplement une propriété de l'algorithme utilisé pour le résoudre. Cela recadre la fiabilité des affirmations de l'XAI : elles ne sont soutenues que lorsque la quantité explicative est de manière stable récupérable à partir du comportement prédictif observable.

Résumé Technique : Quand les explications de l'IA sont-elles récupérables ?

Articles similaires