Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

Résumé technique : Fiabilité, fidélité et les limites des explications post-hoc des modèles scientifiques opaques

Énoncé du problème
L'article aborde une lacune épistémique critique dans l'application scientifique de l'IA explicable (XAI). Dans les domaines scientifiques (par exemple, la neurosciences, la physique, la biochimie), les modèles d'apprentissage automatique opaques sont de plus en plus utilisés non seulement comme prédicteurs, mais aussi comme sources d'intuition sur les phénomènes sous-jacents qu'ils modélisent. L'hypothèse prédominante est que si un modèle est suffisamment fiable (ses prédictions correspondent aux résultats du phénomène) et que son explication post-hoc est suffisamment fidèle (l'explication reflète avec précision les calculs internes du modèle), alors l'explication fournit une affirmation justifiée sur la structure même du phénomène.

Les auteurs soutiennent que cette inférence est structurellement invalide. Bien que la fiabilité et la fidélité soient des conditions nécessaires, elles sont insuffisantes pour combler le fossé entre « comprendre le modèle » et « comprendre le monde ». Plus précisément, aucune de ces métriques ne vérifie si la structure interne du modèle correspond à la structure causale, mécaniste ou contrefactuelle du phénomène.

Méthodologie et formalisme
L'article emploie une analyse épistémique formelle plutôt qu'une expérimentation empirique. Il construit une chaîne d'approximation pour analyser la relation inférentielle entre le phénomène, le modèle et l'explication :

1. Le Phénomène ($f$) : La fonction réelle représentant le phénomène naturel.
2. Le Modèle ($h^*$) : Une hypothèse sélectionnée dans un espace $H$ (par exemple, un réseau de neurones profonds) qui approxime $f$.
3. L'Explication ($g^*$) : Une représentation générée par une méthode post-hoc $E$ (par exemple, SHAP, LIME, cartes d'attention) qui approxime $h^*$.

La chaîne est notée $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$, où :

• $\phi$ (le lien modèle-monde) représente la fiabilité de $h^*$ pour suivre $f$.
• $E$ (le lien modèle-de-modèle) représente la fidélité de $g^*$ pour décrire $h^*$.

Les auteurs distinguent deux types de verdicts épistémiques :

• Verdicts descriptifs : Évaluations de ce que le modèle calcule (fidélité).
• Verdicts justificatoires : Évaluations de la capacité du modèle à suivre le phénomène (fiabilité).

L'argument méthodologique central est qu'un scientifique recherche un troisième type de verdict : un verdict justificatif sur la structure du phénomène. L'article démontre que la composition d'un verdict descriptif (sur $g^*$) et d'un verdict justificatif (sur $h^*$) ne peut logiquement pas produire un verdict justificatif sur la structure de $f$.

Contributions clés et arguments

1. L'échec structurel de la composition :
   L'article soutient que le fossé entre le modèle et le monde ne se referme pas, même à la limite d'une fiabilité parfaite et d'une fidélité parfaite.

   • La fiabilité vérifie si les sorties correspondent aux résultats, mais ne nécessite pas de structure interne partagée. Un modèle peut parfaitement suivre un phénomène via des corrélations spécieuses ou des raccourcis non mécanistes (par exemple, s'appuyer sur les bordures d'une image plutôt que sur la pathologie).
   • La fidélité vérifie si l'explication correspond au calcul du modèle, mais elle est entièrement interne au modèle. Elle ne peut pas déterminer si le calcul du modèle correspond au mécanisme du phénomène.
   • Par conséquent, une chaîne « parfaite » ($f \approx h^* \approx g^*$) laisse toujours la question de l'alignement structurel sans réponse. La chaîne manque de la prémisse de « structure partagée » nécessaire pour passer des faits du modèle aux faits du monde.

2. Trois cas de chaînes trompeuses (Annexe A) :
   Les auteurs illustrent la persistance de ce fossé à travers trois scénarios :

   • Cas 1 (Décalage de distribution) : Un modèle repose sur une caractéristique spécieuse (par exemple, des marqueurs de latéralité dans des radiographies) qui fonctionne lors de l'entraînement mais échoue dans de nouvelles populations. La fidélité rapporte correctement la dépendance, mais la fiabilité échoue uniquement lors d'un changement de distribution. L'explication reste fidèle au mauvais mécanisme.
   • Cas 2 (Confondants invariants) : Un modèle repose sur une caractéristique spécieuse qui est corrélée à la cible à travers toutes les populations testables (par exemple, le positionnement du patient). Ici, la fiabilité est parfaite partout, et la fidélité est parfaite, pourtant le modèle échoue toujours à capturer le véritable mécanisme. Aucune quantité de données de validation ne peut distinguer le modèle spécieux du modèle mécaniste si les deux produisent des prédictions identiques.
   • Cas 3 (Suivi parfait, structure divergente) : Un modèle suit le phénomène parfaitement sur toutes les entrées mais utilise une structure interne entièrement différente de celle du phénomène. Une explication fidèle de ce modèle décrit une structure qui n'est pas la structure du phénomène. La fiabilité et la fidélité sont identiques pour le modèle à « structure réelle » et le modèle à « structure divergente », rendant les métriques incapables de distinguer la vérité de la chance.

3. Distinction entre lectures « fortes » et « faibles » :

   • Lecture forte (Comment-réellement) : Soutient que la structure du modèle est la structure du phénomène. L'article affirme que la chaîne ne peut supporter cette affirmation à elle seule.
   • Lecture faible (Comment-possiblement/Compréhension objectuelle) : Soutient que le modèle offre une hypothèse candidate ou une saisie des connexions au sein du domaine. L'article concède que la chaîne peut soutenir cela, à condition que la sortie soit située par rapport à une corroboration externe (théorie préalable, preuves indépendantes ou intervention expérimentale).

Résultats et affirmations
L'article ne présente pas de résultats expérimentaux mais propose une preuve philosophique et logique de limitation :

• Absence de justification auto-suffisante : Un modèle fiable couplé à une explication fidèle ne justifie pas, par composition seule, une affirmation sur la structure causale ou mécaniste du phénomène.
• La corroboration externe est requise : Pour passer d'une description du modèle à une affirmation sur le monde, des prémisses externes (théorie indépendante, mécanismes connus ou interventions) doivent être introduites. Ces prémisses ne sont pas générées par la chaîne XAI elle-même.
• Le rôle de l'idéalisation : L'article s'aligne sur la littérature concernant l'idéalisation scientifique (par exemple, Sullivan, Elgin), suggérant que les modèles opaques fonctionnent comme des outils idéalisés. Ils peuvent fournir une « compréhension objectuelle » (saisir les connexions et les possibilités) mais pas une « compréhension explicative » (identifier le mécanisme réel) sans validation externe.

Signification
La portée de l'article réside dans la clarification des limites épistémiques de l'XAI post-hoc en science. Il remet en question la pratique courante consistant à traiter les explications fidèles de modèles fiables comme des fenêtres directes sur la réalité scientifique.

• Il soutient que l'incapacité à distinguer « comment le modèle fonctionne » et « comment le monde fonctionne » n'est pas un défaut technique à résoudre par de meilleurs algorithmes ou une fidélité accrue, mais une limite structurelle de la chaîne inférentielle.
• Il réoriente l'usage scientifique de l'XAI : plutôt que de voir les explications comme des preuves définitives de mécanisme, elles devraient être vues comme des génératrices d'hypothèses candidates nécessitant des tests externes rigoureux et une intégration théorique.
• L'article conclut que si la chaîne permet de générer des affirmations de type « comment-possiblement », elle ne peut autoriser des affirmations de type « comment-réellement » sans corroboration externe, une distinction cruciale pour l'intégrité de la découverte scientifique utilisant des modèles opaques.