On the definition and importance of interpretability in scientific machine learning

Cet article propose une définition opérationnelle de l'interprétabilité pour l'apprentissage automatique scientifique, en soulignant que la compréhension des mécanismes physiques prime sur la simple parcimonie mathématique, afin de combler le manque de clarté conceptuel qui entrave l'intégration des modèles d'IA dans le corpus des connaissances scientifiques.

L'essentiel

🕵️‍♂️ Le Mystère de la "Boîte Noire" : Pourquoi les scientifiques ne veulent pas juste deviner, ils veulent comprendre

Imaginez que vous êtes un détective. Vous avez deux outils pour résoudre un crime :

1. Le Génie de la Boîte Noire (L'IA classique) : C'est un super-ordinateur qui regarde des milliers de photos de la scène du crime et vous dit : « C'est le coupable ! » avec une précision de 99,9 %. Mais si vous lui demandez pourquoi, il répond : « Parce que mes circuits internes le disent ». Il ne peut pas vous expliquer sa logique. C'est comme un oracle qui donne la réponse sans le raisonnement.
2. Le Détective Classique (La Science traditionnelle) : Il observe les indices et vous dit : « C'est le coupable, car il a laissé une empreinte de pas ici, et son alibi ne colle pas avec l'heure du crime ». Il vous donne la mécanique du crime.

Ce papier, écrit par Conor Rowan et Alireza Doostan, pose une question cruciale pour les scientifiques qui utilisent l'intelligence artificielle (IA) : Est-ce que la réponse exacte suffit, ou avons-nous besoin de comprendre le "pourquoi" ?

🧱 Le Problème : On confond "Simple" et "Compréhensible"

Dans le monde de la science moderne (appelé SciML), beaucoup de chercheurs pensent que pour qu'une IA soit utile, elle doit être simple. Ils croient que si l'équation trouvée par l'IA est courte et épurée (ce qu'ils appellent "sparsité"), alors elle est forcément compréhensible.

C'est comme si vous disiez : « Cette recette de cuisine est géniale parce qu'elle n'a que 3 ingrédients ! »
Le problème ? Même avec 3 ingrédients, si vous ne savez pas ce qu'ils font (est-ce que c'est du sel ? du poison ? de la magie ?), la recette ne vous aide pas à comprendre comment cuisiner.

Les auteurs disent : « Non, ce n'est pas la longueur de l'équation qui compte, c'est son sens. »

🌍 L'Analogie du Langage

Imaginez que la science est une grande bibliothèque de connaissances.

• L'IA "Boîte Noire" écrit ses découvertes dans une langue secrète, incompréhensible pour les humains (des millions de paramètres numériques). Même si elle a raison, on ne peut pas mettre son livre dans la bibliothèque car personne ne sait le lire.
• L'IA "Interprétable" doit écrire dans la langue de la bibliothèque (les lois de la physique, comme la gravité ou la thermodynamique).

Le papier explique que les chercheurs actuels font une erreur : ils pensent que si l'IA écrit une phrase courte (sparsité), c'est automatiquement de la "science". Mais une phrase courte peut être du charabia si elle ne raconte pas une histoire liée à la réalité.

🚀 L'Exemple de Kepler et Newton (Le moment "Aha !")

Pour illustrer cela, les auteurs parlent de l'histoire de l'astronomie :

• Johannes Kepler a trouvé des lois mathématiques très simples (courtes) pour décrire comment les planètes tournent autour du soleil. C'était "sparsité" pure. Mais à l'époque, personne ne comprenait pourquoi. C'était comme une recette magique sans explication.
• Isaac Newton, 70 ans plus tard, a trouvé la mécanique derrière ces lois : la gravité. Soudain, les lois de Kepler sont devenues interprétables. On a compris le mécanisme.

La leçon : Une équation courte n'est pas interprétable par elle-même. Elle ne le devient que si on peut la relier à un principe fondamental que l'on connaît déjà (comme la gravité).

🛠️ La Nouvelle Définition Proposée

Les auteurs proposent une nouvelle règle du jeu pour les scientifiques qui utilisent l'IA :

Une découverte est "interprétable" seulement si on peut dire : "Ah, cette équation est juste une conséquence de la loi de la conservation de l'énergie" ou "C'est une loi de la mécanique des fluides."

Si l'IA trouve une équation bizarre, même si elle est courte et précise, mais qu'on ne peut pas la relier à une loi physique connue, alors ce n'est pas une découverte scientifique, c'est juste une prédiction.

🎭 Pourquoi c'est important ? (L'Analogie du Puzzle)

Imaginez que vous essayez de reconstruire un puzzle géant (l'univers).

• Si vous utilisez une IA "Boîte Noire", elle vous donne l'image finale parfaite, mais vous ne savez pas comment les pièces s'emboîtent.
• Si vous utilisez l'IA "Interprétable", elle vous donne les pièces et vous dit : « Regarde, cette pièce s'emboîte avec celle-ci grâce à la gravité ».

Les auteurs disent que l'objectif de la science n'est pas juste d'avoir l'image finale (prédire le temps qu'il fera demain), mais de comprendre comment les pièces s'emboîtent (comprendre les mécanismes).

💡 En Résumé

Ce papier nous dit :

1. Arrêtez de confondre "Court" et "Compris". Une équation courte n'est pas forcément intelligente.
2. La vraie interprétabilité, c'est le sens. C'est pouvoir relier ce que l'IA trouve à ce que nous savons déjà sur le monde (les lois de la physique).
3. Sans ce lien, pas de nouvelle science. Si l'IA trouve quelque chose de nouveau mais qu'on ne peut pas l'expliquer avec nos concepts actuels, on ne peut pas l'ajouter à la bibliothèque de la science. On doit d'abord trouver le "mécanisme" caché.

En gros, les scientifiques veulent que l'IA arrête de jouer au devin et commence à jouer au professeur qui explique le "pourquoi" des choses.

Résumé technique

1. Problématique

L'article aborde un problème fondamental dans le domaine du Scientific Machine Learning (SciML) : la nature de « boîte noire » des modèles basés sur les réseaux de neurones. Bien que ces modèles soient performants pour la prédiction de phénomènes physiques, la communauté scientifique s'inquiète de leur incapacité à intégrer leurs découvertes dans le corpus existant des connaissances scientifiques.

Contrairement aux modèles scientifiques traditionnels, qui reposent sur des expressions mathématiques simples et compactes (lois physiques), les modèles ML apprennent des relations complexes et opaques. La littérature actuelle en découverte d'équations et en régression symbolique (ex: SINDy) tente de combler ce fossé en promouvant l'interprétabilité comme critère essentiel. Cependant, les auteurs constatent une confusion critique : la communauté tend à confondre l'interprétabilité avec la parcimonie (sparsity).

Le problème central est donc de définir rigoureusement ce qu'est l'interprétabilité dans le contexte scientifique. Les auteurs soutiennent que la simple parcimonie mathématique (avoir peu de termes dans une équation) ne garantit pas que l'équation soit compréhensible ou qu'elle révèle un mécanisme physique sous-jacent, surtout en l'absence de connaissances préalables.

2. Méthodologie

Les auteurs adoptent une approche critique et philosophique, structurée en plusieurs étapes :

1. Revue de la littérature (SciML) : Ils analysent les travaux récents en découverte d'équations (SINDy) et en régression symbolique. Ils identifient que la définition implicite de l'interprétabilité y est presque systématiquement liée à la parcimonie (équations courtes, utilisant des fonctions familières) et à la transparence (facilité à prédire le comportement hors échantillon).
2. Revue de la littérature (ML général) : Ils examinent les définitions de l'interprétabilité dans le ML classique (XAI), où l'accent est mis sur la confiance, la sécurité et la capacité à répondre aux questions « pourquoi » (causalité intuitive). Ils concluent que ces définitions sont insuffisantes pour la science fondamentale, car elles ne visent pas l'intégration dans un cadre théorique unifié.
3. Analyse par contre-exemples : Pour démontrer l'inadéquation de la définition par parcimonie, les auteurs utilisent des expériences de pensée :
   • Exemple de la poutre : Une équation sparse peut être mathématiquement simple mais physiquement inintelligible sans connaissances préalables sur les mécanismes (élasticité linéaire vs non-linéaire).
   • Exemple de l'énergie hyperélastique : Une équation complexe mais dérivée de principes physiques connus est interprétable, tandis qu'une équation sparse mais inconnue (dans un système d'advection-diffusion-réaction) ne l'est pas.
   • Exemple historique de Kepler : Les lois de Kepler étaient des expressions mathématiques parcimonieuses, mais elles n'étaient pas « interprétables » à l'époque car leur mécanisme sous-jacent (la gravitation newtonienne) n'était pas encore connu. Elles ne sont devenues interprétables qu'après la dérivation par Newton.
4. Proposition d'une définition opérationnelle : En s'appuyant sur la philosophie des sciences (notamment les travaux de Kitcher sur l'unification et de Hempel sur l'explication déductivo-nomologique), les auteurs proposent une nouvelle définition.

3. Contributions Clés

La contribution principale de l'article est la proposition d'une nouvelle définition opérationnelle de l'interprétabilité adaptée au SciML :

Définition : Dans le SciML, un modèle appris est interprétable s'il peut être dérivé de principes physiques de base ou s'il représente un composant empirique d'un modèle déjà dérivé de ces principes.

Les points saillants de cette contribution sont :

• Primauté du mécanisme sur la forme : L'interprétabilité ne dépend pas de la simplicité mathématique (sparsité), mais de la capacité à relier les termes de l'équation à des mécanismes physiques connus (ex: conservation de la masse, de l'énergie, lois de Newton).
• Rôle des connaissances préalables : Une équation n'est interprétable que si l'on peut « remonter » à son origine théorique. Si un terme découvert est inconnu et ne peut être relié à des principes fondamentaux, il n'est pas interprétable, même s'il est mathématiquement simple.
• Distinction entre découverte révolutionnaire et science normale : Selon cette définition, la découverte de nouveaux principes fondamentaux (révolution scientifique) n'est pas « interprétable » par définition, car il n'existe pas encore de cadre théorique supérieur pour les dériver. L'interprétabilité s'applique principalement à la « science normale » (résolution de problèmes techniques dans un cadre existant).
• Réévaluation de la parcimonie : La parcimonie n'est pas l'interprétabilité, mais elle reste un outil utile. Une équation sparse a plus de chances d'être dérivée à partir de principes fondamentaux qu'une équation complexe de type réseau de neurones. La parcimonie « laisse la porte ouverte » à une future interprétation théorique.

4. Résultats et Analyse

L'analyse des auteurs mène aux conclusions suivantes :

• L'équivalence Sparsité = Interprétabilité est fausse : De nombreuses équations parcimonieuses découvertes par des algorithmes (comme SINDy) peuvent être physiquement inintelligibles si les mécanismes sous-jacents sont inconnus. Inversement, des équations complexes peuvent être parfaitement interprétables si elles sont ancrées dans la théorie.
• Limites de la découverte de lois nouvelles : Si l'objectif est de découvrir de nouvelles lois physiques (sans connaissances préalables), l'exigence d'interprétabilité telle que définie par la communauté SciML (basée sur la sparsité) est trompeuse. Sans connaissances préalables, on ne peut pas interpréter un terme inconnu, quelle que soit sa forme mathématique.
• L'interprétabilité comme outil d'unification : La vraie valeur de l'interprétabilité en science est de permettre l'unification de phénomènes disparates sous un petit nombre de principes fondamentaux (comme le suggère Kitcher). Un modèle interprétable est un modèle qui peut être « compressé » mentalement en un principe physique latent (ex: conservation de la masse).

5. Signification et Implications

Cet article a une importance majeure pour l'avenir du SciML :

• Refocalisation de la recherche : Il invite les chercheurs à ne pas se contenter de chercher des équations « courtes » (sparses), mais à se concentrer sur la compréhension des mécanismes physiques. La recherche doit viser à connecter les découvertes de données aux principes physiques existants.
• Critique des promesses de la régression symbolique : L'article met en garde contre l'enthousiasme excessif pour les méthodes de régression symbolique qui prétendent découvrir des lois fondamentales. Sans connaissances préalables, ces méthodes risquent de produire des équations mathématiquement simples mais physiquement obscures, incapables d'être intégrées au savoir scientifique.
• Rôle de la parcimonie : La parcimonie est réhabilitée non pas comme une fin en soi (interprétabilité), mais comme un moyen heuristique pour faciliter la dérivation future d'équations à partir de principes fondamentaux.
• Perspective philosophique : En ancrant la définition de l'interprétabilité dans la philosophie des sciences, l'article offre un cadre plus robuste pour évaluer ce que signifie « faire de la science » avec des modèles d'apprentissage automatique. Il suggère que l'objectif ultime n'est pas seulement la prédiction, mais l'explication causale et l'unification théorique.

En résumé, Rowan et Doostan démontrent que pour que le ML contribue véritablement à la découverte scientifique, il doit dépasser la simple recherche de la simplicité mathématique pour viser la cohérence mécanistique avec les lois physiques établies.