🔬 physics

Interpreting "Interpretability" and Explaining "Explainability" in Machine Learning in Physics

Cet article passe en revue les concepts d'interprétabilité et d'explicabilité dans l'apprentissage automatique pour la physique, en les définissant respectivement comme une transparence structurelle et un contenu scientifique, tout en soutenant qu'ils sont des choix de modélisation délibérés soumis à des compromis plutôt que des propriétés intrinsèques des modèles eux-mêmes.

Auteurs originaux : Rikab Gambhir, Luisa Lucie-Smith, Jesse Thaler

Publié 2026-06-26

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rikab Gambhir, Luisa Lucie-Smith, Jesse Thaler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Deux questions différentes

Imaginez que l'on vous remette une machine technologique mystérieuse qui prédit la météo. Vous voulez savoir deux choses à son sujet :

Comment la machine fonctionne-t-elle ? (Quels sont les engrenages, les fils et les leviers à l'intérieur ?)
Que nous dit réellement la machine sur le monde ? (Sa prédiction correspond-elle à ce que nous savons déjà en météorologie ?)

Les auteurs de cet article soutiennent que les scientifiques confondent souvent ces deux questions. Ils proposent une distinction claire :

L'interprétabilité concerne la structure. Elle demande : « Puis-je voir l'intérieur de la machine et comprendre comment les engrenages tournent pour faire une prédiction ? »
L'explicabilité concerne le contenu. Elle demande : « La réponse de la machine fait-elle sens lorsque je la compare à la carte du monde que je possède déjà ? »

Les compromis : Le « Couteau Suisse » vs le « Tournevis »

L'article explique que vous ne pouvez généralement pas avoir le meilleur des deux mondes en même temps. Vous devez choisir votre outil en fonction du travail à accomplir.

1. Interprétabilité vs Expressivité (L'« Outil simple » vs l'« Outil perfectionné »)

L'analogie : Pensez à un tournevis simple (Interprétable) par rapport à un couteau suisse complexe et programmable avec mille accessoires (Expressif).
Le compromis : Un tournevis est facile à comprendre ; vous savez exactement ce qu'il fait. Mais il ne peut que serrer des vis. Un couteau suisse peut presque tout faire (couper, visser, scier, ouvrir des bouteilles), mais si vous regardez l'intérieur, c'est un enchevêtrement complexe d'engrenages et de ressorts très difficile à déchiffrer.
Le point de l'article : En physique, les modèles simples (comme les lois de Newton) sont comme des tournevis : faciles à comprendre mais limités. Les modèles complexes d'Apprentissage Automatique (ML) sont comme le couteau suisse : ils peuvent résoudre des problèmes incroyablement difficiles, mais ils sont souvent des « boîtes noires » où nous ne pouvons pas voir comment ils fonctionnent.

2. Explicabilité vs Adaptabilité (La « Carte rigide » vs le « GPS flexible »)

L'analogie : Imaginez une carte imprimée d'une ville (Explicable) par rapport à un GPS qui apprend de chaque itinéraire de conducteur en temps réel (Adaptable).
Le compromis : La carte imprimée est basée sur des routes et des règles connues. Si vous voyez une nouvelle route sur la carte, c'est une erreur. Elle est très « explicable » car elle suit les règles de la ville. Le GPS, cependant, peut s'adapter instantanément aux embouteillages, aux travaux et aux détours. Mais parce qu'il change énormément en fonction des données, il est difficile d'expliquer pourquoi il a choisi un itinéraire spécifique à un moment précis.
Le point de l'article : Si vous voulez un modèle qui s'adapte parfaitement à n'importe quelle donnée (Adaptabilité), vous perdez la capacité de l'expliquer en utilisant la physique connue. Si vous voulez un modèle qui suit strictement la physique connue (Explicabilité), il pourrait échouer à s'adapter à de nouvelles données étranges.

Quand avez-vous besoin de l'un ou de l'autre ?

L'article affirme que vous n'avez pas toujours besoin des deux. Cela dépend de ce que vous essayez de faire.

Quand vous n'avez pas besoin d'Interprétabilité :
- Le travail de « Substitut » (Surrogate) : Imaginez que vous avez une simulation complexe et très lente qui prend une semaine pour s'exécuter. Vous entraînez une IA rapide pour la imiter. Vous ne vous souciez pas de comment l'IA fait (Interprétabilité) ; vous voulez juste qu'elle donne la même réponse que la simulation lente et qu'elle s'exécute en une seconde.
- Le travail de « Référence » (Benchmark) : Si vous essayez simplement de gagner une compétition pour voir qui obtient le score le plus élevé, vous pourriez utiliser un modèle « boîte noire ». Tant qu'il gagne, vous n'avez pas besoin de savoir comment il réfléchit.
Quand vous AVEZ besoin d'Interprétabilité :
- Confiance : Si un modèle fait une prédiction étrange, vous devez être capable de regarder à l'intérieur et de dire : « Ah, je vois, il a été confus à cause de cette entrée spécifique. »
- Efficacité : Parfois, comprendre les « engrenages » permet de construire une version plus simple et plus rapide de la machine.
Quand vous AVEZ besoin d'Explicabilité :
- Découverte : Si votre modèle trouve quelque chose de nouveau, vous devez être capable de dire : « Ce nouveau motif correspond à la théorie de X. » Si vous ne pouvez pas relier le résultat aux connaissances existantes, ce n'est qu'une liste de chiffres, pas une découverte.
- Validation : Vous devez prouver que le modèle ne fait pas que mémoriser les données (comme un élève qui mémorise des réponses) mais qu'il comprend réellement les règles de l'univers.

L'approche « Par conception » vs « Après coup »

L'article traite de deux façons d'obtenir ces qualités :

Intrinsèque (Par conception) : Vous construisez la machine avec les « engrenages » visibles dès le départ.
- Analogie : Construire une maison avec des murs en verre pour pouvoir voir la plomberie.
- Exemple : Utiliser une équation simple ou un modèle qui force l'IA à suivre les lois de la physique (comme la conservation de l'énergie) pendant qu'elle apprend.
Post-hoc (Après coup) : Vous construisez d'abord une machine complexe, puis vous essayez de prendre une photo de l'intérieur pour voir comment elle fonctionne.
- Analogie : Démonter un moteur complexe après sa construction pour dessiner un diagramme du mouvement des pistons.
- Exemple : Utiliser des outils qui mettent en évidence les parties d'une image sur lesquelles l'IA s'est concentrée pour prendre une décision. L'article prévient que ces outils ne sont souvent que des approximations et ne disent pas forcément toute la vérité.

La leçon la plus importante : Planifiez avant de construire

Les auteurs soulignent que l'interprétabilité et l'explicabilité sont des choix, et non des propriétés magiques.

Spécification de la tâche : Avant de construire votre modèle, vous devez vous demander : « À quoi sert réellement ce modèle ? » Si vous essayez simplement d'accélérer un calcul, vous n'avez pas besoin d'un modèle transparent. Si vous essayez de découvrir une nouvelle loi de la physique, vous en avez absolument besoin.
Planification de l'intervention : Vous devez décider à l'avance ce que vous ferez si le modèle est déroutant.
- Analogie : Si vous conduisez une voiture, vous devez savoir ce que vous ferez si le voyant du moteur s'allume. Est-ce que vous vous arrêtez sur le côté ? Est-ce que vous l'ignorez ? Si vous n'avez pas de plan, voir le voyant est inutile.
- L'article met en garde contre le « biais de confirmation ». Si vous examinez le fonctionnement interne d'un modèle après avoir vu le résultat, vous pourriez vous auto-persuader qu'il est cohérent simplement parce que vous voulez qu'il le soit. Vous devez avoir un plan pour tester le modèle avant de regarder les résultats.

Conclusion

L'article conclut que les modèles d'Apprentissage Automatique en physique ne sont pas fondamentalement différents des modèles « classiques » utilisés par les scientifiques depuis des siècles (comme les lois de Newton). La seule différence est l'échelle.

Les modèles classiques sont simplement très simples, hautement interprétables et hautement explicables.
Les modèles de ML sont énormes, complexes et souvent opaques.

Mais les règles de la science s'appliquent aux deux. Vous ne pouvez pas simplement jeter une « boîte noire » sur un problème scientifique et attendre une découverte. Vous devez décider de ce dont vous avez besoin (vitesse ? confiance ? découverte ?), choisir le bon outil et avoir un plan pour utiliser les résultats. Si vous faites cela, l'apprentissage automatique devient un instrument puissant pour la science, et non un simple tour de magie.

Résumé technique : Interpréter l'« interprétabilité » et expliquer l'« explicabilité » dans l'apprentissage automatique en physique

Énoncé du problème

L'adoption rapide de modèles d'apprentissage automatique (ML) hautement expressifs, tels que les réseaux de neurones profonds et les grands modèles de langage (LLM), dans les sciences physiques (physique des hautes énergies, astrophysique, cosmologie) a soulevé des questions fondamentales concernant leur fiabilité scientifique et leur rôle dans la découverte. Un défi majeur est la confusion de termes tels que l'interprétabilité, l'explicabilité, la fiabilité (trustworthiness) et la transparence au sein de la communauté de la physique. Contrairement aux modèles scientifiques « classiques » (par exemple, les lois de Newton, le Modèle Standard), qui sont souvent dérivés de principes premiers et possèdent une transparence structurelle inhérente, les modèles de ML modernes sont fréquemment perçus comme des « boîtes noires » opaques.

Le document traite de la nécessité de définir et de distinguer rigoureusement l'interprétabilité et l'explicabilité afin de déterminer quand ces propriétés sont nécessaires, comment elles peuvent être atteintes et quels compromis elles impliquent. Les auteurs soutiennent que ces propriétés ne sont pas des caractéristiques inhérentes aux modèles, mais des choix de modélisation délibérés qui doivent être alignés sur des objectifs scientifiques spécifiques.

Méthodologie et cadre

Le document emploie une revue conceptuelle et un cadre taxonomique plutôt que de présenter de nouvelles données expérimentales ou un algorithme spécifique. La méthodologie comprend :

Clarification définitionnelle : Établir des définitions distinctes pour l'interprétabilité et l'explicabilité, en séparant la structure du modèle du contenu scientifique.
Construction d'une taxonomie : Cartographier les modèles sur un spectre basé sur leur degré d'interprétabilité et d'explicabilité, en identifiant quatre quadrants : interprétable/explicable, interprétable/non explicable, non interprétable/explicable, et ni l'un ni l'autre.
Analyse des compromis : Analyser les tensions inhérentes entre :
- Interprétabilité vs Expressivité : La capacité de comprendre la structure d'un modèle versus sa capacité à ajuster des motifs de données complexes.
- Explicabilité vs Adaptabilité : La capacité de mapper un modèle sur des connaissances de domaine versus sa flexibilité à s'adapter à des distributions de données arbitraires.
Catégorisation des techniques : Classer les méthodes pour atteindre ces propriétés en approches Intrinsèques (par conception) et Post-hoc (analyse après l'entraînement).
Intégration des processus : Présenter l'interprétabilité et l'explicabilité comme des prérequis à la Spécification de la tâche et à la Planification d'intervention, en soutenant que ces propriétés n'ont de valeur que si elles informent des décisions scientifiques en aval.

Contributions clés

1. Définitions distinctes

Les auteurs proposent une dichotomie claire :

Interprétabilité : Concerne la transparence structurelle d'un modèle. Elle pose la question : « Pouvons-nous comprendre, approximer ou lire le fonctionnement interne du modèle $f_\theta$ et la manière dont il parvient à son résultat ? » Elle est indépendante des données et se rapporte à la forme, aux paramètres et au mécanisme de calcul du modèle (ex: coefficients linéaires, divisions d'arbres de décision).
Explicabilité : Concerne le contenu scientifique d'un modèle. Elle pose la question : « Pouvons-nous mapper les paramètres ou les fonctions appris sur les connaissances de domaine existantes ? » Elle nécessite une référence à des principes physiques préalables, des lois ou des données empiriques pour fournir un contexte et une sémantique.

2. Le paysage des modèles

Le document catégorise les modèles selon ces définitions :

Interprétables et Explicables : Modèles de physique classique (gravité newtonienne, Modèle Standard) et modèles de ML simples (régression linéaire, arbres peu profonds).
Interprétables mais Non Explicables : Modèles dont la structure est claire (ex: inspection des noyaux de CNN) mais dont la connexion avec la causalité physique ou les connaissances de domaine est faible ou qualitative.
Explicables mais Non Interprétables : Modèles où le résultat scientifique est compris (ex: une prédiction de la QCD à 10 boucles ou un flux normalisantant qui la simule), mais dont le mécanisme de calcul interne est trop complexe pour être transparent mécanistiquement.
Ni l'un ni l'autre : Boîtes noires propriétaires ou modèles sans accès à la structure ou au mapping de domaine.

3. Compromis

Interprétabilité vs Expressivité : Les modèles hautement expressifs (ex: Transformers, réseaux de neurones profonds) peuvent approximer de vastes classes de fonctions mais sacrifient la transparence structurelle. Inversement, les modèles hautement interprétables (ex: ajustements paramétriques) sont souvent limités dans leur capacité à capturer des motifs de données complexes et non linéaires.
Explicabilité vs Adaptabilité : Les modèles conçus pour une haute explicabilité (incorporant des symétries physiques, des priors ou des principes premiers) ont souvent une adaptabilité réduite à des distributions de données arbitraires ou inattendues. À l'inverse, les modèles hautement adaptables (ex: tables de recherche) peuvent s'ajuster à n'importe quelle donnée mais n'offrent aucune structure compressible pour expliquer pourquoi la donnée se comporte ainsi.

4. Outils méthodologiques

Le document passe en revue les outils pour atteindre ces propriétés :

Intrinsèque (Par conception) : Architectures informées par la physique (ex: réseaux invariants de Lorentz), apprentissage de représentation (ex: espaces latents désenchevêtrés, SciNet), régression symbolique et auto-encodeurs creux (sparse autoencoders).
Post-hoc : Outils basés sur des métriques (valeurs de Shapley/SHAP, cartes de saillance, LIME) et techniques de distillation (entraîner un modèle « étudiant » plus simple pour imiter un modèle « enseignant » complexe).

5. Spécification de la tâche et Planification d'intervention

Une contribution centrale est l'argument selon lequel l'interprétabilité et l'explicabilité ne sont significatives que lorsqu'elles sont liées à la Spécification de la tâche (définir la question scientifique et les propriétés souhaitées) et à la Planification d'intervention (définir quelles actions seront entreprises sur la base de l'interprétation).

Les auteurs affirment que si un modèle est interprété mais qu'aucune décision en aval (ex: changer une hypothèse, ajuster les incertitudes, rejeter un modèle) ne suit, l'effort peut être superflu.
Ils mettent en garde contre le biais de confirmation, soulignant que les plans d'intervention doivent être pré-spécifiés pour éviter la rationalisation post-hoc des résultats.

Résultats et affirmations

Le document ne présente pas de résultats numériques d'une expérience spécifique mais offre une analyse structurée du domaine :

Universalité du problème : Les auteurs affirment que l'interprétabilité et l'explicabilité ne sont pas des défis uniques au ML ; les modèles classiques font face aux mêmes questions, avec seulement des différences d'échelle et de complexité.
Nécessité de contexte : Il n'existe aucune application scientifique où l'interprétabilité et l'explicabilité sont toutes deux entièrement inutiles. Cependant, le degré requis varie selon la tâche (ex: la découverte scientifique nécessite les deux ; la modélisation de substituts pour la vitesse peut privilégier l'explicabilité sur l'interprétabilité).
État actuel de l'IA en physique : Le document affirme que bien que le ML ait considérablement amélioré les mesures et le potentiel de découverte (ex: le marquage de jets au LHC), le domaine n'a pas encore largement réussi à « apprendre de » l'IA dans le sens de découvrir de nouvelles lois physiques via l'IA explicable. La plupart des progrès concernent l'amélioration des sensibilités et des limites plutôt que la révélation de motifs jusque-là inconnus.
Philosophie de conception : Les auteurs concluent que l'interprétabilité et l'explicabilité doivent être traitées comme des choix de modélisation délibérés plutôt que comme des propriétés inhérentes. Ils préconisent de concevoir des modèles, des fonctions de perte et des techniques d'entraînement qui s'alignent sur des objectifs scientifiques spécifiques, plutôt que de traiter ces propriétés comme une réflexion après coup.

Signification

Le document se positionne comme un guide fondamental pour la communauté de la physique (spécifiquement au sein de l'initiative VERaiPHY) pour standardiser le discours autour de la validation des modèles de ML. Sa signification réside dans :

Démystifier la terminologie : Fournir une distinction rigoureuse et opérationnelle entre l'interprétabilité (structure) et l'explicabilité (contenu), évitant la confusion des termes qui entrave la communication scientifique.
Changer de paradigme : Passer de la question « comment rendre les boîtes noires transparentes » à « quels choix de modélisation sont nécessaires pour atteindre des objectifs scientifiques spécifiques ».
Établir des normes : Soutenir que pour que le ML soit un véritable instrument de connaissance scientifique, les modèles doivent être soumis aux mêmes questions de validité, de confiance et d'alignement de domaine que les modèles classiques.
Orientation pratique : Offrir un cadre aux chercheurs pour décider quand investir dans l'interprétabilité/l'explicabilité et comment intégrer ces considérations dans le flux de travail scientifique via la spécification de la tâche et la planification d'intervention.

Les auteurs soulignent que bien que des outils d'analyse post-hoc existent, la voie la plus robuste consiste en des choix de conception intrinsèques qui intègrent la connaissance physique directement dans l'architecture du modèle, garantissant que les modèles résultants ne sont pas seulement prédictifs, mais scientifiquement fondés.