In defence of post-hoc explanations in medical AI

Résumé technique : En défense des explications post-hoc dans l'IA médicale

Énoncé du problème
L'article traite du « problème de la boîte noire » dans l'intelligence artificielle (IA) médicale, un double défi comprenant l'opacité technique et le risque éthique. Techniquement, les systèmes avancés comme les réseaux de neurones profonds présentent une opacité d'entraînement (incapacité à retracer comment les paramètres ont été induits à partir des données) et une opacité d'inférence (incapacité à discerner pourquoi une entrée spécifique produit une sortie spécifique en raison d'une complexité du modèle dépassant les limites cognitives humaines). Éthiquement, cette opacité crée un problème de justification (les cliniciens ne peuvent accepter rationnellement des résultats qu'ils ne comprennent pas), un problème de non-discrimination (incapacité à détecter les biais algorithmiques ou les raisonnements fallacieux) et un problème de réconciliation (incapacité à résoudre les désaccords entre les cliniciens et l'IA).

Bien que l'IA explicable (XAI) ait promu les explications post-hoc (des modèles qui approchent le raisonnement d'une boîte noire sur la base d'enregistrements d'entrées/sorties) comme une solution, des critiques récentes soutiennent que ces explications sont des « faux espoirs » (fool's gold). Les critiques affirment que, parce que les explications post-hoc sont de simples approximations plutôt que des réplications fidèles du raisonnement sous-jacent, elles ne parviennent pas à améliorer la compréhension de l'utilisateur, ne réduisent pas les risques de sécurité et peuvent même exacerber des problèmes tels que le biais d'automatisation et la dépendance excessive.

Méthodologie et cadre théorique
Cet article emploie une méthodologie conceptuelle et argumentative plutôt que de présenter de nouvelles données empiriques. Il synthétise la littérature existante sur l'XAI, l'éthique médicale et l'interaction humain-IA pour construire une défense des explications post-hoc. Les auteurs :

1. Définissent le paysage : Distinguent les approches spécifiques au modèle (ex. : cartes de saillance) et celles indépendantes du modèle (ex. : LIME), ainsi que les explications globales et locales.
2. Analysent les critiques : Passent en revue systématiquement les arguments contre les explications post-hoc, en se concentrant sur leur manque de « haute fidélité » (fidélité au modèle original) et sur les résultats empiriques suggérant qu'elles n'améliorent ni la confiance ni la performance.
3. Construisent un contre-argument : Recadrent l'utilité des explications en tirant des parallèles avec le raisonnement des experts humains et la modélisation scientifique, en soutenant que les explications n'ont pas besoin d'être des répliques mécanistes littérales pour être fonctionnellement utiles.
4. Proposent des stratégies d'atténuation : Identifient des méthodes techniques et non techniques pour atténuer les risques associés aux explications post-hoc (ex. : le forçage cognitif, l'agrégation de plusieurs explications).

Contributions et arguments clés
La principale contribution de l'article est une défense nuancée des explications post-hoc face à la critique de la « haute fidélité », en soutenant que leur valeur réside dans la compréhension fonctionnelle plutôt que dans la réplication mécaniste.

• Utilité fonctionnelle plutôt que fidélité : Les auteurs soutiennent que les explications post-hoc améliorent la compréhension fonctionnelle des systèmes de boîte noire. Citant Páez (2019), ils postulent que, comme les modèles scientifiques ou les expériences de pensée, les explications peuvent être des représentations « littéralement fausses » du mécanisme sous-jacent tout en fournissant une compréhension réelle.
• Amélioration de la performance Clinicien-IA : Contra-irement aux affirmations selon lesquelles les explications sont inutiles, l'article cite des preuves empiriques (Senoner et al., 2024) montrant que les équipes de radiologues utilisant des masques de saillance ont obtenu une précision supérieure de 4,7 points de pourcentage dans l'identification des lésions pulmonaires. Crucialement, les explications ont aidé les cliniciens à distinguer les prédictions correctes des incorrectes, menant à une meilleure adhésion aux conseils précis de l'IA et à un rejet plus fréquent des conseils inexacts.
• Capacité prédictive : L'article souligne que les explications post-hoc (ex. : Wang et Yin, 2021) améliorent la capacité d'un utilisateur à prédire comment la sortie d'un système changera en réponse à des variations d'entrée. Cette capacité prédictive constitue une forme de compréhension causale essentielle à la prise de décision clinique.
• Justification et contexte institutionnel : Les auteurs soutiennent que, bien que les explications post-hoc seules puissent ne pas justifier la sortie d'une IA, elles servent de preuve qui, lorsqu'elles sont combinées à des explications institutionnelles (détails sur les décisions de conception, les efforts d'atténuation des biais et la fiabilité du développeur), permettent aux cliniciens de justifier leurs décisions éclairées par l'IA.
• Atténuation des risques : L'article reconnaît les risques tels que le biais d'automatisation et les corrélations spécieuses, mais soutient que ceux-ci ne sont pas propres à l'IA (les explications humaines souffrent également de biais). Il propose des stratégies d'atténuation spécifiques :
  • Techniques : Utiliser des méthodes d'entraînement local robustes (ex. : « Just Train Twice ») et agréger plusieurs explications pour réduire les signaux trompeurs.
  • Conception : Implémenter le « forçage cognitif » (ex. : retarder les recommandations) et l'« IA frictionnelle » pour interrompre le raisonnement heuristique et encourager la pensée analytique.

Résultats et affirmations
L'article ne présente pas de nouveaux résultats expérimentaux mais synthétise des conclusions existantes pour soutenir sa thèse. Les « résultats » de l'analyse sont les conclusions suivantes :

1. Les explications post-hoc n'ont pas besoin de répliquer les processus de raisonnement exacts des systèmes de boîte noire pour être bénéfiques.
2. Elles peuvent améliorer la précision des équipes clinicien-IA et aider à justifier les décisions, à condition d'être utilisées conjointement avec d'autres stratégies.
3. Le « problème de la boîte noire » n'est pas un problème singulier soluble par une « solution miracle » (une seule solution technique). C'est un problème « complexe » (wicked problem) qui nécessite une approche multidimensionnelle impliquant des outils techniques (comme les explications post-hoc et l'interprétabilité mécaniste) et des stratégies non techniques (formation, surveillance et surveillance post-commercialisation).

Signification
L'article revendique une importance particulière en corrigeant le « degré profond de pessimisme » qui prévaut actuellement dans le domaine concernant les explications post-hoc. En rejetant la thèse de la « solution miracle », les auteurs plaident pour une perspective équilibrée : bien que les explications post-hoc ne puissent pas « résoudre » le problème de la boîte noire en un seul coup, elles restent une stratégie utile et nécessaire pour atténuer les risques dans l'IA médicale. L'article souligne que rejeter ces outils en raison de leur manque de fidélité parfaite revient à ignorer leur capacité prouvée à améliorer la compréhension fonctionnelle et la performance des équipes. En fin de compte, la solution au problème de la boîte noire est présentée comme un effort socio-technique nécessitant des utilisateurs qualifiés et une surveillance efficace aux côtés des avancées technologiques.