Enhancing SHAP Explainability for Diagnostic and Prognostic ML Models in Alzheimer Disease

Cet article propose un cadre d'explicabilité multi-niveaux validant la robustesse et la cohérence des explications SHAP à travers différentes architectures de modèles et stades de la maladie d'Alzheimer, démontrant que les marqueurs cognitifs et fonctionnels dominent de manière stable les prédictions de diagnostic et de pronostic.

L'essentiel

🧠 Le Défi : Comprendre la "Boîte Noire" d'Alzheimer

Imaginez que vous avez un mécanicien de génie (l'intelligence artificielle) capable de prédire si une voiture (un patient) va tomber en panne dans les prochains mois, ou si elle est déjà en panne. Ce mécanicien est incroyablement précis. Mais il y a un problème : il ne vous dit jamais pourquoi. Il vous donne juste une réponse : "Oui, c'est grave" ou "Non, ça va".

Pour les médecins, c'est comme conduire à l'aveugle. Ils ont besoin de savoir pourquoi la voiture va tomber en panne (est-ce le frein ? le moteur ? l'essence ?) pour pouvoir agir. C'est là que le papier intervient.

🔍 La Solution : Le "Détective de l'Explication" (SHAP)

Les chercheurs ont utilisé un outil appelé SHAP. Imaginez SHAP comme un détective qui examine les preuves laissées par le mécanicien. Il regarde chaque pièce du moteur (les données du patient : mémoire, orientation, génétique, etc.) et dit : "Cette pièce a contribué à 30% de la décision de panne".

Mais jusqu'à présent, on utilisait ce détective d'une manière un peu fragile :

1. On le laissait travailler sur un seul cas.
2. On ne vérifiait pas si ses conclusions restaient les mêmes si on changeait légèrement le cas ou si on regardait la voiture dans 5 ans au lieu d'aujourd'hui.

🏗️ L'Innovation : Construire un "Pont de Confiance"

L'équipe de Pablo Guillén et Enrique Frias-Martinez a proposé une nouvelle méthode pour tester la solidité de ce détective. Ils ont construit un pont de trois niveaux pour vérifier si les explications sont fiables :

1. Le Test de Cohérence (Le Miroir) :

   • L'analogie : Imaginez que le mécanicien (le modèle) et le détective (SHAP) regardent la même voiture. Est-ce qu'ils sont d'accord sur ce qui est cassé ?
   • Le résultat : Oui ! Le détective et le mécanicien s'accordent généralement sur les pièces les plus importantes.

2. Le Test de Stabilité (Le Caméléon) :

   • L'analogie : Si on change légèrement la voiture (par exemple, on regarde un patient avec un peu de perte de mémoire au lieu d'une perte totale), est-ce que le détective change d'avis radicalement ?
   • Le résultat : Non. Même si la maladie évolue (de "léger" à "sévère"), le détective pointe toujours les mêmes problèmes principaux. Il ne devient pas fou quand les symptômes changent un peu.

3. Le Test de Transfert (La Boussole) :

   • L'analogie : Le détective peut-il utiliser les mêmes règles pour prédire un accident aujourd'hui (diagnostic) et un accident dans 4 ans (pronostic) ?
   • Le résultat : Oui. Les mêmes facteurs (comme la mémoire ou la capacité à faire ses comptes) sont cruciaux pour dire "c'est Alzheimer" aujourd'hui ET pour dire "ça va empirer" dans le futur.

🎯 Les Découvertes Clés (En termes simples)

En utilisant des données réelles de milliers de patients (le jeu de données NACC), ils ont découvert que :

• Les vrais héros sont les tests cognitifs : Ce ne sont pas les gènes (qui sont importants mais secondaires) qui expliquent le mieux la décision de l'IA. Ce sont les tests de mémoire, d'orientation et de jugement (comme le MMSE ou le CDR). C'est logique : si vous ne vous souvenez pas de votre nom, c'est un signe fort.
• La stabilité est rassurante : Les explications fournies par l'IA sont stables. Que l'on regarde un patient au début de la maladie ou à la fin, que l'on utilise un type d'algorithme ou un autre, les "raisons" données par l'IA restent les mêmes.
• C'est prêt pour les médecins : Parce que les explications sont stables et cohérentes, un médecin peut maintenant faire confiance à l'IA. Il peut dire : "L'ordinateur pense que c'est Alzheimer à cause de la perte de mémoire et de la difficulté à gérer l'argent, et c'est logique".

🚀 Pourquoi c'est important ?

Avant, l'IA était comme un oracle : elle donnait des réponses mystérieuses.
Aujourd'hui, grâce à ce travail, l'IA devient un collègue transparent. Elle ne se contente pas de prédire l'avenir, elle explique son raisonnement de manière fiable, que ce soit pour un diagnostic immédiat ou pour prévoir l'évolution de la maladie.

C'est une étape cruciale pour que les hôpitaux puissent utiliser ces outils intelligents sans avoir peur de se tromper, car ils comprennent enfin pourquoi la machine prend ses décisions.

Résumé technique

1. Problématique et Contexte

L'augmentation de l'utilisation des modèles d'apprentissage automatique (ML) pour le diagnostic et le pronostic de la maladie d'Alzheimer (MA) se heurte à un obstacle majeur : l'adoption clinique limitée due à la nature « boîte noire » de ces algorithmes. Bien que les modèles actuels offrent de bonnes performances prédictives, leur intégration dans les flux de travail cliniques est entravée par le manque de confiance et l'absence d'explications robustes et cohérentes.

Le problème central identifié par les auteurs est que les études existantes sur l'explicabilité (notamment via SHAP - SHapley Additive exPlanations) se concentrent souvent sur des tâches isolées (un seul modèle, un seul stade de la maladie). Il manque une validation systématique de la robustesse, de la stabilité et de la transférabilité des explications à travers :

• Différents stades de la maladie (Contrôle Normal [NC], Déclin Cognitif Léger [MCI], MA).
• Différentes architectures de modèles.
• Différents objectifs de prédiction (diagnostic vs pronostic).

Sans cette validation, les explications peuvent être des artefacts spécifiques à un modèle ou à un jeu de données, limitant leur utilité clinique réelle.

2. Méthodologie

Les auteurs proposent un cadre d'explicabilité multi-niveaux pour quantifier la cohérence et la stabilité des explications. L'étude repose sur les éléments suivants :

• Données : Utilisation de l'ensemble de données standardisé NACC-UDS (National Alzheimer's Coordinating Center - Uniform Data Set), contenant des données cliniques longitudinales de 53 318 participants (195 196 visites). Les données incluent des variables démographiques, des antécédents médicaux, des batteries neuropsychologiques (MMSE, CDR, FAQ) et des marqueurs génétiques.

• Pipeline de Données : Prétraitement rigoureux incluant l'imputation des valeurs manquantes (médiane/mode), la mise à l'échelle (standardisation) des variables continues et l'encodage des variables catégorielles. Aucune sélection de features explicite n'a été appliquée avant le modèle pour éviter les biais dans l'analyse d'explicabilité.

• AutoML (PyCaret) : Utilisation de la plateforme PyCaret pour automatiser la sélection de modèles et le réglage des hyperparamètres.

  • Tâches : Huit modèles au total ont été entraînés : 4 pour le diagnostic (classification des stades actuels) et 4 pour le pronostic (prédiction de l'état cognitif 4 ans plus tard).
  • Scénarios : Comparaisons binaires (NC vs AD, NC vs MCI, MCI vs AD) et multiclasse (NC vs MCI vs AD).

• Cadre d'Évaluation de l'Explicabilité :
  Pour chaque modèle, des graphiques d'importance des caractéristiques (FI - Feature Importance) et des valeurs SHAP ont été générés. La stabilité a été évaluée via trois niveaux d'analyse :

  1. Cohérence intra-modèle : Comparaison entre l'importance des features (FI) et les valeurs SHAP.
  2. Stabilité inter-scénario : Comparaison des explications SHAP entre différents stades de la maladie (ex: NC vs AD vs MCI vs AD).
  3. Transférabilité inter-tâche : Comparaison entre les modèles de diagnostic et de pronostic.

• Métriques Quantitatives :

  • Corrélations de rang : Spearman ($\rho$) et Kendall ($\tau$) pour mesurer l'accord sur l'ordre des features.
  • Chevauchement : Jaccard@10 et Jaccard@20 pour mesurer la proportion de features communes dans les top-k.
  • Cohérence du signe : Pourcentage de features conservant la même direction d'influence (positif/négatif).
  • Variation de magnitude : $\Delta|SHAP|$ moyen pour évaluer les changements d'ampleur explicative entre les tâches.
  • Ratios de contribution par domaine : Analyse de la part de poids des groupes de features (CDR, FAQ, Génétique, etc.).

3. Résultats Clés

• Performance des Modèles : Les modèles AutoML ont atteint des performances élevées. Pour le diagnostic NC vs AD, l'XGBoost a atteint une précision de 0,986 et un AUC de 0,998. Pour le pronostic NC vs AD, le LightGBM a atteint 0,926 de précision et 0,976 d'AUC.
• Cohérence Intra-Modèle (FI vs SHAP) : Une corrélation modérée à forte a été observée entre l'importance des features et les valeurs SHAP ($\rho$ variant de 0,50 à 0,95). Les modèles de pronostic ont montré une meilleure alignement FI-SHAP que les modèles de diagnostic, suggérant une logique interne plus cohérente.
• Stabilité des Marqueurs :
  • Les marqueurs cognitifs et fonctionnels (MEMORY, JUDGMENT, ORIENT, PAYATTN, BILLS, TAXES) dominent systématiquement les explications SHAP, tant pour le diagnostic que pour le pronostic.
  • Les marqueurs génétiques (APOE, variants GWAS/ExAC) ont une importance modérée, augmentant légèrement dans les modèles de pronostic.
• Stabilité Inter-Scénario et Inter-Tâche :
  • Diagnostic : La stabilité des explications SHAP est élevée entre les scénarios de diagnostic, en particulier entre les stades avancés (NC vs AD et MCI vs AD montrent un $\rho$ de 0,92). Les transitions précoces (NC vs MCI) montrent plus de variabilité.
  • Pronostic vs Diagnostic : La cohérence entre les tâches de diagnostic et de pronostic est très forte.
    • Corrélation de rang : $\rho$ entre 0,61 et 0,94.
    • Cohérence du signe : 100 % pour toutes les comparaisons (les features influencent la prédiction dans le même sens).
    • Stabilité de la magnitude : Le changement moyen de la magnitude SHAP ($\Delta|SHAP|$) est minime (< 0,03), indiquant que les mêmes facteurs prédictifs expliquent la progression future avec une intensité similaire à celle du diagnostic actuel.

4. Contributions Principales

1. Cadre Méthodologique Quantitatif : Introduction d'une méthodologie reproductible pour évaluer l'explicabilité non pas comme un élément qualitatif, mais comme une propriété mesurable (stabilité, cohérence, transférabilité).
2. Validation de la Robustesse SHAP : Démonstration que les explications SHAP pour la MA ne sont pas des artefacts aléatoires, mais qu'elles sont stables à travers différents stades de la maladie et différents objectifs de prédiction.
3. Intégration AutoML et XAI : Démonstration de la capacité des plateformes AutoML (PyCaret) à produire des modèles performants dont les explications sont validées quantitativement, réduisant la barrière technique pour les cliniciens.
4. Hiérarchisation des Marqueurs : Confirmation quantitative que les tests cognitifs et fonctionnels sont les piliers explicatifs, tandis que les marqueurs génétiques jouent un rôle secondaire mais croissant dans le pronostic à long terme.

5. Signification et Impact Clinique

Ce travail est significatif car il répond directement au besoin de confiance dans l'IA médicale. En prouvant que les explications sont stables et transférables :

• Confiance Clinique : Les médecins peuvent interpréter les prédictions de différents modèles (diagnostic ou pronostic) avec la même logique explicative, facilitant l'intégration dans la prise de décision.
• Validation des Biomarqueurs : La stabilité des marqueurs cognitifs (CDR, MMSE, FAQ) à travers les tâches renforce leur validité en tant que biomarqueurs robustes pour la MA.
• Passage vers la Multimodalité : Bien que l'étude se limite aux données tabulaires cliniques, le cadre proposé offre une base pour évaluer la stabilité des explications dans des modèles plus complexes intégrant l'imagerie (IRM, TEP) ou des données multimodales.

En conclusion, l'article démontre que l'explicabilité des modèles ML pour la maladie d'Alzheimer peut être rendue fiable et quantitative, ouvrant la voie à un déploiement plus large et plus éthique de ces outils dans les environnements cliniques.