Multimodal Explainability via Latent Shift applied to COVID-19 stratification

Cet article présente une architecture profonde multimodale intégrant des données tabulaires et d'imagerie pour la stratification du COVID-19, qui génère des explications interprétables via un décalage latent sans compromettre les performances de classification.

L'essentiel

Voici une explication simple de cette recherche, imaginée comme une histoire de détective médical assisté par un robot.

🕵️‍♂️ Le Problème : Le Médecin et la Boîte Noire

Imaginez que vous êtes un médecin face à un patient atteint de COVID-19. Pour comprendre la gravité de la situation, vous avez deux types d'indices :

1. Les photos (les radiographies des poumons) : comme regarder une carte au trésor pour voir où sont les dégâts.
2. Le dossier médical (les chiffres et les symptômes) : comme une liste de courses qui vous dit si le patient a de la fièvre, de la toux, etc.

Habituellement, les intelligences artificielles (IA) sont comme des détectives qui ne parlent qu'une seule langue. Soit elles regardent uniquement les photos, soit elles lisent uniquement le dossier. Mais la réalité est plus complexe : pour être vraiment efficace, il faut combiner les deux.

Le problème avec les IA actuelles, c'est qu'elles sont des "boîtes noires". Elles vous disent : "Ce patient est en danger !" mais elles ne vous disent pas pourquoi. Est-ce à cause de la tache sur la radio ? Ou à cause de l'âge du patient ? Sans cette explication, les médecins ont du mal à faire confiance à la machine.

🛠️ La Solution : Le "Changement de Camion" (Latent Shift)

Les auteurs de cet article ont créé un nouveau type de robot détective capable de lire les deux langues en même temps (photos + dossier) et, surtout, de s'expliquer.

Voici comment ils font, avec une analogie simple :

Imaginez que votre IA est un chef cuisinier qui prépare un plat (le diagnostic).

• L'approche classique : Le chef vous donne le plat fini et dit "C'est bon".
• L'approche de ce papier : Le chef vous dit : "Si je retire un peu de sel (un symptôme) ou si je change la cuisson (la photo), le plat deviendrait mauvais."

C'est ce qu'ils appellent le "Latent Shift" (ou déplacement latent). C'est comme si le robot disait :

"Regardez, si je modifie légèrement la photo du poumon ou si je change un chiffre dans le dossier, mon verdict changerait complètement. Donc, c'est bien ça (la photo ou le chiffre) qui a décidé de la gravité de la maladie."

C'est une façon de tester la réalité en imaginant un "et si..." (un scénario contrefactuel) pour voir ce qui est vraiment important.

🏗️ Comment le robot est construit ?

Pour que ce système fonctionne, les chercheurs ont construit une machine en trois étapes, comme un entraînement d'athlète :

1. L'Entraînement à la Mémoire (Autoencodeurs) : D'abord, on apprend au robot à regarder une photo ou un dossier et à le "redessiner" de mémoire. S'il arrive à redessiner la photo parfaitement, c'est qu'il a bien compris les détails importants. C'est comme apprendre à un artiste à dessiner un visage les yeux fermés pour bien connaître les traits.
2. L'Entraînement au Diagnostic : Ensuite, on lui apprend à utiliser ces souvenirs pour deviner si le patient va aller bien ou mal.
3. Le Grand Final (Fusion) : On combine le tout. Le robot apprend à la fois à dessiner (comprendre les données) et à diagnostiquer.

🧪 Le Test : Les Radiologues Humains vs Le Robot

Pour vérifier si leur invention est bonne, ils ont utilisé des données réelles de patients COVID (le jeu de données AIforCOVID). Ils ont fait deux choses :

1. La Performance : Le robot a-t-il raison ?
   • Résultat : Oui ! Il est aussi bon que les meilleurs modèles existants, et même un peu plus sensible (il repère mieux les cas graves) que certains médecins humains.
2. L'Explication (Le vrai test) : Le robot a-t-il raison sur ce qui est important ?
   • Ils ont demandé à 4 experts radiologues humains de dire : "Pour ce patient, qu'est-ce qui a compté le plus ? La radio ou le dossier ? Et quelles zones précises ?"
   • Ensuite, ils ont comparé avec ce que le robot a dit.
   • Résultat : Il y a un grand accord ! Quand le robot dit "C'est la zone rouge sur la radio qui est dangereuse", les médecins humains disent souvent : "Exactement, c'est bien cette zone-là".

🎯 Pourquoi c'est important ?

Imaginez que vous conduisez une voiture autonome. Si la voiture freine brusquement, vous voulez savoir pourquoi. Est-ce un piéton ? Un chat ? Un reflet ?
Dans la médecine, c'est pareil.

• Confiance : Si le médecin voit que le robot se base sur les mêmes éléments que lui (une tache sombre sur la radio, un taux d'oxygène bas), il aura confiance.
• Transparence : Le robot ne dit pas juste "Oui/Non". Il pointe du doigt : "Regarde ici, c'est ce détail qui m'a fait peur."

En résumé

Cette recherche nous donne un super-héros médical qui :

1. Lit les photos ET les dossiers en même temps.
2. Ne se contente pas de donner un verdict, mais explique son raisonnement en disant : "Si je changeais ceci, le résultat serait différent."
3. Parle le même langage que les médecins, ce qui permet de mieux collaborer pour sauver des vies.

C'est une étape cruciale pour rendre l'intelligence artificielle non seulement intelligente, mais aussi honnête et compréhensible par les humains.

Résumé technique

Voici un résumé technique détaillé de l'article « Multimodal Explainability via Latent Shift applied to COVID-19 stratification » (Explicabilité multimodale via un décalage latent appliqué à la stratification du COVID-19).

1. Problématique et Contexte

L'intelligence artificielle (IA) en santé progresse rapidement, mais la majorité des modèles d'apprentissage profond actuels se concentrent sur des données unimodales (par exemple, uniquement des images ou uniquement des données cliniques). Or, la pratique médicale est intrinsèquement multimodale, combinant imagerie (radiographies, IRM) et données tabulaires (dossiers patients, signes vitaux).

Deux défis majeurs persistent :

1. Manque d'explicabilité (XAI) : Les modèles complexes sont souvent des "boîtes noires", ce qui limite leur adoption clinique où la transparence est cruciale.
2. Absence d'explicabilité multimodale (MXAI) : Il existe peu de méthodes capables d'expliquer non seulement pourquoi une décision a été prise, mais aussi quelle modalité (image ou données cliniques) et quelles caractéristiques spécifiques au sein de chaque modalité ont contribué à cette décision.

L'objectif de cet article est de combler ce vide en proposant une architecture capable de classifier les patients atteints de COVID-19 (risque de sévérité) tout en fournissant des explications intrinsèques et multimodales.

2. Méthodologie

Les auteurs proposent une architecture d'apprentissage profond end-to-end qui apprend simultanément la reconstruction des données et la classification.

A. Architecture du Modèle

Le modèle est composé de trois blocs principaux :

1. Autoencodeur (AE) : Traite les données tabulaires ($x_T$) pour produire un vecteur latent $h_T$ et reconstruire l'entrée $\hat{x}_T$.
2. Autoencodeur Convolutif (CAE) : Traite les images (radiographies thoraciques, $x_I$) via un réseau ResNet101 pour produire un vecteur latent $h_I$ et reconstruire l'image $\hat{x}_I$.
3. Classifieur (CMLP) : Concatène les deux vecteurs latents ($h = [h_T, h_I]$) pour effectuer la classification (mild vs severe) via un Perceptron Multicouche (MLP).

Fonction de perte : L'entraînement minimise une combinaison linéaire de trois pertes : la perte de reconstruction pour les données tabulaires ($L_T$), la perte de reconstruction pour les images ($L_I$) et la perte de classification ($L_C$).

B. Stratégie d'Entraînement en Trois Étapes

Pour éviter que la tâche de classification ne domine l'apprentissage des représentations latentes (nécessaires à l'explicabilité), les auteurs utilisent un entraînement progressif :

1. Étape 1 : Entraînement uniquement de l'AE (données tabulaires).
2. Étape 2 : Entraînement uniquement du CAE (images).
3. Étape 3 : Entraînement conjoint de tout le réseau (AE + CAE + CMLP) avec des poids égaux pour toutes les pertes.

C. Méthode d'Explicabilité : "Latent Shift" (Décalage Latent)

C'est le cœur de la contribution MXAI. Une fois le modèle entraîné, l'explication est générée via une approche contrefactuelle :

1. Décalage du vecteur latent : On perturbe le vecteur latent multimodal $h$ en suivant le gradient de la sortie du classifieur pour provoquer un changement de classe (un "flip" de prédiction).
   $$h_\lambda = h - \lambda \frac{\partial CMLP(h)}{\partial h}$$
   où $\lambda$ est un paramètre ajusté itérativement jusqu'à ce que la prédiction change.
2. Calcul de l'importance :
   • Importance de la modalité ($\Delta_T, \Delta_I$) : On mesure la distance (norme L1) entre le vecteur latent original et le vecteur décalé pour chaque modalité. Plus le vecteur d'une modalité doit changer pour inverser la décision, plus cette modalité est importante.
   • Importance des caractéristiques ($\hat{\Delta}_T, \hat{\Delta}_I$) : On reconstruit les données à partir du vecteur décalé ($\hat{x}_\lambda$) et on compare la différence avec la reconstruction originale ($\hat{x}$). Cela révèle quelles variables cliniques spécifiques ou quelles zones de l'image (pixels) sont les plus déterminantes.

3. Contributions Clés

1. Architecture intrinsèquement explicable : Développement d'un modèle qui apprend conjointement la reconstruction et la classification, permettant d'extraire des explications sans module post-hoc externe.
2. Méthode Latent Shift : Introduction d'une méthode contrefactuelle capable de fournir à la fois l'importance globale de chaque modalité et l'importance fine des caractéristiques au sein de chaque modalité.
3. Validation clinique rigoureuse : Application sur le dataset public AIforCOVID (820 patients, données radiographiques et cliniques) avec une étude de lecture par quatre radiologues experts pour valider la cohérence des explications.

4. Résultats

Performance de Classification

• Le modèle atteint une précision de 76,75 % (validation croisée) et 74,21 % (validation Leave-One-Center-Out).
• Ces résultats sont statistiquement équivalents aux meilleurs modèles de référence (baselines) existants, prouvant que l'ajout de la tâche de reconstruction n'altère pas la performance prédictive.
• Le modèle surpasse les radiologues humains en sensibilité (capacité à détecter les cas graves), bien que sa spécificité soit légèrement inférieure.

Performance de Reconstruction

• Les erreurs de reconstruction (MSE) sont faibles pour les deux modalités, garantissant que l'espace latent conserve suffisamment d'informations pour être utilisé par la méthode d'explication.

Validation de l'Explicabilité (Étude de lecture)

• Importance des modalités : Forte corrélation de Pearson ($\rho$) entre les scores d'importance générés par le modèle et ceux attribués par les radiologues.
• Importance des caractéristiques : Les cartes d'importance (pour les images) et les vecteurs de variables (pour les données tabulaires) montrent un taux de chevauchement (IoU - Intersection over Union) élevé avec les annotations des experts.
• Comparaison avec d'autres XAI : La méthode proposée est comparable aux méthodes unimodales standards (Integrated Gradients, LIME, SHAP) mais offre en plus la dimension multimodale.

Étude d'ablation

• L'utilisation de l'entraînement en trois étapes est cruciale : un entraînement en une seule étape (sans pré-entraînement des autoencodeurs) entraîne une baisse significative des performances.
• Le modèle reste robuste même si une modalité manque (bien que la performance baisse), et les explications restent cohérentes.

5. Signification et Conclusion

Cet article démontre qu'il est possible de concevoir des modèles d'IA multimodaux qui ne sont pas seulement performants, mais aussi transparents et dignes de confiance pour les cliniciens.

• Impact clinique : La méthode permet aux médecins de comprendre non seulement le diagnostic, mais aussi sur quelle base (quelle image ou quel symptôme clinique) le modèle s'est appuyé. Cela aide à identifier les cas où le modèle se trompe (en comparant les zones d'attention du modèle avec celles de l'expert).
• Innovation : C'est l'une des premières approches à fournir des explications intrinsèques et locales pour des données multimodales (images + tabulaires) dans le contexte médical.
• Limites et perspectives : La fiabilité des explications dépend directement de la qualité de la reconstruction et de la classification. Les auteurs prévoient d'explorer l'extraction de concepts de haut niveau (concept knowledge mining) pour rendre les explications encore plus alignées avec le raisonnement médical expert.

En résumé, cette étude propose un cadre robuste pour l'IA explicable en santé, transformant les "boîtes noires" en outils d'aide à la décision interprétables, spécifiquement appliqués à la stratification du risque de COVID-19.