DT-BEHRT: Disease Trajectory-aware Transformer for Interpretable Patient Representation Learning

L'article propose DT-BEHRT, un modèle de type Transformer enrichi par des graphes qui améliore la prédiction clinique et l'interprétabilité des dossiers médicaux électroniques en modélisant explicitement les trajectoires de maladies au sein des systèmes d'organes et en intégrant une préformation sémantique basée sur l'ontologie.

L'essentiel

🏥 Le Problème : Une bibliothèque de dossiers médicaux en désordre

Imaginez que vous êtes un bibliothécaire chargé de lire des millions de dossiers médicaux (les Dossiers Médicaux Électroniques ou DME). Chaque dossier contient l'histoire complète d'un patient : ses visites à l'hôpital, ses médicaments, ses analyses de sang et ses diagnostics.

Le problème, c'est que ces dossiers sont souvent présentés comme une simple liste de codes (comme des barcodes) sans ordre logique.

• Le défi : Si vous essayez de lire cette liste comme un livre, vous vous perdez. Parfois, l'ordre des codes n'a pas de sens (un médecin a peut-être noté la fièvre avant la toux, ou l'inverse). De plus, tous les codes ne jouent pas le même rôle : un diagnostic (ex: "diabète") est le moteur de l'histoire, tandis qu'un médicament est juste une réponse à ce moteur. Les anciens modèles d'intelligence artificielle traitaient tout cela de la même manière, comme si un "pomme" et un "avion" étaient aussi importants l'un que l'autre dans une phrase.

🚀 La Solution : DT-BEHRT, le "Super-Détective" des maladies

Les chercheurs ont créé un nouveau modèle appelé DT-BEHRT. Pour le comprendre, imaginons que ce n'est pas un simple robot, mais un détective médical très organisé qui possède trois super-pouvoirs pour comprendre l'histoire d'un patient.

1. Le Tri Intelligent (Le Module d'Aggregation)

Au lieu de jeter tous les codes dans un grand sac, notre détective les trie par organes, comme on rangerait des livres par genre (Roman, Polar, Science-Fiction).

• L'analogie : Imaginez que le patient a des problèmes de cœur, de poumons et d'estomac. Le détective crée trois "paniers" séparés. Il regroupe tous les problèmes cardiaques ensemble, tous les problèmes pulmonaires ensemble, etc.
• Pourquoi ? Cela permet de voir les liens entre les maladies d'un même système (par exemple, comment un problème de cœur affecte les poumons) sans se perdre dans le bruit des autres organes.

2. L'Enquête Chronologique (Le Module de Progression)

Les maladies ne sont pas statiques ; elles évoluent dans le temps.

• L'analogie : Le détective ne regarde pas juste une photo du patient aujourd'hui. Il regarde un film. Il trace une ligne du temps qui montre comment la maladie a commencé, comment elle a changé lors de la prochaine visite, et où elle va probablement aller.
• Le super-pouvoir : Il utilise une "carte" (un graphique) pour connecter les visites passées aux visites futures. Il comprend que si un patient a eu une opération il y a deux ans, cela influence son état aujourd'hui, même si les deux événements semblent éloignés.

3. La Formation Intensive (Le Pré-entraînement)

Avant de rencontrer les vrais patients, le détective s'entraîne sur des milliers de cas fictifs pour devenir un expert.

• L'exercice : On cache certains mots dans les dossiers (comme un jeu de "trous noirs") et on demande au détective de deviner ce qui manquait.
• Le petit plus : On lui demande aussi de deviner la "famille" du mot manquant (par exemple, si on cache "insuline", il doit deviner que cela appartient à la famille du "diabète"). Cela l'oblige à comprendre la logique profonde de la médecine, pas juste à mémoriser des mots.

🏆 Les Résultats : Pourquoi c'est génial ?

Quand on a testé ce détective sur de vraies données (des milliers de patients), il a battu tous les autres modèles existants, surtout pour deux choses difficiles :

1. Prévoir les réadmissions : Savoir si un patient va revenir à l'hôpital très vite. C'est comme prédire si une voiture va tomber en panne dans les 30 jours.
2. Comprendre les maladies complexes : Identifier des combinaisons de maladies rares chez des patients qui ont beaucoup voyagé entre les hôpitaux.

🔍 La Transparence : Pas de "Boîte Noire"

C'est le point le plus important. La plupart des intelligences artificières sont des "boîtes noires" : elles donnent une réponse, mais on ne sait pas pourquoi.

• DT-BEHRT est transparent : Si le modèle dit "Ce patient a un risque élevé de mourir", il peut montrer son carnet de notes : "Regardez, j'ai vu que ses problèmes cardiaques (panier Cœur) ont empiré à chaque visite, et voici la ligne du temps qui montre l'aggravation."
• L'analogie : C'est comme si un médecin vous expliquait son diagnostic en pointant du doigt les symptômes précis sur votre dossier, plutôt que de dire "Mon ordinateur magique a dit oui".

En résumé

DT-BEHRT est une nouvelle intelligence artificielle qui ne se contente pas de lire les dossiers médicaux. Elle organise les maladies par organes, suit leur évolution dans le temps comme un film, et apprend la logique médicale en profondeur. Le résultat ? Des prédictions plus justes et des explications que les médecins peuvent vraiment comprendre et utiliser pour sauver des vies.

Résumé technique

Voici un résumé technique détaillé de l'article « DT-BEHRT: Disease Trajectory-aware Transformer for Interpretable Patient Representation Learning » (DT-BEHRT : Transformer conscient de la trajectoire de la maladie pour l'apprentissage de représentations de patients interprétables).

1. Problématique et Contexte

L'adoption croissante des dossiers médicaux électroniques (DME ou EHR) offre des opportunités sans précédent pour la modélisation prédictive en santé. Cependant, les approches existantes pour analyser les DME structurés (séquences de visites hospitalières contenant des codes médicaux) font face à deux défis majeurs :

1. Hétérogénéité des rôles cliniques : Les modèles actuels traitent souvent tous les codes médicaux (diagnostics, médicaments, procédures, labos) de manière uniforme. Or, ces codes ont des rôles cliniques distincts. Par exemple, les codes de diagnostic sont le moteur de la trajectoire de santé et interagissent fortement au sein d'un même système d'organes, tandis que les médicaments et procédures reflètent davantage des voies de traitement temporelles avec moins d'interactions intra-visite.
2. Limitations des approches séquentielles et graphiques :
   • Les modèles purement séquentiels (basés sur BERT) supposent souvent un ordre temporel fiable au sein d'une visite, ce qui est faux (les codes sont souvent rapportés par ordre de codage, non chronologique). Ils capturent mal les dépendances complexes entre codes.
   • Les modèles basés sur des graphes capturent bien les relations structurelles mais peinent à modéliser les dépendances séquentielles à travers les visites successives.
   • Les approches hybrides récentes (graphes enrichis de séquences) ne distinguent pas suffisamment les types de codes, manquant ainsi la spécificité des trajectoires de maladies.

2. Méthodologie : DT-BEHRT

L'article propose DT-BEHRT, une architecture Transformer améliorée par des graphes, conçue pour désagréger les trajectoires de maladies en modélisant explicitement les interactions centrées sur le diagnostic au sein des systèmes d'organes et en capturant les schémas de progression asynchrones.

L'architecture se compose de quatre modules principaux :

A. Représentation de la Séquence (Sequence Representation - SR)

• Entrée : Une séquence de visites hospitalières où chaque visite est un ensemble de codes.
• Encodage : Utilisation d'embeddings pour le type de code (diagnostic, médicament, etc.) et l'index de la visite.
• Traitement : Une pile de couches Transformer (style BERT) avec une attention masquée. Contrairement aux modèles précédents, l'ordre des codes au sein d'une visite n'est pas supposé être chronologique. Un token spécial [SEQ] résume la séquence globale.

B. Agrégation des Maladies (Disease Aggregation - DA)

• Objectif : Capturer les interactions et la progression des maladies au niveau des systèmes d'organes (ex: système cardiovasculaire, respiratoire).
• Mécanisme : Utilisation de la hiérarchie ICD-9 (19 chapitres principaux). Pour chaque chapitre, un token DA ($a_j$) est créé si le patient a des diagnostics dans ce chapitre.
• Contrainte : Un masque d'attention restreint l'interaction des tokens DA aux codes de diagnostic de leur chapitre respectif.
• Régularisation : Une régularisation de covariance au niveau des tokens est appliquée pour s'assurer que les tokens DA capturent des abstractions d'organes décorrélatées et non redondantes.

C. Progression de la Maladie (Disease Progression - DP)

• Objectif : Modéliser l'évolution temporelle de la maladie à travers les visites.
• Mécanisme : Construction d'un graphe hétérogène où :
  • Les nœuds sont des visites virtuelles et des nœuds de diagnostic.
  • Les arêtes relient les visites aux diagnostics de la même visite, et connectent les visites entre elles dans l'ordre temporel.
• Apprentissage : Utilisation de réseaux d'attention graphique (GAT) pour propager l'information à travers le graphe, permettant aux nœuds de visite de capturer les tendances de développement de la maladie sur plusieurs "sauts" (hops) temporels.

D. Représentation du Patient (Patient Representation - PR)

• Fusion : Intégration finale des informations via un mécanisme d'attention.
• Sources : Le token [SEQ] (résumé global), les tokens DA (progression par système d'organes) et les tokens DP (tendances temporelles).
• Sortie : Un vecteur de représentation final $h_{[CLS]}$ utilisé pour les tâches de prédiction en aval.

E. Cadre de Pré-entraînement Personnalisé

Pour aligner les différents modules et améliorer la robustesse, deux tâches de pré-entraînement sont proposées :

1. Prédiction de Masquage Global de Code (GCMP) : Masquage de codes au niveau de la trajectoire (toutes les occurrences d'un code unique sont masquées) pour apprendre les co-occurrences et les voies de traitement, plutôt que la simple prédiction de tokens adjacents.
2. Prédiction de Code Ancêtre (ACP) : Pour chaque code de diagnostic masqué, le modèle doit prédire son ancêtre dans l'ontologie ICD-9. Cette tâche est appliquée à la fois via le module SR et le module DP pour forcer l'alignement sémantique entre les représentations séquentielles et graphiques.

3. Contributions Clés

1. Architecture de Modèle : DT-BEHRT est le premier modèle à intégrer explicitement des modules distincts pour les interactions intra-système (DA) et la progression temporelle (DP), reconnaissant l'hétérogénéité fondamentale des codes médicaux.
2. Stratégie de Pré-entraînement : Introduction d'une méthode combinant le masquage de codes au niveau de la trajectoire et la prédiction d'ancêtres ontologiques, améliorant l'alignement entre les modules et la robustesse des représentations.
3. Interprétabilité Clinique : Le modèle fournit des représentations alignées avec le raisonnement clinique (par système d'organes et par trajectoire temporelle), offrant une transparence supérieure aux modèles "boîte noire".

4. Résultats Expérimentaux

Les expériences ont été menées sur trois bases de données publiques (MIMIC-III, MIMIC-IV, eICU) avec des tâches de prédiction de mortalité, de séjour prolongé (PLOS), de réadmission et de phénotypage.

• Performance Globale : DT-BEHRT surpasse systématiquement les modèles de base (G-BERT, BEHRT, Med-BERT, HEART, etc.) sur la plupart des tâches.
  • Gain notable sur la tâche de réadmission, connue pour être difficile en raison de la nature multifactorielle et hétérogène des causes.
  • Sur MIMIC-III, le modèle montre un avantage clair ; sur MIMIC-IV (plus grand), l'avantage persiste mais est légèrement moins prononcé, suggérant que la quantité de données compense partiellement les lacunes des modèles de base.
• Phénotypage : DT-BEHRT obtient les meilleurs résultats en AUPRC macro pour la prédiction de phénotypes, en particulier chez les patients ayant trois visites ou plus, démontrant sa capacité à capturer les dynamiques cliniques longitudinales complexes.
• Études d'ablation :
  • L'ajout du module DA améliore significativement la prédiction de la mortalité (liée aux systèmes d'organes critiques).
  • Le module DP apporte le plus grand gain sur la prédiction de réadmission, confirmant l'importance de la modélisation temporelle explicite.
  • La tâche de pré-entraînement ACP (prédiction d'ancêtre) améliore particulièrement la performance sur la mortalité.
• Robustesse : Le modèle maintient des performances compétitives sur divers sous-groupes de patients (hypertension, diabète, cancer, etc.).

5. Signification et Impact

• Alignement Clinique : Contrairement aux modèles qui traitent les codes comme des tokens génériques, DT-BEHRT respecte la structure clinique réelle (systèmes d'organes, évolution temporelle). Les mécanismes d'attention du modèle peuvent être interprétés par les cliniciens, identifiant quels systèmes d'organes et quelles étapes de la progression de la maladie ont influencé la prédiction.
• Potentiel d'Adoption : Cette interprétabilité est cruciale pour l'intégration de l'IA dans les systèmes d'aide à la décision clinique (CDSS), où la confiance et la transparence sont essentielles.
• Limites et Perspectives : L'article reconnaît une complexité computationnelle accrue et une dépendance aux trajectoires longitudinales (moins efficace pour les patients avec une seule visite). De plus, l'accent est actuellement mis sur les diagnostics ; l'extension de cette approche spécifique aux médicaments et procédures est une direction future prometteuse.

En résumé, DT-BEHRT représente une avancée significative dans l'apprentissage de représentations de patients en DME, en passant d'une approche "tout-à-la-fois" à une modélisation nuancée et structurellement consciente de la trajectoire de la maladie.