HealthFormer: Dual-level time-aware Transformers for irregular electronic health record events

Le HealthFormer est un modèle de Transformer à double niveau conçu pour les dossiers médicaux électroniques irréguliers, qui intègre la structure des événements et le temps écoulé via un pré-entraînement auto-supervisé à grande échelle pour générer des représentations transférables et performantes dans la prédiction de cancers.

L'essentiel

🕵️‍♂️ Le Problème : Le casse-tête des dossiers médicaux

Imaginez que vous essayez de comprendre la vie d'un patient en regardant son dossier médical. Ce n'est pas une histoire linéaire et régulière comme un film. C'est plutôt comme un journal de bord rempli de post-it de différentes couleurs, collés à des moments très irréguliers.

• Parfois, il y a un post-it géant (une hospitalisation) avec plein d'informations à l'intérieur.
• Parfois, c'est un petit post-it (une ordonnance de médicaments).
• Parfois, il y a des mois, voire des années, entre deux post-it.
• Et parfois, un seul post-it contient plusieurs types d'informations mélangées (diagnostic, procédure, médicament).

Les anciens ordinateurs avaient du mal à lire ce chaos. Ils avaient tendance soit à tout aplatir en une seule liste confuse, soit à ignorer le temps qui passe entre les visites, ce qui est pourtant crucial pour comprendre la santé.

🤖 La Solution : HealthFormer, le "Super-Détective"

Les chercheurs ont créé HealthFormer, un modèle d'intelligence artificielle conçu spécifiquement pour lire ce type de dossier chaotique. Voici comment il fonctionne, avec deux niveaux de lecture :

1. Le Niveau "Zoom" : Comprendre chaque visite (L'Encodage Intra-Événement)

Imaginez que le détective regarde d'abord chaque post-it individuellement.

• Si un post-it est une visite chez le médecin de famille, il contient des diagnostics et des médicaments.
• Si c'est une opération, il contient des codes chirurgicaux.
• L'analogie : HealthFormer ne lit pas juste les mots. Il met des lunettes spécialisées pour chaque type d'information. Il comprend que le mot "diabète" dans un contexte de médicaments est lié, mais différent du mot "diabète" dans un contexte de chirurgie. Il regroupe toutes les informations d'une seule visite pour en faire un résumé cohérent (une "empreinte" de la visite).

2. Le Niveau "Grand Plan" : Comprendre l'histoire dans le temps (L'Encodage Inter-Événement)

Une fois qu'il a compris chaque visite, le détective regarde la chronologie complète du patient.

• Le problème du temps : Dans un film, les scènes sont espacées de quelques secondes. Dans la vraie vie, il peut y avoir 3 ans entre deux visites.
• La solution de HealthFormer : Au lieu de compter les visites comme des cases sur un calendrier (1, 2, 3...), il utilise une boussole temporelle. Il sait exactement qu'il y a eu 450 jours entre la visite A et la visite B. Il utilise une astuce mathématique (appelée ALiBI) qui lui permet de dire : "Ah, cette visite est très loin dans le passé, elle est moins importante pour le diagnostic d'aujourd'hui, mais elle a quand même une influence."

🎓 L'Entraînement : Apprendre sans professeur

Comment ce détective devient-il si intelligent sans qu'on lui donne les réponses ? Il s'entraîne tout seul sur des millions de dossiers anonymes (comme un étudiant qui lit toute la bibliothèque de nuit).

Il joue à quatre jeux de devinettes :

1. Le jeu du "Mot manquant" : On cache un diagnostic sur un post-it, il doit le deviner en regardant le reste de la visite.
2. Le jeu du "Type de visite" : On cache tout un post-it, il doit deviner si c'était une visite aux urgences, un rendez-vous de routine ou une opération.
3. Le jeu de la "Prochaine étape" : Il regarde l'histoire passée et doit prédire quel type de visite arrivera ensuite.
4. Le jeu du "Chronomètre" : Il doit prédire combien de temps il s'écoulera avant la prochaine visite.

En jouant à ces jeux, il apprend la structure cachée des maladies et la façon dont elles évoluent dans le temps.

🏆 Le Résultat : Prévoir le futur

Une fois entraîné, les chercheurs l'ont testé pour prédire l'apparition de cancers (colorectal et de la prostate) 30, 60 ou 90 jours à l'avance.

• Les anciens méthodes (comme des tableaux Excel simples ou des calculs de fréquence) avaient du mal, un peu comme essayer de prédire la météo en regardant juste la température d'hier.
• HealthFormer, lui, a réussi avec une précision impressionnante (jusqu'à 94% pour le cancer de la prostate). Il a compris des motifs complexes : par exemple, que telle combinaison de médicaments prise il y a 6 mois, suivie d'une visite aux urgences il y a 3 mois, est un signe avant-coureur.

💡 En résumé

HealthFormer, c'est comme donner à un médecin une mémoire parfaite et une intuition temporelle pour lire des millions de dossiers médicaux en une seconde. Il ne se contente pas de compter les maladies ; il comprend l'histoire du patient, le rythme de ses visites et la façon dont les événements s'enchaînent, tout en respectant la structure complexe de chaque consultation.

C'est une avancée majeure car cela permet de créer des outils de prédiction de santé qui sont à la fois précis et capables de s'adapter à n'importe quel nouveau type de maladie, sans avoir besoin de tout reconstruire de zéro.

Résumé technique

1. Problématique et Contexte

Les dossiers médicaux électroniques (DME ou EHR) longitudinaux présentent des défis majeurs pour l'apprentissage automatique :

• Séquences irrégulières : Les événements cliniques sont espacés de manière inégale (de quelques jours à plusieurs années).
• Hétérogénéité des événements : Chaque « rencontre » (encounter) peut regrouper plusieurs types de codes provenant de systèmes de codage distincts (diagnostics ICD-10, procédures hPCS, médicaments ATC, etc.).
• Limites des approches actuelles :
  • Les méthodes antérieures aplatissent souvent les rencontres complexes en un seul token ou un sac de mots (bag-of-words), effaçant ainsi la structure interne de l'événement.
  • Les représentations temporelles sont souvent discrétisées (par « buckets » de temps), ce qui sous-utilise l'information clinique précieuse contenue dans les écarts temporels exacts.
  • Il manque souvent de flexibilité pour s'adapter à de nouvelles tâches supervisées sans ingénierie de caractéristiques spécifique.

L'objectif est de développer un cadre de pré-entraînement qui préserve la structure des événements, utilise explicitement le temps écoulé, et permet un transfert efficace vers de nouveaux endpoints cliniques.

2. Méthodologie : HealthFormer

HealthFormer est un modèle Transformer à deux niveaux conçu spécifiquement pour les séquences d'événements cliniques hétérogènes et irréguliers.

A. Représentation des Données

Les données proviennent de dossiers administratifs hongrois (10 millions de patients sur 12 ans). Le pipeline de construction des événements :

• Taxonomie unifiée : L'historique du patient est une séquence ordonnée d'événements typés (ex: visite GP, hospitalisation, chirurgie, délivrance de médicaments, décès).
• Composition modulaire : Chaque événement $e_t$ contient un type, une date, et un ensemble de codes spécifiques au domaine (ICD, ATC, hPCS) et des métadonnées contextuelles.
• Décomposition : Les épisodes complexes (ex: une hospitalisation) sont décomposés en événements atomiques (admission, interventions chirurgicales distinctes) pour préserver la fidélité temporelle.

B. Architecture du Modèle

L'architecture se sépare en deux modules principaux :

1. Encodeur Intra-Événement (Intra-Event Encoder) :

   • Traite la composition interne d'un événement unique.
   • Utilise des modules d'embedding spécifiques à chaque domaine (codes plats pour les procédures, expansion hiérarchique pour ICD/ATC).
   • Aggrege les tokens hétérogènes d'un événement en un seul vecteur d'événement via un pooling par attention (l'attention est pondérée par le type d'événement).
   • Intègre un encodeur de date (Time2Vec) pour le contexte temporel absolu.

2. Encodeur Inter-Événement (Inter-Event Encoder) :

   • Modélise la trajectoire longitudinale du patient (séquence d'événements).
   • Utilise une architecture Transformer standard mais avec une modification clé : un biais d'attention continu basé sur ALiBI (Attention with Linear Biases).
   • Au lieu d'utiliser des positions de tokens, le biais dépend du logarithme du temps écoulé ($\Delta t$) entre deux événements. Cela permet au modèle de gérer les écarts temporels irréguliers et de généraliser à des durées non vues lors de l'entraînement.

C. Pré-entraînement Auto-Supervisé Multi-Tâches

Le modèle est pré-entraîné sur des millions de patients avec quatre objectifs complémentaires :

1. Prédiction de token masqué (Code-level MLM) : Reconstruction des codes cliniques masqués au sein d'un événement et du contexte longitudinal.
2. Prédiction de type d'événement (Event-level MLM) : Masquage complet d'un événement (codes + type) pour prédire son type à partir des événements voisins.
3. Prédiction du prochain événement : Prédire le type et les codes de l'événement suivant (t+1) à partir de l'état actuel (t), avec un masque causal strict.
4. Régression du temps écoulé ($\Delta t$) : Prédire le nombre de jours jusqu'au prochain événement.

3. Contributions Clés

• Représentation centrée sur l'événement : Contrairement aux approches qui traitent les visites comme des sacs de mots, HealthFormer préserve la structure hiérarchique et la composition des codes au sein de chaque événement.
• Architecture Transformer à double niveau : Séparation explicite de l'encodage intra-événement et de la modélisation de la trajectoire inter-événement.
• Intégration temporelle fine : Utilisation d'un biais d'attention ALiBI continu basé sur le temps réel (et non des positions discrètes), permettant une sensibilité multi-échelle aux écarts temporels.
• Transférabilité : Le même modèle pré-entraîné peut être adapté à diverses tâches cliniques via un simple fine-tuning, sans nécessiter de réingénierie de l'architecture ou des caractéristiques.

4. Résultats

A. Analyse Intrinsèque des Embeddings

• Une visualisation t-SNE des embeddings ICD-10 appris montre une organisation hiérarchique cohérente. Les codes de niveau 2 forment des clusters compacts correspondant à leurs catégories parentes (niveau 0).
• La structure reflète les co-occurrences cliniques plausibles, suggérant que le pré-entraînement capture la sémantique médicale au-delà de la simple fréquence.

B. Évaluation Supervisée : Prédiction de Cancers Incidents

Le modèle a été évalué sur la prédiction de cancers colorectaux (CRC) et de la prostate à 30, 60 et 90 jours.

• Performance : Le fine-tuning bout-en-bout de HealthFormer surpasse significativement les modèles de base (régression logistique avec caractéristiques démographiques, résumés d'utilisation, et sacs de codes pondérés par le temps).
  • CRC (30 jours) : AUC de 0,81 contre 0,68 pour le meilleur modèle de base.
  • Prostate (30 jours) : AUC de 0,94 contre 0,85 pour le meilleur modèle de base.
• Robustesse : Les gains de performance sont constants sur les trois horizons temporels, démontrant que le modèle capture des signaux temporels structurés que les méthodes statistiques classiques ne peuvent pas récupérer.

5. Signification et Conclusion

HealthFormer représente une avancée significative dans la modélisation des DME administratifs :

1. Interprétabilité clinique : La géométrie des embeddings appris respecte la hiérarchie médicale (ICD), facilitant l'inspection clinique et l'analyse des motifs de prédiction.
2. Efficacité opérationnelle : L'approche « pré-entraînement + fine-tuning » élimine le besoin de concevoir des architectures spécifiques pour chaque nouvelle tâche clinique, accélérant le déploiement de l'IA en santé.
3. Gestion du temps réel : En traitant le temps comme une variable continue via le biais ALiBI, le modèle surmonte les limitations des approches discrétisées, ce qui est crucial pour les données de santé réelles où les intervalles de temps sont imprévisibles.

En résumé, HealthFormer offre un cadre robuste, évolutif et cliniquement pertinent pour transformer des données de santé administratives brutes et irrégulières en représentations vectorielles riches, capables de prédire des événements futurs avec une grande précision.