Learning Dynamic Representations and Policies from Multimodal Clinical Time-Series with Informative Missingness

1. Problématique et Contexte

Les dossiers de santé électroniques (DSE) sont intrinsèquement multimodaux, combinant des données structurées (signes vitaux, résultats de laboratoire) et des textes cliniques (notes d'infirmiers, rapports). Ces données sont enregistrées longitudinalement, offrant une riche information temporelle sur l'évolution de l'état de santé des patients.

Cependant, deux défis majeurs compliquent l'apprentissage de représentations dynamiques pour la prise de décision clinique :

1. Sparsité et Irrégularité avec MNAR : Les observations sont souvent espacées et irrégulières. Le mécanisme de manque n'est pas aléatoire (MNAR - Missing Not At Random) : la probabilité qu'une donnée soit enregistrée dépend de l'état latent du patient (ex: un patient plus grave reçoit plus de mesures) et des décisions des cliniciens. Ignorer ce mécanisme "informatif" conduit à des biais.
2. Hétérogénéité des Modalités : Les patterns d'observation diffèrent selon le type de données. Les signes vitaux sont souvent collectés de manière routinière, tandis que les tests de laboratoire nécessitent une prescription et les notes cliniques dépendent du comportement de documentation. Ces patterns évoluent différemment au cours du temps, même pour un même patient.

L'objectif est de développer un cadre capable d'exploiter ces patterns de manque informatifs à travers le temps et entre les modalités pour apprendre des représentations d'état patient robustes, utilisables pour la prédiction de résultats et l'optimisation des politiques de traitement hors ligne (offline policy learning).

2. Méthodologie : OPL-MT-MNAR

Les auteurs proposent OPL-MT-MNAR (Off-Policy Learning under Multimodal Observations with Temporal Missing-Not-At-Random Patterns), un cadre en deux étapes basé sur un processus de décision markovien partiellement observable (POMDP).

Étape 1 : Apprentissage de la Représentation de l'État Patient

Cette étape vise à apprendre un état latent $s_h$ à partir des observations multimodales jusqu'au temps $h$. Elle combine un encodeur multimodal et un filtrage bayésien.

• Encodeur Multimodal MNAR-Aware :

  • Données Structurées : Utilisation d'une extension de GRU-D (Gated Recurrent Units-Decay). Le modèle intègre explicitement des facteurs de décay pour les états cachés et les entrées en fonction du temps écoulé depuis la dernière observation. Il enrichit également l'entrée avec des caractéristiques explicites de MNAR (nombre cumulatif d'observations, taux de manque, fréquence dans une fenêtre glissante).
  • Données Textuelles : Introduction d'un facteur de processus de documentation ($F^{doc}_h$). Ce facteur, mis à jour à chaque étape via un GRU, résume le pattern d'observation du texte (présence, fraîcheur, densité de documentation) sans utiliser directement le contenu sémantique.
  • Fusion : Un mécanisme de porte (gating) adaptatif fusionne l'embedding structuré et l'embedding textuel. La porte utilise le facteur de processus de documentation pour pondérer l'apport du texte, permettant au modèle de distinguer entre l'absence de texte, un texte obsolète ou une mise à jour récente et dense.

• État de Croyance Latente (Latent Belief State) :

  • Pour capturer la dynamique de santé sous-jacente et les effets cumulés des traitements passés, le modèle utilise un facteur de croyance latente $z_h$ appris par inférence variationnelle (VAE).
  • Conditionnement par l'Action : La transition de $z_h$ à $z_{h+1}$ est conditionnée par l'action de traitement $a_h$. Les auteurs démontrent théoriquement que sans cette conditionnalité, le gradient de la politique ne peut pas apprendre l'impact des interventions précoces sur les résultats à long terme (problème d'assignation de crédit).
  • L'état final $s_h$ est une combinaison de l'observation unifiée $\phi_h$ et de l'état latent $z_h$.

• Objectifs d'Entraînement :

  • Reconstruction : Un décodeur tente de reconstruire les observations structurées, les masques de manque et les processus de documentation pour garantir que l'état $s_h$ conserve suffisamment d'informations.
  • Prédiction de résultat : Un objectif auxiliaire pour prédire la mortalité post-72h.

Étape 2 : Optimisation de la Politique et Prédiction

• Optimisation de Politique Hors Ligne : Utilisation de Implicit Q-Learning (IQL). Cette méthode apprend des fonctions de valeur sans interroger d'actions hors distribution, évitant ainsi les erreurs catastrophiques. La politique est extraite via un clonage comportemental pondéré par l'avantage (advantage-weighted behavioral cloning).
• Apprentissage Multi-tâches : L'apprentissage conjoint de l'optimisation de politique et de la prédiction de résultat permet un transfert positif, améliorant la qualité de la représentation partagée.

3. Contributions Clés

1. Modélisation Explicite du MNAR Temporel Multimodal : Contrairement aux travaux précédents qui traitent le manque comme un bruit ou ne modélisent pas la dynamique temporelle, ce cadre exploite activement les patterns d'observation (structurés et textuels) comme des signaux informatifs sur l'état du patient.
2. Facteur de Processus de Documentation : Une innovation majeure pour les données textuelles, séparant le contenu sémantique du pattern de documentation (fréquence, fraîcheur), ce qui est crucial car la documentation elle-même est un indicateur de gravité.
3. Dynamique Latente Conditionnée par l'Action : Intégration théorique et pratique d'un état latent qui évolue en fonction des traitements administrés, résolvant le problème de l'assignation de crédit dans les environnements partiellement observables.
4. Cadre Unifié : Combinaison de l'apprentissage de représentations, du filtrage bayésien et de l'apprentissage par renforcement hors ligne dans un seul pipeline end-to-end.

4. Résultats Expérimentaux

Le cadre a été évalué sur trois bases de données ICU : MIMIC-III, MIMIC-IV et eICU, en se concentrant sur le traitement du sepsis avec des pas de décision de 4 heures sur 72 heures.

• Apprentissage de Politique (FQE - Fitted Q-Evaluation) :

  • Sur MIMIC-III, la politique OPL-MT-MNAR atteint un score FQE de 0.679, surpassant significativement le comportement des cliniciens (0.528) et toutes les méthodes de base (y compris MedDreamer, CQL, BCQ).
  • Les gains sont particulièrement marqués pour les patients à haute acuité (SOFA > 10), où les signaux de manque sont les plus informatifs.
  • La performance se généralise bien sur MIMIC-IV (0.634 vs 0.521) et eICU (0.604 vs 0.534).

• Prédiction de Résultats :

  • Pour la prédiction de la mortalité hospitalière post-72h sur MIMIC-III, le modèle atteint un AUROC de 0.886, surpassant les meilleurs encodeurs de séries temporelles (GRU-D, BRITS, mTAND) et les modèles basés sur des mondes modèles.

• Analyse d'Ablation :

  • L'ajout explicite des caractéristiques MNAR et du facteur de processus de documentation apporte le gain le plus important (+33.9% par rapport à une base forte).
  • L'intégration des notes d'infirmiers (texte haute fréquence) améliore considérablement la performance par rapport à l'utilisation de données structurées seules.

5. Signification et Impact

Ce travail démontre que les processus d'observation (quand et comment les données sont collectées) ne sont pas de simples artefacts à corriger, mais des signaux riches contenant des informations cruciales sur l'état latent du patient et la sévérité de la maladie.

• Pour la Recherche Clinique : Il offre une nouvelle approche pour l'apprentissage par renforcement en soins critiques, capable de gérer la complexité des données réelles (irrégularité, multimodalité, biais de sélection).
• Pour la Pratique : En apprenant des politiques de traitement optimisées qui tiennent compte de la dynamique de la documentation et des mesures, le modèle propose des stratégies potentiellement plus sûres et efficaces, en particulier pour les patients les plus critiques où les décisions cliniques sont les plus complexes.
• Généralisation : La capacité du modèle à transférer ses connaissances entre différents hôpitaux (MIMIC vers eICU) suggère une robustesse prometteuse pour un déploiement clinique futur.

En résumé, OPL-MT-MNAR établit un nouvel état de l'art pour l'apprentissage de représentations dynamiques en santé, en transformant le problème des données manquantes en une opportunité d'apprentissage.