A Domain Incremental Continual Learning Benchmark for ICU Time Series Model Transportability

Résumé technique : Une référence d'apprentissage continu par incrément de domaine pour la transférabilité des modèles de séries temporelles en soins intensifs

Énoncé du problème
Les modèles d'apprentissage automatique pour la prédiction des résultats cliniques ont démontré une précision croissante, mais rencontrent des obstacles majeurs à leur déploiement dans les hôpitaux de plus petite taille. Ces institutions manquent souvent des ressources nécessaires à la collecte de données, à l'étiquetage et à la puissance de calcul requises pour entraîner des modèles à partir de zéro. Bien que le transfert de modèles entraînés sur de grands ensembles de données hospitaliers (par exemple, MIMIC-III) vers des institutions plus petites offre une solution, ces modèles sont généralement entraînés et validés sur des données d'un seul hôpital, soulevant des préoccupations quant à leur généralisabilité. Les auteurs identifient des différences substantielles dans les distributions et les fréquences de mesure à travers différentes régions des États-Unis. Lorsque les modèles sont transférés sans ajustement, ces décalages de distribution peuvent dégrader les performances. De plus, le simple réentraînement sur de nouvelles sources de données entraîne un « oubli catastrophique », où le modèle perd la connaissance du domaine d'origine. L'article cadre ce défi comme un problème d'Apprentissage Continu par Incrément de Domaine (DIL) : la tâche (prédiction des résultats des patients) reste constante, mais la distribution des données d'entrée varie selon les régions, nécessitant qu'un modèle s'adapte à de nouveaux domaines tout en conservant les caractéristiques des précédents.

Méthodologie
Les auteurs proposent une référence DIL et évaluent des méthodes spécifiques pour atténuer l'oubli catastrophique dans un contexte clinique.

• Cadre de référence : L'étude initialise un modèle sur l'ensemble de données MIMIC-III (Beth Israel Deaconess Medical Center) et le transfère vers quatre régions distinctes des États-Unis en utilisant l'ensemble de données eICU : Sud, Midwest, Ouest et Nord-Est. L'évaluation couvre quatre tâches cliniques : mortalité intrahospitalière (IHM), décompensation, durée de séjour (LOS) et phénotypage.
• Prétraitement des données : Les auteurs utilisent 17 mesures cliniques (par exemple, signes vitaux, résultats de laboratoire, score de Glasgow). Les données sont traitées pour garantir des intervalles horaires cohérents, les valeurs manquantes étant imputées par remplissage vers l'avant ou par des valeurs normales. Un indicateur d'imputation est ajouté pour chaque caractéristique. Les séjours des patients sont filtrés pour n'inclure que les adultes (≥18 ans) avec une seule admission en soins intensifs et des durées de séjour minimales spécifiques selon la tâche.
• Architecture du modèle : Des modèles BiLSTM standards sont utilisés pour l'IHM et le phénotypage, tandis que des modèles LSTM sont utilisés pour la LOS et la décompensation.
• Méthodes proposées : L'article évalue et compare trois approches par rapport à une référence (sans DIL) :
  1. Rejeu de données : Stocke un tampon mémoire d'échantillons provenant de sources précédentes à rejouer pendant l'entraînement sur de nouvelles sources. Les auteurs notent que le rejeu traditionnel peut entraîner un surapprentissage si le tampon est petit ou non représentatif.
  2. Consolidation élastique des poids (EWC) : Une méthode de régularisation qui pénalise les changements des paramètres jugés importants pour les tâches précédentes, calculés à l'aide de la matrice d'information de Fisher.
  3. Méthode combinée proposée : Une approche novatrice qui intègre l'EWC avec une stratégie de rejeu de données modifié. Cette modification ajuste la fréquence des mises à jour en utilisant des données provenant de sources précédentes. Au lieu d'une pondération progressive qui peut entraîner un surapprentissage sur de petits tampons, les auteurs proposent un mécanisme où la perte de rejeu est appliquée à intervalles réguliers, garantissant que chaque échantillon du tampon est vu au plus une fois par cycle d'entraînement. Cela est combiné à une régularisation EWC pour préserver les poids critiques.

Contributions clés

1. Référence DIL pour les séries temporelles cliniques : Les auteurs introduisent une référence qui teste la transférabilité des modèles d'un grand système hospitalier (MIMIC-III) vers diverses régions américaines (eICU). Ils fournissent une analyse détaillée des décalages de distribution dans les caractéristiques et les fréquences de mesure à travers ces régions.
2. Méthode DIL novatrice : Ils proposent une méthode combinée qui fusionne l'EWC avec une technique de rejeu de données ajustée. Cette méthode introduit la capacité de contrôler la fréquence des mises à jour en utilisant des données historiques pour minimiser les risques de surapprentissage associés aux tampons mémoire limités dans les contextes cliniques.
3. Évaluation complète : L'étude évalue quatre méthodes (Référence, EWC, Rejeu traditionnel, Rejeu ajusté et Méthode combinée) à travers quatre tâches cliniques distinctes, incluant la classification binaire, la classification multi-étiquettes et les tâches séquence-à-séquence.

Résultats
Les résultats expérimentaux indiquent que la méthode combinée proposée surpasse généralement l'EWC et le rejeu de données utilisés isolément, en particulier pour les tâches non séquence-à-séquence (IHM et phénotypage).

• Performance : Pour l'IHM et le phénotypage, la méthode combinée a démontré une performance égale ou supérieure dans toutes les régions eICU par rapport aux autres méthodes.
• Variabilité des tâches : Bien que la méthode combinée ait montré des améliorations significatives par rapport à la référence pour le phénotypage, les gains étaient moins prononcés pour l'IHM, ce que les auteurs attribuent à la simplicité de la tâche et à la forte corrélation entre les régions MIMIC-III et eICU.
• Défis séquence-à-séquence : Pour la LOS et la décompensation, les auteurs ont observé une baisse significative des performances lors du transfert de MIMIC-III vers les régions eICU, malgré des améliorations par rapport à la référence. Cela met en évidence la difficulté inhérente des tâches séquence-à-séquence sous décalage de domaine.
• Différences régionales : Les résultats soulignent que la méthode optimale peut varier selon la région et la tâche. Par exemple, dans la région du Nord-Est pour la décompensation, la référence surpassait parfois les méthodes DIL en raison d'une forte corrélation avec les données sources.

Importance et limites
L'article revendique une importance dans l'adressage de la faisabilité du déploiement de modèles d'apprentissage automatique robustes dans les hôpitaux de plus petite taille en fournissant un cadre pour évaluer et améliorer la transférabilité des modèles. Il met en évidence que les modèles doivent s'adapter aux variations régionales des pratiques de collecte de données et des démographies des patients pour maintenir les performances.

Les auteurs notent modestement des limites spécifiques et des orientations futures :

• Contraintes de confidentialité : Les méthodes DIL proposées (rejeu et EWC) nécessitent toujours que certaines données de patients soient transmises entre cliniques, ce qui peut être restreint par les réglementations sur la confidentialité. Ils suggèrent que des travaux futurs pourraient se concentrer sur des méthodes de transfert « sans mémoire ».
• Déficiences cliniques : L'étude souligne des lacunes spécifiques dans la transférabilité des modèles au sein des contextes cliniques, indiquant que bien que la méthode proposée améliore les performances, des recherches supplémentaires sont nécessaires pour résoudre pleinement le problème de généralisabilité.
• Portée : L'évaluation est limitée à deux sources séquentielles (MIMIC-III et une région eICU) dans les expériences principales, bien que les auteurs s'attendent à ce que l'écart de performance entre leur méthode combinée et les méthodes DIL traditionnelles s'agrandisse avec un nombre croissant de sources.

En fin de compte, ce travail vise à faciliter l'adoption d'outils prédictifs dans des environnements à ressources limitées en démontrant que les modèles peuvent être adaptés à de nouveaux domaines tout en conservant les connaissances antérieures, à condition que les bonnes stratégies d'apprentissage incrémental soient employées.