A Domain Incremental Continual Learning Benchmark for ICU Time Series Model Transportability

Technische Samenvatting: Een Benchmark voor Domein-Incrementeel Continue Learning voor de Transporteerbaarheid van ICU-tijdreeksmodellen

Probleemstelling
Machine learning-modellen voor de voorspelling van klinische uitkomsten hebben een toenemende nauwkeurigheid aangetoond, maar staan voor aanzienlijke barrières bij implementatie in kleinere ziekenhuizen. Deze instellingen beschikken vaak niet over de middelen voor dataverzameling, labeling en de rekenkracht die nodig zijn om modellen van scratch te trainen. Hoewel het overdragen van modellen die zijn getraind op grote ziekenhuisdatasets (bijv. MIMIC-III) naar kleinere instellingen een oplossing biedt, worden deze modellen doorgaans getraind en gevalideerd op data van één enkel ziekenhuis, wat zorgen oproept over de generaliseerbaarheid. De auteurs identificeren aanzienlijke verschillen in meetdistributies en -frequenties tussen verschillende regio's van de Verenigde Staten. Wanneer modellen zonder aanpassing worden overgedragen, kunnen deze distributieveranderingen de prestaties verslechteren. Bovendien leidt het simpelweg opnieuw trainen op nieuwe databronnen tot "catastrophic forgetting" (catastrofaal vergeten), waarbij het model kennis van het oorspronkelijke domein verliest. Het artikel presenteert deze uitdaging als een Domein-Incrementeel Learning (DIL)-probleem: de taak (voorspelling van patiëntuitkomsten) blijft constant, maar de verdeling van de invoergegevens varieert per regio, waardoor een model zich moet aanpassen aan nieuwe domeinen terwijl het kenmerken van eerdere domeinen behoudt.

Methodologie
De auteurs stellen een DIL-benchmark voor en evalueren specifieke methoden om catastrophic forgetting in een klinische setting te mitigeren.

• Benchmark Framework: De studie initialiseert een model op de MIMIC-III-dataset (Beth Israel Deaconess Medical Center) en draagt dit over naar vier verschillende regio's in de VS met behulp van de eICU-dataset: Zuid, Midwest, West en Noordoost. De evaluatie omvat vier klinische taken: Sterfte tijdens opname (IHM), Decompensatie, Verblijfsduur (LOS) en Phenotyping.
• Data Preprocessing: De auteurs maken gebruik van 17 klinische metingen (bijv. vitale functies, laboratoriumresultaten, Glasgow Coma Score). De data wordt verwerkt om consistente uurlijkse intervallen te garanderen, waarbij ontbrekende waarden worden ingevuld via forward filling of normale waarden. Een imputatie-indicator wordt toegevoegd voor elk kenmerk. Patiëntopnames worden gefilterd om alleen volwassenen (≥18 jaar) met één IC-opname en specifieke minimale verblijfsduren, afhankelijk van de taak, op te nemen.
• Modelarchitectuur: Standaard BiLSTM-modellen worden gebruikt voor IHM en Phenotyping, terwijl LSTM-modellen worden gebruikt voor LOS en Decompensatie.
• Voorgestelde Methoden: Het artikel evalueert en vergelijkt drie benaderingen met een baseline (geen DIL):
  1. Data Replay: Bewaart een geheugenbuffer met steekproeven uit eerdere bronnen om tijdens het trainen op nieuwe bronnen te worden afgespeeld. De auteurs merken op dat traditionele replay kan leiden tot overfitting als de buffer klein of niet-representatief is.
  2. Elastic Weight Consolidation (EWC): Een regularisatiemethode die wijzigingen in parameters die als belangrijk worden beschouwd voor eerdere taken, bestraft, berekend met behulp van de Fisher Information Matrix.
  3. Voorgestelde Gecombineerde Methode: Een nieuwe aanpak die EWC integreert met een gewijzigde data replay-strategie. Deze modificatie past de frequentie van updates aan met behulp van data uit eerdere bronnen. In plaats van progressieve weging die kan leiden tot overfitting op kleine buffers, stellen de auteurs een mechanisme voor waarbij replay-verlies wordt toegepast op regelmatige intervallen, zodat elke steekproef in de buffer tijdens een trainingscyclus maximaal één keer wordt gezien. Dit wordt gecombineerd met EWC-regularisatie om kritieke gewichten te behouden.

Belangrijkste Bijdragen

1. DIL-benchmark voor Klinische Tijdreeksen: De auteurs introduceren een benchmark die de overdraagbaarheid van modellen test van een groot ziekenhuissysteem (MIMIC-III) naar verschillende regio's in de VS (eICU). Zij bieden een gedetailleerde analyse van de distributieveranderingen in kenmerken en meetfrequenties tussen deze regio's.
2. Nieuwe DIL-methode: Zij stellen een gecombineerde methode voor die EWC samenvoegt met een aangepaste data replay-techniek. Deze methode introduceert de mogelijkheid om de frequentie van updates met historische data te controleren om overfittingrisico's geassocieerd met beperkte geheugenbuffers in klinische settings te minimaliseren.
3. Uitgebreide Evaluatie: De studie evalueert vier methoden (Baseline, EWC, Traditionele Replay, Aangepaste Replay en de Gecombineerde Methode) over vier verschillende klinische taken, waaronder binaire classificatie, multi-label classificatie en sequence-to-sequence taken.

Resultaten
Experimentele resultaten geven aan dat de voorgestelde gecombineerde methode over het algemeen beter presteert dan EWC en data replay die geïsoleerd worden gebruikt, met name voor niet-sequence-to-sequence taken (IHM en Phenotyping).

• Prestaties: Voor IHM en Phenotyping toonde de gecombineerde methode gelijke of superieure prestaties in alle eICU-regio's in vergelijking met andere methoden.
• Taakvariabiliteit: Hoewel de gecombineerde methode aanzienlijke verbeteringen toonde ten opzichte van de baseline voor Phenotyping, waren de winsten minder uitgesproken voor IHM, wat de auteurs toeschrijven aan de eenvoud van de taak en de sterke correlatie tussen MIMIC-III en eICU-regio's.
• Uitdagingen bij Sequence-to-Sequence: Voor LOS en Decompensatie observeerden de auteurs een aanzienlijke daling in prestaties bij overdracht van MIMIC-III naar eICU-regio's, ondanks verbeteringen ten opzichte van de baseline. Dit onderstreept de inherente moeilijkheid van sequence-to-sequence taken onder domeinverschuiving.
• Regionale Verschillen: De resultaten benadrukken dat de optimale methode kan variëren per regio en taak. Bijvoorbeeld, in de Noordoost-regio voor Decompensatie presteerde de baseline soms beter dan DIL-methoden vanwege een hoge correlatie met de brondata.

Betekenis en Beperkingen
Het artikel claimt significantie in het aanpakken van de haalbaarheid van het implementeren van robuuste machine learning-modellen in kleinere ziekenhuizen door een kader te bieden om de transporteerbaarheid van modellen te beoordelen en te verbeteren. Het benadrukt dat modellen zich moeten aanpassen aan regionale variaties in dataverzamelingpraktijken en patiëntendemografie om prestaties te behouden.

De auteurs merken bescheiden specifieke beperkingen en toekomstige richtingen op:

• Privacybeperkingen: De voorgestelde DIL-methoden (replay en EWC) vereisen nog steeds dat enige patiëntdata tussen klinieken wordt doorgegeven, wat kan worden beperkt door privacyregels. Zij suggereren dat toekomstig werk zich kan richten op "geheugenloze" overdrachtsmethoden.
• Klinische Tekortkomingen: De studie onderstreept specifieke tekortkomingen in de overdraagbaarheid van modellen binnen klinische settings, wat aangeeft dat hoewel de voorgestelde methode de prestaties verbetert, er meer onderzoek nodig is om het generaliseerbaarheidsprobleem volledig op te lossen.
• Scope: De evaluatie is beperkt tot twee sequentiële bronnen (MIMIC-III en één eICU-regio) in de primaire experimenten, hoewel de auteurs verwachten dat de prestatiekloof tussen hun gecombineerde methode en traditionele DIL-methoden zal groeien met een toenemend aantal bronnen.

Uiteindelijk beoogt het werk de adoptie van voorspellende hulpmiddelen in omgevingen met beperkte middelen te faciliteren door aan te tonen dat modellen kunnen worden aangepast aan nieuwe domeinen terwijl eerdere kennis wordt behouden, mits de juiste incrementele leerverstrategieën worden toegepast.