Domain Generalization and Adaptation in Intensive Care with Anchor Regression

Dit artikel presenteert een grootschalige studie over domeingeneralisatie in intensivecare-data, waarin wordt aangetoond dat anchor-regressie en de nieuwe anchor-boosting-methode de prestaties van voorspellende modellen in nieuwe ziekenhuizen verbeteren en een raamwerk bieden om te bepalen wanneer externe data nuttig is.

De kern

Stel je voor dat je een zeer ervaren arts hebt die al duizenden patiënten in één specifiek ziekenhuis heeft behandeld. Deze arts is een meester in het voorspellen van complicaties, zoals een hartstilstand of nierfalen, op basis van de data van dat ene ziekenhuis.

Nu wil je die arts sturen naar een nieuw ziekenhuis in een heel ander land. Maar daar werkt het anders: de apparatuur is anders, de artsen geven medicijnen op een andere manier, en de patiënten zijn anders. Als je de arts gewoon laat doen wat hij altijd deed, gaat hij waarschijnlijk veel fouten maken. Zijn "model" werkt niet meer.

Dit is precies het probleem dat deze wetenschappers proberen op te lossen. Ze kijken naar Intensive Care Unit (ICU) data van negen verschillende ziekenhuizen over de hele wereld (van Zwitserland tot China en de VS). Hun doel: een algoritme maken dat niet alleen goed werkt in het ene ziekenhuis, maar ook in de andere, zelfs als die heel anders zijn.

Hier is hoe ze dat doen, vertaald in een simpel verhaal:

1. Het Probleem: De "Kleurige" Ziekenhuizen

In de wereld van AI is het normaal om te trainen met data uit één bron en die te testen op dezelfde bron. Maar in de echte wereld (zoals ziekenhuizen) verandert alles.

• Vergelijking: Stel je voor dat je een auto leert rijden op een droge weg in Zwitserland. Als je die auto nu op een modderige weg in Brazilië zet, glijdt hij uit. De weg (de data) is veranderd. Dit noemen ze een distributieverschuiving.

2. De Oplossing: "Ankeren" (Anchor Regression)

De auteurs gebruiken een slimme truc die ze Anchor Regression noemen.

• Het Anker: Stel je voor dat elke ziekte een "anker" heeft. Een anker is iets dat de oorzaak is van de verschillen tussen de ziekenhuizen. Bijvoorbeeld: welke software het ziekenhuis gebruikt of welk jaar de data is verzameld.
• Hoe het werkt: Het algoritme leert niet alleen om de ziekte te voorspellen, maar kijkt ook naar het anker. Het zegt: "Oké, in ziekenhuis A gebruiken ze software X, in ziekenhuis B software Y. De relatie tussen medicijnen en genezing moet stabiel blijven, ongeacht welke software er wordt gebruikt."
• De Analogie: Het is alsof je een boot vastmaakt met een anker. Als het water (de data) beweegt, blijft de boot (het voorspellingsmodel) stabiel omdat het anker (de causale relatie) hem op zijn plaats houdt.

3. De Nieuwe Uitvinding: "Anchor Boosting"

De oorspronkelijke methode was een beetje als een simpele lijntrekker (lineair). Maar ziekenhuisdata is complex en rommelig. Daarom hebben ze Anchor Boosting bedacht.

• De Analogie: Als de oude methode een simpele schets was, is Anchor Boosting een 3D-landschap dat door een team van slimme beslissingsbomen wordt gebouwd. Het kan complexe patronen zien die een simpele lijn niet ziet. Ze hebben dit "geboost" (versterkt) zodat het ook die complexe, niet-lineaire relaties in de data kan vasthouden, terwijl het nog steeds zijn "anker" gebruikt om stabiel te blijven.

4. De Drie Werelden (Regimes)

De auteurs ontdekten iets fascinerends over hoe je externe data (van andere ziekenhuizen) moet gebruiken. Ze onderscheiden drie situaties, afhankelijk van hoeveel data je in het nieuwe ziekenhuis hebt:

1. De "Lege" Wereld (Domain Generalization):

   • Situatie: Je hebt in het nieuwe ziekenhuis bijna geen data (bijvoorbeeld slechts 25 patiënten).
   • Advies: Gebruik alleen het model dat is getraind op de andere ziekenhuizen. Probeer niet zelf iets te bouwen; je hebt te weinig info.
   • Analogie: Je bent op een onbekend eiland en hebt geen kaart. Gebruik de kaart van een andere ontdekkingsreiziger.

2. De "Overgangs" Wereld (Domain Adaptation):

   • Situatie: Je hebt een beetje data (bijvoorbeeld 1.000 patiënten).
   • Advies: Neem het model van de andere ziekenhuizen en pas het een beetje aan met jouw nieuwe data.
   • Analogie: Je hebt een kaart van een ander land, maar je bent nu in een nieuwe stad. Gebruik de kaart als basis, maar pas de route aan voor de lokale straten.

3. De "Rijke" Wereld (Data-Rich):

   • Situatie: Je hebt heel veel data (bijvoorbeeld 50.000 patiënten).
   • Advies: Vergeet de andere ziekenhuizen. Bouw een nieuw model puur op basis van jouw eigen data.
   • Analogie: Je hebt nu je eigen, perfecte kaart van het eiland gemaakt. De kaart van de andere ontdekkingsreiziger is niet meer nodig; hij zou je zelfs in de war brengen.

5. Wat vonden ze?

• Het werkt! Zelfs als de ziekenhuizen heel verschillend zijn (zoals een kinderziekenhuis versus een volwassen ziekenhuis), werkt deze "anker-methode" beter dan standaard methoden.
• Robuust: Het werkt zelfs als de "ankers" niet perfect zijn (bijvoorbeeld als je medicijncodes gebruikt die eigenlijk niet volledig onafhankelijk zijn). Het systeem is tolerant.
• De waarde van data: Ze hebben een manier bedacht om te zeggen: "De data van dat andere ziekenhuis is zo goed als 10.000 patiënten in jouw eigen ziekenhuis." Dit helpt ziekenhuizen te beslissen of het de moeite waard is om data te delen.

Conclusie

Deze paper laat zien dat we AI in de zorg slimmer kunnen maken door te leren van verschillen in plaats van ze te negeren. Door te "ankeren" op de oorzaken van die verschillen, kunnen we modellen bouwen die niet alleen in één ziekenhuis werken, maar die veilig en betrouwbaar zijn in elk ziekenhuis ter wereld, of je nu maar een paar patiënten hebt of tienduizenden.

Het is een stap in de richting van een AI die niet alleen slim is, maar ook verstandig genoeg om te weten waar hij vandaan komt en hoe hij zich aanpast aan nieuwe omgevingen.

Technische samenvatting

Probleemstelling

Voorspellende modellen in klinische settings presteren vaak slechter wanneer ze worden ingezet in nieuwe ziekenhuizen of over een andere tijdsperiode dan waar ze mee zijn getraind. Dit komt door distributieveranderingen (distribution shifts) veroorzaakt door verschillen in hardware, ziekenhuisbeleid, patiëntenselectie en variabele beschikbaarheid. Hoewel het veld van "distributional robustness" (distributie-robuustheid) veelbelovend is op synthetische of verzorgde datasets, hebben grootschalige empirische studies op echte medische data vaak gemengde of negatieve resultaten laten zien, waarbij complexe domein-generalisatiemethoden niet beter presteren dan simpele baselines.

De kernvraag is: Hoe kunnen we bestaande heterogeniteit in data uit meerdere bronnen benutten om robuustere causale modellen te bouwen die beter generaliseren naar nieuwe, onbekende omgevingen (zoals andere ICU's)?

Methodologie

De auteurs passen en uitbreiden de Anchor Regression (Rothenhäusler et al., 2021), een methode die inspiratie haalt uit causale inferentie.

1. Lineaire Anchor Regression:

   • Deze methode straft afhankelijkheden die variëren met een zogenaamde "anchor-variabele" (bijv. het ziekenhuis-ID).
   • Het interpolatie tussen gewone kleinste-kwadratenregressie en instrumentvariabele-regressie.
   • Het doel is om stabiliteit (invariantie) te bevorderen voor verschuivingen die door de anchor-variabele worden veroorzaakt, wat leidt tot robuustheid tegen uitdijende verdelingsverschuivingen.

2. Nieuwe Uitbreiding: Anchor Boosting:

   • Omdat lineaire modellen te simpel kunnen zijn voor complexe interacties in IC-data, stellen de auteurs Anchor Boosting voor.
   • Dit is een niet-lineaire extensie gebaseerd op gradient boosting trees (LightGBM).
   • Technische innovatie: De implementatie gebruikt tweede-orde optimalisatie (Hessiaan) om de waarden van de bladeren van de bomen bij te werken, in plaats van alleen de gradiënt. Dit is cruciaal voor stabiliteit, vooral bij hoge waarden van de regularisatieparameter $\gamma$ en voor classificatietaken.
   • Voor classificatie wordt een probit-linkfunctie gebruikt om convexiteit te garanderen, wat noodzakelijk is voor stabiele updates.

3. Refitting (Domeinadaptatie):

   • Voor scenario's waarbij een beperkt aantal data uit het doel-domein beschikbaar is, stellen de auteurs een Empirical Bayes-benadering voor.
   • Bij lineaire modellen wordt een prior verondersteld rondom de parameters van het bronmodel.
   • Bij boosting-modellen worden de bladerwaarden van de bestaande bomen bijgewerkt met de nieuwe doel-data, terwijl de structuur van de bomen (split-punten) behouden blijft. Dit is efficiënter dan het opnieuw trainen van een model van nul af bij weinig data.

4. Data:

   • De studie omvat 400.000 patiënten uit 9 verschillende ICU-databases (o.a. eICU, MIMIC-III/IV, HiRID, NWICU, PICdb, Zigong).
   • Taken: Voorspelling van circulatoir falen, acute nierinsufficiëntie (AKI), en bijbehorende continue waarden (lactaat, creatinine).

Belangrijkste Bijdragen

1. Anchor Boosting: Een nieuwe, niet-lineaire methode voor causale regularisatie die geschikt is voor complexe klinische data en classificatie, met verbeterde optimalisatie voor bladerwaarden.
2. Grootschalige Empirische Studie: De grootste toepassing van anchor-regressie tot nu toe op medische data. In tegenstelling tot eerdere studies die weinig winst zagen, tonen deze resultaten significante verbeteringen, vooral voor de meest "out-of-distribution" (OOD) doelgebieden.
3. Conceptueel Kader voor Externe Data: Een nieuw raamwerk om de waarde van grote externe datasets te kwantificeren door prestaties te vergelijken als functie van de hoeveelheid beschikbare doel-data.

Resultaten

• Verbeterde Generalisatie: Zowel lineaire anchor-regressie als anchor-boosting verbeteren de prestaties (MSE en AuPRC) op nieuwe ziekenhuis-domeinen. De verbeteringen zijn het grootst voor de meest verschillende doelgebieden (zoals het pediatrische PICdb en het infectie-specifieke Zigong-dataset).
• Robuustheid: De methoden blijken robuust te zijn tegen schendingen van theoretische aannames, zoals het gebruik van endogene variabelen (bijv. ICD-codes) als anchor, hoewel exogene variabelen ideaal zijn.
• De Drie Regimes: Door de prestaties te plotten tegen de hoeveelheid beschikbare doel-data, identificeren de auteurs drie regimes:
  1. Domein-generalisatie regime: Bij zeer weinig doel-data (bijv. <100 patiënten) is het beste om een model te gebruiken dat uitsluitend op externe data is getraind.
  2. Domein-adaptatie regime: Bij een matige hoeveelheid doel-data is het optimaal om het externe model te "refitten" (aanpassen) met de nieuwe data.
  3. Data-rijk regime: Bij een grote hoeveelheid doel-data (>10.000 - 50.000 patiënten, afhankelijk van de taak) levert externe data geen extra waarde meer op; het is beter om een model uitsluitend op de doel-data te trainen.
• Kwantificering: De auteurs kunnen vertalen hoeveel "equivalente" lokale patiënten de externe data waard is. Voor sommige zeer verschillende domeinen is externe data slechts waard als 100 lokale patiënten, terwijl het voor andere domeinen duizenden lokale patiënten waard is.

Significantie

Dit artikel biedt een praktische en theoretisch onderbouwde oplossing voor een van de grootste uitdagingen in medische AI: het generaliseren van modellen over verschillende ziekenhuizen.

• Het bewijst dat causaal geïnspireerde regularisatie (Anchor Regression) effectief kan zijn op grote, heterogene real-world datasets, in tegenstelling tot veel andere domein-generalisatiemethoden.
• Het introduceert Anchor Boosting, wat de toepasbaarheid van deze theorie uitbreidt naar niet-lineaire, state-of-the-art modellen die in de kliniek veelvuldig worden gebruikt.
• Het voorgestelde kader helpt klinische onderzoekers en datawetenschappers bij het nemen van strategische beslissingen: Wanneer moeten we externe data gebruiken, wanneer moeten we het aanpassen, en wanneer is het tijd om het te verlaten? Dit optimaliseert het gebruik van schaarse resources in de medische data-analyse.