Predictors of COVID-19 hospital outcomes: a machine learning analysis of the National COVID Cohort Collaborative

Deze studie toont aan dat gestructureerde elektronische gezondheidsgegevens een matige voorspellende waarde hebben voor sterfte bij COVID-19-patiënten, maar ontoereikend zijn voor het voorspellen van de ziekenhuisopnameduur, waarbij het gebruik van SMOTE voor het aanpakken van onbalans in de data een afweging vereist tussen discriminatie en kalibratie.

De kern

🏥 De Grote COVID-Verkenning: Een Reis door de Data

Stel je voor dat je een enorme bibliotheek binnenstapt. Deze bibliotheek bevat de medische dossiers van 263.000 volwassenen die in de VS met COVID-19 in het ziekenhuis lagen. Dit is geen gewone bibliotheek; het is een digitaal archief genaamd N3C, waar gegevens van 51 verschillende ziekenhuizen zijn samengevoegd tot één groot verhaal.

De onderzoekers (Janette Vazquez en haar team) wilden twee dingen ontdekken:

1. Wie zou het ziekenhuis niet overleven? (Sterfte voorspellen)
2. Hoe lang zou iemand in het ziekenhuis blijven? (Verblijfsduur voorspellen)

Ze gebruikten slimme computers (machine learning) om deze vragen te beantwoorden, alsof ze een super-scherpe detective zijn die patronen zoekt in een zee van informatie.

---

🔍 De Detectivewerk: Wat vonden ze?

1. Het Voorspellen van Overlijden: Een Redelijk Goede Radar

De computers waren redelijk goed in het voorspellen van wie het ziekenhuis zou overleven en wie niet.

• De Analogie: Stel je voor dat je een weersvoorspelling doet. De computer kon zeggen: "De kans op regen (overlijden) is 70%." Dat is een behoorlijk goede voorspelling, maar niet perfect. Het is alsof je een radar hebt die wolken ziet, maar niet precies weet of het een lichte motregen of een storm wordt.
• Het Resultaat: De computer had ongeveer 72% kans om de juiste volgorde te hebben (wie meer risico loopt dan wie). Maar hier zit een addertje onder het gras.

2. Het Grote Dilemma: De "Nooit-Verwachte" Voorspelling

Hier wordt het interessant. De computers hadden een probleem met de ongelijke verdeling van de data.

• De Analogie: Stel je voor dat je in een zaal staat met 100 mensen, waarvan er 95 gezond zijn en slechts 5 ziek. Als je een computer vraagt om de zieken te vinden, en je zegt: "Wees maar voorzichtig," dan zegt de computer: "Oké, ik zeg dat iedereen gezond is."
  • Waarom? Omdat 95% van de tijd heeft hij gelijk! Maar hij heeft de 5 zieken volledig gemist.
• De Oplossing (SMOTE): Om dit op te lossen, gebruikten de onderzoekers een truc genaamd SMOTE. Ze maakten virtuele, nep-patiënten die ziek waren, zodat de computer meer "oefende" met het herkennen van ziekte.
• Het Nadeel: Door deze truc te gebruiken, werd de computer wel beter in het vinden van de zieken (hij miste ze niet meer), maar werd hij ook onzekerder in zijn algemene oordeel. Het was alsof je een metaalzoeker instelt om heel gevoelig te zijn: je vindt nu elk spijkertje, maar je vindt ook veel schroot dat geen spijker is.

Conclusie: Als je de computer laat kiezen tussen "veiligheid" (niet veel fouten maken) en "detectie" (iedereen vinden die ziek is), moet je een moeilijke keuze maken.

3. Het Voorspellen van de Verblijfsduur: Een Onmogelijke Taak

Bij het voorspellen van hoe lang iemand in het ziekenhuis zou blijven, faalden de computers bijna volledig.

• De Analogie: Het is alsof je probeert te voorspellen hoe lang een auto in de file staat, alleen op basis van de kleur van de auto en of de bestuurder een pet op heeft. Het antwoord hangt af van duizenden dingen die je niet ziet: hoe snel de verkeerslichten zijn, of er een vrachtwagen is omgekeerd, of de chauffeur even moet plassen.
• De Realiteit: De duur van het verblijf wordt bepaald door dingen die niet in het dossier staan: hoe snel een bed vrijkomt, hoe druk het personeel is, of de familie snel komt. De computer kon dit niet voorspellen; het was alsof je probeert de toekomst te lezen in de rook van een sigaret.

---

💉 De Remdesivir-Verwarring

Het onderzoek keek ook naar een medicijn genaamd Remdesivir.

• Het Verhaal: Mensen die dit medicijn kregen, waren vaak ouder en hadden meer gezondheidsproblemen dan mensen die het niet kregen.
• De Analogie: Stel je voor dat je ziet dat mensen die een paraplu meenemen vaker nat worden dan mensen zonder paraplu. Zou je zeggen: "De paraplu maakt je nat"? Nee! De paraplu wordt gegeven aan mensen die al weten dat het gaat regenen.
• De Les: De onderzoekers zagen dat de groep die Remdesivir kreeg, al slechter aan toe was. Daarom was het lastig om te zeggen of het medicijn werkte of niet. Het medicijn werd gegeven aan de "zwaarste" patiënten, wat de resultaten vertekende.

---

🎯 De Belangrijkste Les voor de Toekomst

Dit onderzoek leert ons drie belangrijke dingen voor de toekomst:

1. Geen enkele maatstaf is genoeg: Je kunt niet alleen kijken naar "hoe vaak heeft de computer gelijk gehad?" (de AUROC). Je moet ook kijken naar "hoeveel zieken heeft hij gemist?" en "hoe zeker is hij?". Het is als een alarm: als het nooit afgaat, is het nutteloos, maar als het elke keer afgaat als er een muis langsloopt, is het ook nutteloos.
2. Oudere mensen zijn lastiger: Voor mensen van 65 jaar en ouder werkten de voorspellingen minder goed. Omdat bijna iedereen in deze groep al wat gezondheidsproblemen heeft, is het voor de computer moeilijk om te zien wie er echt in gevaar is. Ze hebben meer informatie nodig, zoals hoe iemand zich voelt of hoe sterk ze zijn.
3. Ziekenhuizen tellen mee: De computer zag dat het ziekenhuis zelf een grote rol speelde. Sommige ziekenhuizen lieten patiënten sneller gaan dan andere, ongeacht hoe ziek ze waren. Dit betekent dat de locatie van de patiënt net zo belangrijk is als de patiënt zelf.

🏁 Samenvatting in één zin

De slimme computers kunnen redelijk goed zeggen wie een groot risico loopt om te overlijden, maar ze zijn slecht in het voorspellen van hoe lang iemand blijft, en ze moeten heel voorzichtig worden gebruikt om niet te veel of te weinig patiënten als "gevaarlijk" te bestempelen.

Technische samenvatting

Titel: Predictors van COVID-19 ziekenhuisuitkomsten: een machine learning-analyse van de National COVID Cohort Collaborative (N3C)

1. Probleemstelling

Het voorspellen van ziekenhuisuitkomsten voor patiënten met ernstige acute respiratoire infecties (zoals COVID-19) is cruciaal voor risicoselectie en resourceplanning. Echter, het ontwikkelen van machine learning (ML) modellen voor deze doeleinden wordt gehinderd door:

• Heterogeniteit in data: Elektronische gezondheidsdossiers (EHR) variëren sterk tussen instellingen.
• Class imbalance: Het aantal overlijdensgevallen is veel kleiner dan het aantal overlevenden, wat de training van modellen bemoeilijkt.
• Ontbrekende variabelen: Klinische praktijk en ongemeten factoren (zoals ziekenhuisbeleid) spelen een grote rol, vooral bij het voorspellen van de verblijfsduur (Length of Stay, LOS).
• Beperkte generaliseerbaarheid: Veel eerdere studies waren beperkt tot enkele ziekenhuizen of IC-populaties.

Het doel van deze studie was om meerdere ML-architecturen te vergelijken voor het voorspellen van sterfte (tijdens opname en binnen 60 dagen) en verblijfsduur (LOS) in een grote, geharmoniseerde, multi-site Amerikaanse cohort, en om de impact van correctie voor class imbalance (SMOTE) te evalueren.

2. Methodologie

• Data: Retrospectief cohortstudie met data uit de National COVID Cohort Collaborative (N3C), geharmoniseerd naar het OMOP Common Data Model.
  • Periode: Mei 2020 tot juni 2025.
  • Cohort: 263.619 volwassenen (≥18 jaar) met laboratoriumbevestigde COVID-19, opgenomen in 51 verschillende ziekenhuizen.
  • Uitsluitingscriteria: Zwangere vrouwen, alleen poliklinische bezoeken, onvolledige tijdstempels, en ziekenhuizen zonder antivirale behandeling.
• Doelvariabelen (Outcomes):
  • Hospital Length of Stay (LOS) (log-getransformeerd).
  • Sterfte tijdens opname (in-hospital mortality).
  • 60-dagen al-oorzaak sterfte.
• Predictoren: Demografie, BMI, comorbiditeiten (bijv. diabetes, hartfalen), eerdere zorggebruik, vaccinatiestatus en ziekenhuis-ID.
• Modellen: Vier ML-architecturen werden getraind en vergeleken:
  1. Penalized linear/logistic regression (Elastic Net).
  2. Random Forest.
  3. XGBoost.
  4. Multilayer Perceptron (MLP).
• Data-preprocessing:
  • Ontbrekende data (voornamelijk aantal eerdere bezoeken) werd geïmputeerd met MICE (Multiple Imputation by Chained Equations).
  • Class Imbalance: Voor sterfte-modellen werd SMOTE (Synthetic Minority Over-sampling Technique) toegepast binnen cross-validatie folds om de minderheidsklasse (sterfte) te oversamplen. Modellen werden getraind met en zonder SMOTE.
• Evaluatiemetrics:
  • Classificatie: AUROC, Precision, Recall, F1-score, Brier score, en Decision Curve Analysis.
  • Regressie (LOS): $R^2$, RMSE, MAE.
  • Interpretatie: SHAP-waarden en permutatie-importance.

3. Belangrijkste Resultaten

A. Sterftevoorspelling (Mortality)

• Discriminatie: Alle modellen toonden een matige discriminatie voor sterfte. De beste AUROC-waarden lagen tussen 0,71 en 0,73 voor in-hospital sterfte en 0,72 en 0,73 voor 60-dagen sterfte.
  • XGBoost en MLP presteerden het beste zonder SMOTE.
• Impact van SMOTE:
  • Modellen zonder SMOTE hadden de hoogste AUROC, maar presteerden slecht bij het daadwerkelijk identificeren van overledenen bij een drempelwaarde van 0,5 (Recall ≈ 0, F1-score ≈ 0). Ze classificeerden bijna geen enkele patiënt als "hoog risico".
  • Modellen met SMOTE verbeterden aanzienlijk in Recall en F1-score (bijv. Recall steeg van 0 naar ~0,6), maar dit ging ten koste van de AUROC en Precision.
• Subgroep ≥65 jaar: De modelprestaties daalden significant in deze groep (beste AUROC daalde naar ~0,65), wat wijst op een grotere homogeniteit in risicoprofielen bij ouderen.

B. Voorspelling Verblijfsduur (LOS)

• De prestaties voor het voorspellen van de verblijfsduur waren slecht.
• De beste $R^2$-waarde (XGBoost) was slechts 0,059, wat betekent dat de beschikbare gestructureerde patiëntkenmerken minder dan 6% van de variantie in de verblijfsduur verklaarden.
• Top-predictoren voor LOS: Behandeling met remdesivir, leeftijd, gecompliceerde diabetes en aantal eerdere bezoeken. Het ziekenhuis (site) bleek een zeer sterke predictor, wat suggereert dat institutionele factoren (ontslagbeleid, bedcapaciteit) de verblijfsduur meer bepalen dan patiëntkenmerken.

C. Remdesivir en Confounding

• Patiënten die remdesivir kregen, waren ouder, hadden meer comorbiditeiten en een hogere ongecorrigeerde sterfte dan niet-behandelde patiënten. Dit bevestigt confounding by indication (artsen gaven het medicijn vaker aan zwaardere patiënten), wat directe causale conclusies over de effectiviteit van remdesivir in deze observatiestudie verhindert.

D. Kalibratie

• Modellen met SMOTE neigden tot over-schatting van het sterfterisico bij gemiddelde tot hoge voorspelde waarschijnlijkheden (miscalibratie).
• Modellen zonder SMOTE waren goed gekalibreerd binnen hun smalle voorspellingsbereik, maar waren klinisch nutteloos voor screening omdat ze geen individuen als hoog-risico identificeerden.

4. Kernbijdragen

1. Grootste Multi-site Analyse: Een van de grootste studies die meerdere ML-architecturen vergelijkt voor COVID-19 uitkomsten in een geharmoniseerde, multi-site Amerikaanse dataset (N3C).
2. Methodologische Inzicht: Een kritische evaluatie van de trade-off tussen discriminatie (AUROC) en classificatie-eigenschappen (Recall/Precision) bij class imbalance. De studie toont aan dat een hoge AUROC niet garandeert dat een model bruikbaar is voor klinische screening zonder drempeloptimalisatie of SMOTE.
3. Beperkingen van Structured Data: Het bewijs dat gestructureerde EHR-data onvoldoende zijn voor het voorspellen van verblijfsduur (LOS), en dat ziekenhuisspecifieke factoren hierin een doorslaggevende rol spelen.
4. Ouderdomseffect: Het aantonen dat ML-modellen minder goed presteren in de ≥65 jaar subgroep, wat wijst op de noodzaak van specifieke risicofactoren (zoals kwetsbaarheid/frailty) voor deze populatie.

5. Betekenis en Conclusie

De studie concludeert dat gestructureerde EHR-data matig bruikbaar zijn voor het risicoselecteren van patiënten voor sterfte, maar onvoldoende voor het voorspellen van verblijfsduur.

• Klinische Implicatie: Voor operationele planning (bijv. triage-dashboards) kunnen modellen met een hoge AUROC nuttig zijn voor het rangschikken van patiënten. Echter, voor individuele screening (bedside) zijn modellen met SMOTE of drempeloptimalisatie nodig om recall te verhogen, ondanks de kosten voor precisie.
• Rapportage: De studie benadrukt dat in klinische ML-studies niet alleen AUROC gerapporteerd moet worden, maar ook drempelafhankelijke metrics (F1, Recall) en kalibratie, vooral bij onbalans in uitkomsten.
• Toekomst: Verbeterde voorspellingen vereisen integratie van klinische ernstmarkers (zuurstofniveaus, laboratoriumtrajecten), tijdsafhankelijke dynamiek van de ziekte en ziekenhuisspecifieke variabelen die niet in standaard gestructureerde data staan.

De bevindingen onderstrepen dat machine learning waardevolle inzichten biedt, maar dat de vertaling naar klinische praktijk zorgvuldige afwegingen vereist tussen statistische prestaties en operationele bruikbaarheid.