Can Physician Expertise Improve Machine Learning Identification of Delirium?

Technische Samenvatting: Kan de expertise van artsen de identificatie van delirium door machine learning verbeteren?

Probleemstelling
Delirium, een acute neuropsychiatrische aandoening die tot 50% van de oudere opgenomen patiënten treft, wordt in de reguliere zorg vaak gemist. Onbehandeld delirium leidt tot ernstige gevolgen, waaronder een verdubbeling van de zorgkosten, verhoogde mortaliteit en langdurige cognitieve achteruitgang. Hoewel deze interventies tot 40% van de gevallen voorkomen kunnen worden door middel van multi-component programma's, worden deze interventies onderbenut vanwege een gebrek aan gestandaardiseerde protocollen en schaalbare instrumenten voor vroege detectie. Bestaande machine learning (ML) voorspellingsmodellen kampen vaak met beperkingen zoals de afhankelijkheid van niet-routinematig verzamelde gegevens (bijv. cognitieve beoordelingen), lage nauwkeurigheid, het negeren van ongestructureerde tekstgegevens en de gevoeligheid voor modeldrift. Bovendien missen standaard geautomatiseerde ML (aML) benaderingen vaak transparantie (het "black-box"-karakter), wat klinisch vertrouwen en adoptie belemmert.

Methodologie: Gebruikersgestuurde Interactieve Machine Learning (UC-iML)
De auteurs stellen een User-Centered Interactive Machine Learning (UC-iML) framework voor, ontworpen om de expertise van artsen direct te integreren in de levenscyclus van de ML-ontwikkeling. In tegenstelling tot traditionele workflows waarbij clinici pas de definitieve modellen beoordelen, hanteert dit framework een "human-in-the-loop"-benadering via drie iteratieve stadia:

1. Requirements Acquisition (RA - Vereistenverzameling): Artsen (die optreden als "Machine Teachers") werken samen met ontwikkelaars om klinische prioriteiten te definiëren. Zij prioriteren kenmerken die variëren van administratieve gegevens (bijv. verblijfsduur, ontslagbestemming), klinische signalen (bijv. laboratoriumafwijkingen, IC-opname) en medicatiepatronen. Het doel is om de nadruk te leggen op hoge sensitiviteit voor screening, in plaats van uitsluitend te vertrouwen op nauwkeurigheid (accuracy), wat misleidend kan zijn in ongebalanceerde datasets.
2. Design and Prototyping (DP - Ontwerp en Prototyping): Deze fase omvat multi-source feature engineering en door artsen gestuurde verfijning. Het systeem integreert:
   • Administratieve & Klinische Gegevens: ICD-10 codes, vitale functies en laboratoriumresultaten (bijv. natrium, creatinine, WBC).
   • Tekst-afgeleide Indicatoren: Radiologieverslagen (CT/MRI) worden verwerkt met behulp van Term Frequency–Inverse Document Frequency (TF-IDF) en een gradient boosting classifier om een tekst-afgeleide delirium-waarschijnlijkheidsindicator te creëren.
   • Expert Verfijning: Na een initiële Lasso-gebaseerde screening verfijnen artsen handmatig de selectie van kenmerken om klinisch relevante voorspellers en etiologisch relevante signalen te behouden.
3. Machine Teachers-Centered Evaluation (MTCE - Evaluatie gericht op Machine Teachers): Artsen evalueren kandidaat-modellen met behulp van een interactief dashboard. De selectiecriteria omvatten discriminatieprestaties (F1-score, ROC-AUC), temporele stabiliteit (standaarddeviatie over tijdssegmenten) en kalibratiekwaliteit.

Dataset en Experimentele Opzet
De studie maakt gebruik van de GEMINI (General Medicine Inpatient Initiative) dataset, bestaande uit 3.862 gelabelde ziekenhuisopnames van zes ziekenhuizen in Toronto. De gegevens bevatten administratieve variabelen, laboratoriumresultaten, medicatie en radiologie-afgeleide tekstindicatoren.

• Fases: De studie beslaat Fase 1 (april 2010 – maart 2015) en Fase 2 (januari 2018 – januari 2020).
• Validatiestrategie: Er is gebruikgemaakt van een temporeel gescheiden holdout-testmethode. De gegevens van Fase 1 werden verdeeld in tien intervallen van 6 maanden; modellen werden getraind op de eerste negen en getest op de tiende om prospectieve voorspelling te simuleren. Een cross-phase drift test evalueerde het op Fase 1 getrainde model op de gegevens van Fase 2.
• Comparatoren: Het voorgestelde UC-iML-Delirium model werd vergeleken met:
  • aML-Delirium: Data-gestuurde feature selectie zonder input van artsen.
  • Baseline-Delirium: Exclusie van tekst-afgeleide kenmerken en zonder door artsen gestuurde verfijning.
• Algoritmen: Twaalf classifiers werden getest, waaronder Gradient Boosting (GBC), AdaBoost, Logistische Regressie en Random Forest. GBC werd geselecteerd als de best presterende methode.
• Interpreteerbaarheid: Shapley Additive Explanations (SHAP) werden gebruikt om de attributie van kenmerken te kwantificeren en klinische interpreteerbaarheid te waarborgen.

Belangrijkste Resultaten

• Prestaties: Het UC-iML-Delirium framework vertoonde een superieure algehele discriminatie vergeleken met de geautomatiseerde en baseline varianten. Bij de prospectieve holdout-test (Fase 1) behaalde het GBC-gebaseerde UC-iML model een F1-score van 0,719, een nauwkeurigheid van 0,851 en een ROC-AUC van 0,902.
• Temporele Robuustheid: Het UC-iML model vertoonde een significant sterkere temporele stabiliteit. Over rollende 6-maanden vensters vertoonde de F1-score voor UC-iML-GBC een waarde van 0,701 ± 0,024, vergeleken met 0,749 ± 0,136 voor aML-Delirium en 0,402 ± 0,046 voor Baseline-Delirium.
• Cross-Phase Validatie: Wanneer het model werd getest op Fase 2 data (3–5 jaar later), behield het een robuuste prestatie (F1 = 0,693 voor GBC), hoewel het de prevalentie van delirium licht onderschatte, wat consistent is met de toegenomen klasse-imbalans in de latere dataset.
• Kenmerkbelang (Feature Importance): SHAP-analyse toonde aan dat de geengineerde variabelen, in het bijzonder een tekst-afgeleide delirium-waarschijnlijkheid uit radiologieverslagen, behoren tot de sterkste voorspellers. Andere top risicofactoren waren specifieke diagnosecodes (bijv. F05 voor delirium in de SEH), antipsychotica-voorschriften en lactaatwaarden.
• Klinische Afwegingen: Hoewel het UC-iML model een hogere recall (sensitiviteit) en F1-scores bereikte, vertoonde het een lagere precisie vergeleken met het Baseline-model. De auteurs merken op dat voor screeningdoeleinden het minimaliseren van gemiste gevallen (hoge recall) prioriteit heeft boven precisie.

Betekenis en Claims
Het artikel claimt dat het UC-iML framework een praktische, human-in-the-loop benadering is die de voorspelling van delirium significant verbetert ten opzichte van standaard geautomatiseerde methoden. De belangrijkste bijdragen zijn:

1. Integratie van Expertise: Het aantonen dat door artsen gestuurde verfijning van kenmerken en evaluatie leidt tot modellen met een betere klinische relevantie en temporele robuustheid dan puur data-gestuurde benaderingen.
2. Reproduceerbaarheid: Het vaststellen van een reproduceerbaar proces voor klinische toepassingen dat een balans vindt tussen geautomatiseerde efficiëntie en toezicht door domeinexperts.
3. Robuustheid: Het aantonen dat het model prestatie-stabiliteit behoudt over de tijd en over verschillende ziekenhuiscohorten heen, wat het probleem van modeldrift dat veel voorkomt in de AI voor de gezondheidszorg aanpakt.
4. Interpreteerbaarheid: Het gebruik van SHAP om klinisch betekenisvolle signalen (zoals radiologie tekstindicatoren) te belichten, waardoor het vertrouwen van clinici wordt vergroot.

De auteurs concluderen dat noch feature engineering alleen, noch de expertise van artsen alleen vergelijkbare resultaten opleverde; de synergie van beide binnen het UC-iML framework is essentieel voor het ontwikkelen van betrouwbare, klinisch inzetbare detectietools voor delirium. Toekomstig werk suggereert zich te richten op verdere integratie van de expertise van artsen en het verfijnen van de methodologie voor bredere klinische integratie.