Standard-of-Care vs. Machine Learning–Recommended Discharge Destinations for Geriatric Surgical Inpatients: Algorithm Development and Internal Validation

Technische Samenvatting: Standaardzorg versus door Machine Learning aanbevolen ontslagbestemmingen voor geriatrische chirurgische patiënten

Probleemstelling
Oudere volwassenen die een operatie ondergaan, lopen een verhoogd risico op ongunstige uitkomsten, waaronder functionele achteruitgang, verlengde hospitalisatie en ongepaste institutionalisering, vaak als gevolg van leeftijdsgebonden kwetsbaarheden zoals fragiliteit en multimorbiditeit. Hoewel de Comprehensive Geriatric Assessment (CGA) en geriatrische co-management bewezen de ontslagplanning en uitkomsten verbeteren, wordt de brede implementatie ervan gehinderd door een tekort aan geriaters en beperkte middelen. Eerdere bevindingen uit het SURGE-Ahead project gaven aan dat ontslagbeslissingen volgens de standaardzorg bij geriatrische chirurgische patiënten in 27% van de gevallen niet overeenkwamen met de aanbevelingen van geriatrische experts; deze discrepantie was gekoppeld aan hogere heropnamepercentages en functionele achteruitgang. Er is een kritieke behoefte aan schaalbare, op data gebaseerde instrumenten om geïndividualiseerde ontslagplanning te ondersteunen die de klinische expertise kunnen aanvullen, in plaats van vervangen.

Methodologie
De studie ontwikkelde en valideerde intern een machine learning (ML)-algoritme om ontslagbestemmingen voor geriatrische chirurgische patiënten te voorspellen, waarbij de aanbevelingen van geriatrische experts als de 'ground truth' werden gebruikt.

• Databron: De studie maakte gebruik van gegevens van 169 patiënten van ≥70 jaar die werden opgenomen op de afdelingen trauma, algemene/viscerale chirurgie en urologie van het Universitair Medisch Centrum Ulm (februari 2023–maart 2024). De gegevens omvatten elektronische patiëntendossiers (EPD) en een Minimum Geriatric Data Set (MGDS) met variabelen zoals de Barthel Index, de Clinical Frailty Scale (CFS), de Montreal Cognitive Assessment (MoCA), polyfarmacie-aantallen en chirurgische details.
• Ground Truth: De ontslagbestemmingen werden gecategoriseerd in vier klassen: thuis, acute geriatrische zorgunit, post-acute revalidatiefaciliteit en verpleeghuis. De "ground truth" werd gedefinieerd door de aanbevelingen van experts, afgeleid van in-persoon geriatrische consulten, de MGDS en een gezamenlijke beoordeling door twee ervaren geriaters, in plaats van de routinematige standaardzorg-beslissingen.
• Algoritme: Een AdaBoost-classifier met decision tree stumps werd gekozen om de nadruk te leggen op modeltransparantie en interpreteerbaarheid boven "black-box"-complexiteit. Het model maakte gebruik van een one-vs-one multiclass classificatiestrategie om klassenimbalans te behandelen.
• Validatiekader: Een 5-voudig cross-validatie (CV) kader werd gebruikt. Om de beperkte steekproefomvang aan te pakpen, werd de trainingsset uitgebreid met 82 monsters uit een orthogeriatrisch traumaregister (ATZ-register), waarbij de folds werden hergebruikt uit een begeleidende studie om informatielekkage te voorkomen. Hyperparameters (waaronder de inclusie van ATZ-data, aantal estimators, leersnelheid en kalibratiesplitsingen) werden geoptimaliseerd via grid search binnen de trainingsfolds.
• Evaluatiemetrieken: Prestaties werden beoordeeld aan de hand van accuratesse, micro-gemiddelde Receiver Operating Characteristic (ROC) Area Under the Curve (AUC), positieve/negatieve voorspellende waarden (PPV/NPV) en kalibratie (Brier score). Een "human-in-the-loop" simulatie werd uitgevoerd door de 15% van de voorspellingen met de hoogste onzekerheid (laagste voorspelde waarschijnlijkheden) uit te sluiten om de impact van het signaleren van complexe gevallen voor handmatige beoordeling te evalueren.
• Statistische Vergelijking: De accuratesse van het ML-model werd vergeleken met eerder gepubliceerde standaardzorg-beslissingen met behulp van de McNemar-toets.

Belangrijkste Bijdragen

1. Algoritmeontwikkeling: De creatie van een verklaarbaar, onzekerheidsbewust ML-model dat specifiek is ontworteleid voor het voorspellen van geriatrische ontslagbestemmingen met behulp van EHR- en CGA-data.
2. Prestatiebenchmarking: Directe vergelijking van het ML-model met de standaardzorg-beslissingen, wat aantoont dat het algoritme beter kan aansluiten bij geriatrische expert-aanbevelingen dan de routinematige klinische praktijk.
3. Human-in-the-loop Strategie: Demonstratie dat het filteren van voorspellingen met een hoge onzekerheid (de onderste 15%) de accuratesse van de resterende geautomatiseerde aanbevelingen aanzienlijk verbetert, wat een praktisch pad biedt voor klinische integratie.
4. Interpreteerbaarheid: Identificatie van belangrijke klinische drijfveren (bijv. drempelwaarden voor de Barthel Index, CFS-scores, leeftijd en polyfarmacie) en de afleiding van een voorlopig scoresysteem om clinici te helpen patiënten te identificeren die geschikt zijn voor acute geriatrische zorg.

Resultaten

• Algehele Accuratesse: Het ML-model behaalde een interne validatie-accuratesse van 82% (95% BI 0,76–0,86) bij het matchen met expert-aanbevelingen. Dit vormde een statistisch significante verbetering ten opzichte van de standaardzorg-beslissingen, die een accuratesse van 73% bereikten (124/169 correct vs. 138/169 correct voor ML; p = 0,041).
• Discriminatief Vermogen: Het model vertoonde een micro-gemiddelde ROC AUC van 0,94 (95% BI 0,92–0,96).
  • AUC voor ontslag naar huis: 0,93
  • AUC voor acute geriatrische zorgunit: 0,89
  • AUC voor verpleeghuis: 0,98
  • AUC voor revalidatiefaciliteit: 0,52 (genoteerd als uitdagend vanwege de kleine steekproefomvang en situationele factoren).
• Human-in-the-Loop Prestaties: Wanneer de 15% van de voorspellingen met de hoogste onzekerheid werd uitgesloten, steeg de accuratesse van de resterende zelfverzekerde voorspellingen naar 85% (95% BI 0,80–0,90), met een overeenkomstige stijging van de micro-gemiddelde AUC naar 0,95 (p = 0,006 vergeleken met de standaardzorg).
• Belangrijkste Predictoren: Inspectie van het model identificeerde de volgende meest invloedrijke predictoren:
  • Barthel Index ≤ 50 op de derde postoperatieve dag.
  • Clinical Frailty Scale (CFS) ≥ 5.
  • Barthel Index ≤ 60 op de eerste postoperatieve dag.
  • Leeftijd ≥ 88 jaar.
  • Polyfarmacie (≥ 8 medicijnen).
• Kalibratie: Het model vertoonde een goede kalibratie (Brier score 0,33), waarbij de voorspelde waarschijnlijkheden nauw aansloten bij de geobserveerde uitkomsten.

Betekenis en Claims
De auteurs positioneren deze studie als een proof-of-concept die aantoont dat een ML-benadering effectief kan ondersteunen bij de geïndividualiseerde ontslagplanning voor geriatrische chirurgische patiënten. De primaire betekenis ligt in het vermogen van het model om de huidige standaardzorg aanzienlijk te overtreffen in de aansluiting bij het oordeel van geriatrische experts (82% vs. 73% congruentie).

Het artikel benadrukt dat het model is ontworpen als een ondersteunend instrument en niet als een autonome beslisser. Door gekalibreerde waarschijnlijkheden te produceren en een "human-in-the-loop"-mechanisme te integreren voor gevallen met een hoge onzekerheid, beoogt de aanpak de patiëntveiligheid en operationele efficiëntie te verbeteren zonder het klinische oordeel te vervangen. De auteurs stellen expliciet dat hoewel het algoritme een hoge interne validiteit en discriminatief vermogen vertoont, deze resultaten nog geen validatie van de klinische effectiviteit vormen. Bijgevolg dient de studie als de empirische basis voor een lopende interventionele trial (DRKS00030684) die momenteel de real-world impact van dit beslissingsondersteunende systeem op patiëntuitkomsten en de kwaliteit van het ontslag evalueert.

De auteurs blijven bescheiden over de beperkingen en merken op dat de kleine steekproefomvang voor minderheids-klassen (revalidatie en verpleeghuis) de stabiliteit van de voorspellingen voor die specifieke categorieën beperkt en dat de resultaten interne validatieschattingen zijn die onderhevig zijn aan potentieel overfitting. De studie concludeert dat de transitie van een hoogwaardig algoritme naar een betrouwbaar klinisch instrument verdere bewijs uit klinische trials vereist.