Standard-of-Care vs. Machine Learning–Recommended Discharge Destinations for Geriatric Surgical Inpatients: Algorithm Development and Internal Validation

Sintesi Tecnica: Destinazioni di Dimissione Standard-of-Care rispetto a quelle Raccomandate dal Machine Learning per Pazienti Geriatrici Chirurgici Ospitati

Problematica
Gli anziani sottoposti a interventi chirurgici affrontano rischi elevati di esiti avversi, tra cui il declino funzionale, l'ospedalizzazione prolungata e l'istituzionalizzazione inappropriata, spesso a causa di vulnerabilità legate all'età come la fragilità e la multimorbilità. Sebbene la Valutazione Geriatrica Completa (CGA) e la co-gestione geriatrica siano strumenti provati per migliorare la pianificazione delle dimissioni e gli esiti, la loro implementazione diffusa è ostacolata dalla carenza di geriatri e dai vincoli di risorse. Risultati precedenti del progetto SURGE-Ahead hanno indicato che le decisioni di dimissione standard-of-care per i pazienti chirurgici geriatrici erano incongruenti con le raccomandazioni degli esperti geriatrici nel 27% dei casi, una discrepanza legata a tassi di riammissione più elevati e al declino funzionale. Esiste un critico bisogno di strumenti scalabili e basati sui dati per supportare una pianificazione delle dimissioni individualizzata che possa integrare, piuttosto che sostituire, l'expertise clinica.

Metodologia
Lo studio ha sviluppato e validato internamente un algoritmo di machine learning (ML) per predire le destinazioni di dimissione per i pazienti chirurgici geriatrici, utilizzando le raccomandazioni degli esperti geriatrici come ground truth.

• Fonte dei Dati: Lo studio ha utilizzato i dati di 169 pazienti di età ≥70 anni ammessi nei reparti di trauma, chirurgia generale/viscerale e urologia presso l'Ulm University Medical Center (febbraio 2023 – marzo 2024). I dati includevano cartelle cliniche elettroniche (EHR) e un Set di Dati Geriatrici Minimi (MGDS) contenente variabili quali l'Indice di Barthel, la Clinical Frailty Scale (CFS), la Montreal Cognitive Assessment (MoCA), il conteggio della polifarmacia e i dettagli chirurgici.
• Ground Truth: Le destinazioni di dimissione sono state categorizzate in quattro classi: casa, unità di cure geriatriche acute, struttura di riabilitazione post-acuta e casa di cura. Il "ground truth" è stato definito dalle raccomandazioni degli esperti derivanti da consulenze geriatriche in presenza, MGDS e revisione congiunta da parte di due esperti geriatrici, piuttosto che dalle normali decisioni standard-of-care.
• Algoritmo: È stato selezionato un classificatore AdaBoost con decision tree stumps per dare priorità alla trasparenza e all'interpretabilità del modello rispetto alla complessità "black-box". Il modello ha impiegato una strategia di classificazione multiclasse one-vs-one per gestire lo sbilanciamento delle classi.
• Framework di Validazione: È stato utilizzato un framework di cross-validazione (CV) a 5 fold. Per affrontare la limitata dimensione del campione, il set di addestramento è stato aumentato con 82 campioni provenienti da un registro di trauma ortogeriatrico (registro ATZ), con i fold riutilizzati da uno studio complementare per prevenire la fuga di informazioni (information leakage). Gli iperparametri (inclusa l'inclusione dei dati ATZ, il numero di estimator, il learning rate e i split di calibrazione) sono stati ottimizzati tramite grid search all'interno dei fold di addestramento.
• Metriche di Valutazione: Le prestazioni sono state valutate utilizzando l'accuratezza, l'area sotto la curva ROC (AUC) micro-mediata, il valore predittivo positivo/negativo (PPV/NPV) e la calibrazione (Brier score). È stata eseguita una simulazione "human-in-the-loop" escludendo il 15% delle predizioni con la maggiore incertezza (le probabilità predette più basse) per valutare l'impatto dell'identificazione dei casi complessi per la revisione manuale.
• Confronto Statistico: L'accuratezza del modello ML è stata confrontata con le decisioni standard-of-care precedentemente pubblicate utilizzando il test di McNemar.

Contributi Chiave

1. Sviluppo dell'Algoritmo: La creazione di un modello di ML spiegabile e consapevole dell'incertezza, progettato specificamente per predire le destinazioni di dimissione geriatrica utilizzando dati EHR e CGA.
2. Benchmarking delle Prestazioni: Confronto diretto tra le decisioni standard-of-care e il modello ML, dimostrando che l'algoritmo può allinearsi meglio alle raccomandazioni degli esperti geriatrici rispetto alla pratica clinica di routine.
3. Strategia Human-in-the-Loop: Dimostrazione che il filtraggio delle predizioni ad alta incertezza (il 15% inferiore) migliora significativamente l'accuratezza delle restanti racimentazioni automatizzate, offrendo un percorso pratico per l'integrazione clinica.
4. Interpretabilità: Identificazione dei principali driver clinici (es. soglie dell'Indice di Barthel, punteggi CFS, età e polifarmacia) e derivazione di un sistema di punteggio preliminare per assistere i clinici nell'identificare i pazienti idonei alle cure geriatriche acute.

Risultati

• Accuratezza Complessiva: Il modello ML ha raggiunto un'accuratezza di validazione interna dell'82% (95% CI 0,76–0,86) nel corrispondere alle raccomandazioni degli esperti. Ciò ha rappresentato un miglioramento statisticamente significativo rispetto alle decisioni standard-of-care, che hanno raggiunto un'accuratezza del 73% (124/169 corretti vs 138/169 corretti per il ML; p = 0,041).
• Potere Discriminativo: Il modello ha dimostrato un'AUC ROC micro-mediata di 0,94 (95% CI 0,92–0,96).
  • AUC per dimissione a domicilio: 0,93
  • AUC per unità di cure geriatriche acute: 0,89
  • AUC per casa di cura: 0,98
  • AUC per struttura di riabilitazione: 0,52 (notata come problematica a causa della piccola dimensione del campione e di fattori situazionali).
• Performance Human-in-the-Loop: Quando sono state escluse le predizioni con la maggiore incertezza (il 15% superiore), l'accuratezza delle restanti predizioni sicure è salita all'85% (95% CI 0,80–0,90), con un corrispondente aumento dell'AUC micro-mediata a 0,95 (p = 0,006 rispetto allo standard-of-care).
• Predittori Chiave: L'ispezione del modello ha identificato i seguenti predittori più influenti:
  • Indice di Barthel ≤ 50 al terzo giorno postoperatorio.
  • Clinical Frailty Scale (CFS) ≥ 5.
  • Indice di Barthel ≤ 60 al primo giorno postoperatorio.
  • Età ≥ 88 anni.
  • Polifarmacia (≥ 8 farmaci).
• Calibrazione: Il modello ha mostrato una buona calibrazione (Brier score 0,33), con probabilità predette che si allineano strettamente agli esiti osservati.

Significatività e Rivendicazioni
Gli autori pongono questo studio come una prova di concetto che dimostra come un approccio basato sul ML possa supportare efficacemente la pianificazione delle dimissioni individualizzata per i pazienti chirurgici geriatrici. La principale significatività risiede nella capacità del modello di superare significativamente lo standard di cura attuale nell'allinearsi al giudizio dell'esperto geriatrico (82% vs 73% di congruenza).

Il documento sottolinea che il modello è progettato come uno strumento di supporto piuttosto che come un decisore autonomo. Producendo probabilità calibrate e incorporando un meccanismo "human-in-the-loop" per i casi ad alta incertezza, l'approccio mira a migliorare la sicurezza del paziente e l'efficienza operativa senza sostituire il giudizio clinico. Gli autori dichiarano esplicitamente che, sebbene l'algoritmo mostri un'elevata validità interna e un forte potere discriminativo, questi risultati non costituiscono ancora la validazione dell'efficacia clinica. Di conseguenza, lo studio funge da base empirica per un trial interventistico in corso (DRKS00030684) che valuta l'impatto nel mondo reale di questo sistema di supporto decisionale sulla qualità delle dimissioni e sugli esiti dei pazienti.

Gli autori mantengono un approccio modesto riguardo ai limiti, osservando che le piccole dimensioni del campione per le classi minoritarie (riabilitazione e casa di cura) limitano la stabilità delle predizioni per quelle specifiche categorie e che i risultati sono stime di validazione interna soggette a potenziale overfitting. Lo studio conclude che la transizione da un algoritmo ad alte prestazioni a uno strumento clinico affidabile richiede ulteriori prove da trial clinici.