Benchmarking Machine Learning Architectures for Antimicrobial Stewardship in Pediatric ICUs

Riepilogo Tecnico: Valutazione Comparativa di Architetture di Machine Learning per la Gestione Antimicrobica nelle Unità di Terapia Intensiva Pediatrica

Enunciato del Problema
La resistenza antimicrobica rappresenta una minaccia globale critica, che rende necessari programmi efficaci di Gestione Antimicrobica (AMS) per ridurre l'esposizione non necessaria agli antibiotici. Nelle Unità di Terapia Intensiva Pediatrica (PICU), l'incertezza clinica porta spesso all'avvio di default di antibiotici ad ampio spettro, contribuendo all'abuso e alla resistenza a lungo termine. Sebbene il Machine Learning (ML) sia stato proposto per supportare l'AMS prevedendo opportunità di intervento dai dati delle Cartelle Cliniche Elettroniche (EHR), i lavori precedenti si sono concentrati prevalentemente su popolazioni adulte e su rappresentazioni tabulari statiche. Esiste un significativo divario nella comprensione di come modellare efficacemente gli interventi AMS in contesti pediatrici, dove i dati sono più eterogenei e sparsi. Inoltre, non è ancora chiaro quali siano gli obiettivi di intervento più informativi e quali approcci di modellazione (tabulare vs temporale) catturino meglio la struttura clinica delle decisioni di gestione.

Metodologia
Gli autori presentano uno studio sistematico di valutazione comparativa delle architetture ML per la previsione degli interventi AMS nelle PICU. Lo studio utilizza due coorti distinte: un dataset pubblico (PIC, dall'Ospedale Pediatrico dell'Università di Zhejiang) e un dataset istituzionale privato.

• Scenario di Previsione: Il compito è formulato come un problema di classificazione paziente-giorno. All'inizio di ogni giorno con terapia antibiotica attiva, il modello prevede se avverrà un intervento di gestione entro le successive 24 ore.
• Obiettivi: Sono definiti quattro obiettivi proxy clinicamente rilevanti basati su dati di prescrizione retrospettivi:
  1. Passaggio da endovena a orale: Transizione da una formulazione endovenosa a una non endovenosa.
  2. De-escalation: Passaggio a un antibiotico con uno spettro strettamente inferiore (basato sull'Indice di Spettro Antibiotico).
  3. Interruzione: Terminazione della terapia prima della dimissione senza riavvio immediato.
  4. Terapia a breve corso: Durata totale della terapia antibiotica compresa tra 24 e 96 ore (esclusa la cefazolina profilattica), che funge da proxy per un possibile sovrattamento.
• Rappresentazione dei Dati: Lo studio confronta tre risoluzioni temporali:
  1. 24 ore (Tabulare): Statistiche riassuntive (min, max, media, conteggio) di variabili dinamiche aggregate sul giorno precedente.
  2. 1 ora (Aumentata): Bins orari delle ultime 24 ore codificati tramite una Rete Neurale Convoluzionale (CNN) e concatenati con le caratteristiche delle 24 ore.
  3. Irregolare (Basata su Grafi): Dati EHR nativi, campionati in modo irregolare, elaborati senza discretizzazione.
• Classi di Modelli: Tre classi di modelli sono valutate in un quadro unificato:
  • Modelli Tabulari: Regressione Logistica, LightGBM, MLP e TabPFN.
  • Modelli Temporali Basati su Sequenze: GRU, LSTM, TCN, Transformer e Modelli a Spazio di Stati (SSM/Ispirati a Mamba). Sono state testate sia configurazioni di Apprendimento a Singolo Compito (STL) che di Apprendimento Multi-Compito (MTL).
  • Modelli Temporali Basati su Grafi: RAINDROP, che modella le serie temporali multivariate come un grafo sulle variabili.
• Valutazione: I modelli sono valutati utilizzando AUROC, F1 Score e Area sotto la Curva Precisione-Recall (AUPRC). È valutata anche la calibrazione per determinare l'affidabilità delle stime di probabilità.

Risultati Chiave

• La Prevalenza dell'Obiettivo Guida le Prestazioni: Le prestazioni del modello sono determinate principalmente dalla prevalenza dell'obiettivo e dalle caratteristiche dei dati piuttosto che dalla complessità del modello. Obiettivi rari (es. passaggio da endovena a orale, che si verifica in <1% dei casi) producono prestazioni scadenti in termini di precisione-recall nonostante alti punteggi AUROC, evidenziando i limiti dell'AUROC in contesti clinici sbilanciati.
• Vantaggi della Modellazione Temporale: I modelli basati su sequenze offrono miglioramenti nei compromessi precisione-recall (AUPRC e F1) rispetto agli approcci tabulari, in particolare per obiettivi più prevalenti come la de-escalation e la terapia a breve corso. Tuttavia, questi guadagni sono modesti quando si passa da dati aggregati su 24 ore a risoluzioni temporali più fini di 1 ora.
• Compromesso di Calibrazione: Esiste un significativo compromesso tra discriminazione e calibrazione. Sebbene i modelli complessi basati su sequenze e grafi spesso raggiungano prestazioni di ranking migliori, sono costantemente meno ben calibrati rispetto ai modelli tabulari più semplici (in particolare LightGBM). I modelli tabulari producono stime di probabilità più affidabili, il che è critico per il supporto alle decisioni cliniche.
• Apprendimento Multi-Compito (MTL): La modellazione congiunta di compiti correlati di gestione produce miglioramenti solo marginali rispetto all'apprendimento a singolo compito. Ciò suggerisce che la struttura predittiva condivisa tra diversi tipi di intervento (es. de-escalation vs interruzione) è debole, e che la modellazione specifica per compito rimane preferibile.
• Limitazioni Basate su Grafi: Il modello basato su grafi (RAINDROP) ha mostrato prestazioni inferiori rispetto ai modelli sequenziali, suggerendo che il suo approccio alla modellazione del campionamento irregolare non ha catturato appieno i pattern a livello giornaliero in questo specifico contesto.

Significato e Affermazioni
Il documento afferma di fornire la prima valutazione sistematica e trasversale alle coorti della previsione degli interventi AMS specificamente per le popolazioni pediatriche. Il suo significato principale risiede nell'offrire indicazioni pratiche per lo sviluppo di Sistemi di Supporto alle Decisioni Cliniche (CDSS) affidabili per l'AMS:

1. La Selezione dell'Obiettivo è Critica: Gli obiettivi standard per adulti (come il passaggio da endovena a orale) possono essere sottoutilizzati o rari in contesti pediatrici, rendendo necessaria la definizione di proxy specifici per i bambini, come la terapia a breve corso.
2. Complessità del Modello vs Utilità: Aumentare la complessità del modello (ad esempio, utilizzando modelli temporali profondi) non garantisce prestazioni superiori. Modelli tabulari più semplici spesso forniscono stime di probabilità più affidabili (calibrazione), essenziali per la fiducia del clinico.
3. Rappresentazione Temporale: Sebbene una risoluzione temporale più fine offra guadagni incrementali, la maggior parte del segnale predittivo è catturata dalle caratteristiche giornaliere aggregate.
4. Metriche di Valutazione: Lo studio sottolinea che l'AUROC da sola è insufficiente per valutare l'utilità clinica; metriche come AUPRC e calibrazione sono più informative per gli strumenti di supporto alle decisioni.

Gli autori concludono che, per la previsione degli interventi AMS in PICU, la definizione dell'obiettivo, la rappresentazione temporale e la calibrazione sono critiche quanto la scelta del modello, e che aumentare la complessità del modello da solo è insufficiente per costruire sistemi di supporto alle decisioni cliniche affidabili. Il codice dello studio è reso pubblicamente disponibile per garantire la riproducibilità.