Sintesi Tecnica: g-computation guidata da esperti con LLM per la stima degli effetti causali sulle tempistiche

1. Definizione del Problema

I programmi di Miglioramento della Qualità (QI) ospedaliera affrontano frequentemente la sfida di dare priorità alle possibili interventi per ottimizzare il flusso ospedaliero, mirando specificamente alla Durata Media della Degenza (LOS - Length of Stay). Sebbene vengano proposti numerosi interventi (ad esempio, miglioramento del triage, bilanciamento del carico di lavoro, supporto decisionale tramite IA), i metodi esistenti faticano ad stimare e classificare accuratamente i loro effetti causali.

Gli approcci attuali si dividono in due categorie con distinte limitazioni:

• Approcci Qualitativi: Si affidano al giudizio degli esperti e a strumenti come i diagrammi di Gantt (o mappe del flusso del valore) per mappare le traiettorie dei pazienti. Sebbene intuitivi, questi metodi sono suscettibili di bias cognitivi e spesso non riescono a prevedere accuratamente gli effetti a valle degli interventi a causa delle complesse interazioni tra gli eventi.
• Approcci Quantitativi: Si affidano a modelli statistici basati sui dati (ad esempio, la regressione). Questi falliscono quando gli interventi sono interamente ipotetici (privi di dati storici), quando viene violato l'assunto di "positività" (poiché nuove politiche non sono mai state implementate), o quando i meccanismi causali sono troppo complessi per essere appresi esclusivamente da dati tabulari senza incorporare il ragionamento clinico.

Il problema centrale è la mancanza di un framework che possa stimare il "tempo medio risparmiato" ($\tau = E[Y(0) - Y(1)]$) per interventi ipotetici in contesti in cui le traiettorie dei pazienti sono eterogenee, i dati per le nuove politiche sono limitati e il ragionamento clinico è necessario per comprendere i meccanismi causali non strutturati.

2. Metodologia: g-computation guidata da esperti (Egg-computation)

Gli autori propongono la egg-computation, un framework ibrido che integra il ragionamento qualitativo dell'esperto con la modellazione quantitativa basata sui dati. La metodologia colma il divario tra i diagrammi di Gantt (utilizzati nel management operativo) e i Grafi Aciclici Diretti (DAG) utilizzati nell'inferenza causale.

2.1 Modello Causale sui Diagrammi di Gantt

Gli autori formalizzano un diagramma di Gantt come un DAG causale dove:

• I Nodi rappresentano i tempi degli eventi ($T_k$) o i tempi di attesa ($W_k$) tra gli eventi.
• Gli Archi rappresentano le dipendenze (ad esempio, inizio-inizio, fine-inizio).
• L'Intervento ($A$): Un nodo binario che rappresenta la politica attuale ($A=0$) rispetto a una politica QI candidata ($A=1$).
• Risultati Potenziali: $Y(a) = T_K(a)$ rappresenta la LOS sotto la politica $a$.

Il modello assume una proprietà di Markov locale in cui il tempo di attesa di un evento è condizionalmente indipendente dai non-discendenti dati i suoi genitori e le covariate di base ($X$).

2.2 La Pipeline di Egg-computation

La stima dell'effetto causale $\tau$ è ottenuta simulando le traiettorie controfattuali dei pazienti ($Y(1)$) attraverso un processo in tre fasi che classifica gli eventi in tre tipi in base alla loro relazione con l'intervento:

1. Tipo I (Non discendenti di $A$): Eventi non influenzati dall'intervento. I loro tempi di attesa vengono copiati direttamente dalla cronologia fattuale osservata ($W_k(1) = W_k$).
2. Tipo II (Discendenti di $A$, ma non figli diretti): Eventi a valle dei target dell'intervento. I loro tempi di attesa sono imputati utilizzando modelli statistici addestrati su dati osservazionali, condizionati ai (modificati) tempi dei genitori.
3. Tipo III (Figli diretti di $A$ / Target dell'intervento): Eventi direttamente modificati dalla politica. Poiché questi sono non osservati nei dati, le loro distribuzioni di tempo di attesa sono fornite dal giudizio dell'esperto (o da un LLM allineato).

Lo stimatore finale è la differenza media tra la LOS osservata e la LOS simulata controfattuale attraverso la popolazione.

2.3 Scalabilità con i Large Language Models (LLM)

Per rendere la egg-computation sostenibile su larga scala, gli autori hanno sviluppato una pipeline assistita da LLM per sostituire gli esperti umani in due passaggi critici:

• Passaggio 1: Costruzione del DAG: L'LLM legge note cliniche non strutturate e descrizioni di interventi per:
  • Determinare l'idoneità del paziente.
  • Costruire un DAG causale specifico per il paziente.
  • Classificare i nodi come Tipo I, II o III.
  • Implementazione: Una strategia di prompting in cinque fasi (ragionamento, estrazione nodi, estrazione archi, formattazione, validazione) garantisce un rigoroso ragionamento causale e previene le allucinazioni.
• Passaggio 2: Simulazione dei Tempi:
  • Per i nodi di Tipo II, l'LLM può essere utilizzato tramite In-Context Learning (ICL) per predire i tempi di attesa basandosi su casi storici simili, oppure possono essere utilizzati modelli di regressione standard.
  • Per i nodi di Tipo III, l'LLM viene istruito con specifiche dettagliate dell'intervento (inclusi esempi di tempi attesi) per campionare dalla distribuzione fornita dall'esperto $p_{expert}$.

3. Contributi Chiave

1. Framework Teorico: Il documento stabilisce il primo framework di identificazione causale per i diagrammi di Gantt, dimostrando che, sotto specifici assunti (Consistenza, Intervento Esogeno, Restrizione di Esclusione, Markov Locale e Accuratezza dell'Esperto), la media del tempo risparmiato è identificabile tramite una variante della g-computation.
2. Metodologia Ibrida: Introduce la "g-computation guidata da esperti", che assegna strategicamente i compiti: gli esperti (o gli LLM) gestiscono le componenti non identificabili (target dell'intervento), mentre i modelli di dati gestiscono le componenti identificabili (dipendenze a valle).
3. Pipeline LLM: Dimostra una pipeline pratica, basata su prompt, che scala il ragionamento dell'esperto, permettendo la generazione di DAG specifici per paziente e simulazioni controfattuali senza il riaddestramento del modello.
4. Validazione Empirica: Il framework è validato sia attraverso simulazioni che attraverso uno studio nel mondo reale presso un ospedale urbano di sicurezza sociale.

4. Risultati

4.1 Studi di Simulazione

In simulazioni in cui le strutture causali dei pazienti erano eterogenee (variabili dipendenze tra report di CT e MRI), la egg-computation ha superato significativamente i metodi convenzionali:

• Riduzione del Bias: I metodi che si affidavano a un singolo DAG condiviso incorrevano in grandi bias (fino a 14 ore) quando la struttura assunta era errata per la maggior parte dei pazienti.
• Accuratezza: La egg-computation utilizzando DAG specifici per paziente (estratti dall'LLM) e la propagazione esatta dei tempi ha raggiunto un bias pari a zero. Anche con modelli di tempo imperfetti (OLS o kNN), il bias rimaneva basso (< 0,4 ore) rispetto alla misspecificazione strutturale.

4.2 Valutazione nel Mondo Reale (Zuckerberg San Francisco General Hospital)

La pipeline è stata applicata a 11 candidati interventi di QI su 2.193 linee temporali di pazienti ricoverati.

• Concordanza dell'Esperto: I DAG generati dall'LLM hanno mostrato un'alta concordanza con gli esperti di QI umani.
  • Specificità per i target di intervento: ~96,5%.
  • Precisione per gli archi a valle: ~91,8–94,2%.
  • Impatto sulle Stime: Ricalcolare la egg-computation con i DAG generati dall'LLM rispetto ai DAG corretti dagli esperti ha prodotto una differenza media nella stima del tempo risparmiato di soli -2,6 a 8,1 ore, con 19 coppie su 24 che fornivano stime identiche.
• Performance del Modello di Tempo: L'In-Context Learning (ICL) utilizzando GPT-5 ha ottenuto il Mean Absolute Error più basso (24,1 ore) per la predizione dei tempi di attesa a valle, superando i modelli di regressione tradizionali (Random Forest, Ridge) e i baseline.
• Insight sulla Prioritizzazione:
  • Le classificazioni causali differivano significativamente dalle classificazioni basate solo sui tassi di idoneità. Ad esempio, "Escalation della risposta alla consulenza" è stato classificato al primo posto per impatto causale (18,9 ore risparmiate) nonostante avesse un'idoneità inferiore rispetto a "Priorità di imaging critica per la dimissione".
  • I clinici hanno trovato le classificazioni causali più allineate alla loro intuizione rispetto alle classificazioni basate sull'idoneità.
  • L'analisi ha rivelato difetti di progettazione negli interventi (ad esempio, la pianificazione della dimissione precoce era spesso bloccata da necessità mediche irrisolvibili), fornendo insight azionabili per la riprogettazione dell'intervento.

5. Significato e Rivendicazioni

Il documento afferma che la egg-computation fornisce un framework ampiamente applicabile per stimare il tempo medio risparmiato per interventi candidati dove i meccanismi causali possono essere rappresentati tramite diagrammi di Gantt.

• Colmare il Divario: Ha combinato con successo i punti di forza del ragionamento qualitativo (gestione di scenari ipotetici e meccanismi complessi) con il rigore quantitativo (eliminazione del confondimento e sfruttamento dei dati).
• Scalabilità: Sfruttando gli LLM, il framework rende il ragionamento guidato dall'esperto fattibile per la gestione su larga scala delle operazioni ospedaliere, superando i vincoli di risorse della revisione manuale dei grafici.
• Intelligenza Azionabile: Oltre a fornire un singolo numero, il metodo genera diagrammi di Gantt controfattuali che consentono ai clinici di auditare la plausibilità del ragionamento causale e comprendere perché un intervento potrebbe o meno funzionare, facilitando una migliore progettazione dell'intervento.

Gli autori concludono che, sebbene l'attenzione sia rivolta alla LOS ospedaliera, la metodologia è applicabile a qualsiasi dominio in cui le dipendenze tra i compiti e le tempistiche dei processi siano critiche e possano essere modellate tramite diagrammi di Gantt.