Learning Under Treatment-Induced Label Indeterminacy with Expert Annotations of Counterfactual Outcomes: A Case Study in Neurological Prognostication

Sintesi Tecnica: Apprendimento sotto Indeterminazione del Label indotta dal Trattamento

Formulazione del Problema
Il documento affronta un limite fondamentale nella modellazione predittiva clinica noto come indeterminazione del label indotta dal trattamento. Nella classica apprendimento supervisionato, si assume che l'esito target sia chiaramente osservabile per ogni paziente. Tuttavia, in contesti ad alto rischio come la prognosi neurologica post-arresto cardiaco, le decisioni terapeutiche (specificamente la sospensione o la limitazione delle terapie di supporto vitale, WLST) o eventi terminali competitivi (ad esempio, la disfunzione multiorgano) possono oscurare permanentemente l'esito clinicamente rilevante (recupero neurologico).

Ciò crea un dataset suddiviso in due sottogruppi distinti:

1. Casi Certi: Pazienti i cui esiti sono direttamente osservati (ad esempio, il riacquisto della coscienza o il decesso senza previa limitazione del trattamento). Questi forniscono label supervisionati validi.
2. Casi Incerti: Pazienti i cui esiti sono stati resi indeterminati dalle decisioni terapeutiche. Per questi pazienti, il "vero" esito controfattuale (ciò che sarebbe accaduto se il trattamento fosse continuato) è inosservabile.

La sfida centrale è che le metriche di valutazione standard (come l'AUROC) calcolate solo sui casi certi non riescono a catturare il comportamento del modello sui casi incerti—proprio la popolazione per la quale il supporto prognostico è più critico. Inoltre, le strategie che assegnano ai casi incerti lo stesso label degli esiti negativi osservati (ad esempio, il decesso) portano i modelli a imparare i pattern del processo decisionale dei medici (quando avviene la WLST) piuttosto che il vero potenziale di recupero.

Metodologia
Gli autori propongono un framework che distingue esplicitamente tra casi certi e incerti sia durante l'addestramento che durante la valutazione, utilizzando le valutazioni degli esperti per guidare il processo di apprendimento per i casi incerti.

• Dati e Valutazioni degli Esperti: Lo studio utilizza una coorte retrospettiva di 2.497 pazienti post-arresto cardiaco (1.068 certi, 1.429 incerti). Per i casi incerti, gli autori sfruttano le valutazioni controfattuali strutturate di esperti clinici indipendenti (3–5 per paziente). Queste valutazioni sono trattate come pseudo-label imperfetti (riferimenti informati dagli esperti) piuttosto che come verità assoluta (ground truth).
• Architettura del Modello: Il modello primario è una rete neurale a singola testa progettata per predire la probabilità di un recupero neurologico favorevole.
• Obiettivo di Addestramento: Gli autori introducono una funzione obiettivo a due parametri per controllare il compromesso tra l'adattamento ai dati osservati e l'allineamento con le credenze degli esperti:
  • $L_{certain}$: Binary cross-entropy pesata sui casi certi. Un peso $\omega_{bad} \ge 1$ viene applicato ai casi con esito negativo osservato per controllare l'influenza della regione a bassa probabilità.
  • $L_{align}$: Un termine di errore quadratico medio (MSE) sui casi incerti, che misura la differenza tra la predizione del modello e la probabilità aggregata derivata dagli esperti ($\tilde{p}_j$). Un iperparametro $\lambda_{align} \ge 0$ controlla la forza di questo allineamento.
  • Loss Totale: $L(\theta) = L_{certain}(\theta) + \lambda_{align} L_{align}(\theta)$.
• Framework di Valutazione: Il documento propone una strategia di valutazione divisa (split evaluation):
  • Casi Certi: Valutati utilizzando metriche standard (AUROC e punteggio di Brier) rispetto agli esiti binari osservati.
  • Casi Incerti: Valutati utilizzando l'Errore Assoluto Medio (MAE) rispetto alle probabilità di riferimento aggregate degli esperti.
  • Analisi del Compromesso: I modelli non sono selezionati in base a un singolo scalare metrico, ma sono analizzati lungo la frontiera del compromesso tra l'accuratezza della probabilità nei casi certi (punteggio di Brier) e l'allineamento nei casi incerti (MAE).

Contributi Chiave

1. Formalizzazione dell'Indeterminazione del Label: Il documento formalizza la modellazione predittiva in cui i label target differiscono qualitativamente tra i sottogruppi della popolazione (esiti osservati vs ipotesi controfattuali degli esperti).
2. Framework di Valutazione Divisa: Introduce un framework che valuta i modelli su due assi: discriminazione/accuratezza standard sui casi certi e allineamento con la credenza dell'esperto sui casi incerti. Ciò rivela modalità di errore nascoste dalle metriche aggregate.
3. Caratterizzazione Empirica dei Compromessi: Attraverso esperimenti con baseline tabulari (XGBoost, Random Forest) e reti neurali, gli autori dimostrano che modelli con simile AUROC sui casi certi possono esibire comportamenti profondamente diversi sui casi incerti.
4. Controllo Esplicito del Compromesso: Il proposto obiettivo neurale a due parametri ($\omega_{bad}$ e $\lambda_{align}$) permette ai professionisti di navigare esplicitamente il compromesso tra l'adattamento ai dati osservati e l'allineamento con le credenze controfattuali degli esperti.

Risultati

• Il Gap Nascosto: Modelli con quasi identico AUROC sui casi certi (ad esempio, 0.882 vs 0.884) hanno mostrato differenze drammatiche nei punteggi di Brier dei casi certi (0.116 vs 0.407) e nel MAE dei casi incerti (0.410 vs 0.053). Ciò indica che la performance di ranking (AUROC) maschera una significativa miscalibrazione nelle stime di probabilità.
• La Frontiera del Compromesso: Migliorare l'allineamento con le ipotesi degli esperti sui casi incerti (riducendo il MAE dei casi incerti) comporta generalmente un costo in termini di minore accuratezza della probabilità sui casi certi (punteggio di Brier più elevato).
• Posizionamento della Probabilità: I modelli standard "solo osservati" assegnavano probabilità di recupero relativamente alte ai casi incerti, sovrapponendosi significativamente ai casi "certi positivi". L'incorporazione dell'allineamento con l'esperto ha spostato verso il basso le predizioni dei casi incerti, separandoli meglio dai risultati favorevoli ma comprimendo la scala di probabilità.
• Confronto con le Baseline: Le baseline tabulari (XGBoost) hanno esibito lo stesso pattern di compromesso delle reti neurali, suggerendo che il fenomeno sia guidato dalla struttura del label piuttosto che dalla specifica architettura del modello.

Significatività e Rivendicazioni
Il documento si posiziona principalmente come un framework di formulazione del problema e di valutazione piuttosto che come un contributo algoritmico originale. La sua principale significatività risiede nel dimostrare che:

• Le metriche di valutazione convenzionali focalizzate esclusivamente sui casi certi sono insufficienti in contesti con indeterminazione del label indotta dal trattamento.
• Il "modo di fallimento" in questi contesti è spesso l'errata collocazione della probabilità (miscalibrazione) sulla sottopopolazione più critica (casi incerti), che risulta invisibile all'AUROC.
• Non esiste un unico modello "migliore"; esiste invece una scelta di design esplicita riguardo a quanto peso dare agli esiti osservati rispetto alle credenze controfattuali degli esperti.
• Le ipotesi degli esperti sugli esiti controfattuali, sebbene imperfette, servono come supervisione necessaria per studiare e migliorare il comportamento del modello sui casi incerti.

Gli autori dichiarano esplicitamente di non pretendere di recuperare le vere probabilità controfattuali del ground truth o di risolvere l'indeterminazione del label in generale. Inve veste, forniscono un metodo per utilizzare le valutazioni degli esperti, accuratamente elicitate, per rendere esplicito e navigabile il compromesso tra la performance osservata e l'allineamento controfattuale per i professionari.