Sintesi Tecnica: Come un Decisore Bayesiano Apprende dal Supporto Decisionale basato su IA

Definizione del Problema

I sistemi di Supporto Decisionale tramite Machine Learning (ML-DS) sono sempre più impiegati in domini ad alto rischio come la sanità e la magistratura per assistere gli agenti umani. Sebbene questi sistemi forniscano previsioni basate su dati storici, il meccanismo attraverso il quale gli agenti umani razionali incorporano tali previsioni nei propri processi decisionali rimane scarsamente compreso. Nello specifico, manca un quadro quantitativo che descriva come un agente aggiorni le proprie credenze riguardo a una popolazione e ai meccanismi causali sottostanti (ad esempio, gli effetti del trattamento) dopo aver osservato una previsione ML.

Esiste una lacuna critica nella comprensione di come le credenze a priori di un agente riguardo al processo di generazione dei dati e ai dati di addestramento del modello ML influenzino l'utilità del sistema ML-DS. Come illustrato dagli esempi motivazionali del documento, previsioni ML identiche possono portare ad azioni diametralmente opposte a seconda che l'agente creda che i dati di addestramento consistessero di pazienti trattati o non trattati. Inoltre, non è chiaro se una credenza a priori disallineata possa causare a un agente razionale di prendere decisioni subottimali anche quando il modello ML è ben specificato.

Metodologia: Il Framework dell'Agente a 2 Fasi

Gli autori propongono un framework computazionale generale, l'Agente a 2 Fasi, per modellare l'interazione tra un agente bayesiano e un sistema ML-DS. Il framework consiste in due fasi distinte:

1. Aggiornamento della Credenza Bayesiana (Fase 1)

L'agente non osserva i dati di addestramento grezzi, ma riceve una previsione ($Pred_o$) per una nuova osservazione ($X_o$) da un modello addestrato su dati storici ($D_{Hist}$).

• Modello del Mondo dell'Agente ($A_{Hist}$): L'agente mantiene un modello probabilistico del mondo che include credenze sulle distribuzioni a livello di popolazione (covariate, rumore del trattamento, rumore dell'esito) e sul meccanismo causale (effetto del trattamento). Fondamentalmente, questo modello codifica anche le credenze sul processo di addestramento del modello ML, inclusi la dimensione del set di addestramento e la classe del modello.
• Inferenza: Dopo aver osservato $X_o$ e $Pred_o$, l'agente esegue un aggiornamento bayesiano. La previsione è trattata come informazione compressa sulle variabili latenti dei dati di addestramento. L'agente inferisce la distribuzione a posteriori dei parametri a livello di popolazione (specificamente il rumore dell'effetto del trattamento $N_E$ e i parametri della politica storica) ragionando attraverso la "piastra" di variabili di addestramento intercambiabili.
• Soluzione di Trattabilità: Gli autori affrontano l'intrattabilità computazionale della propagazione dell'inferenza attraverso una grande piastra di variabili intercambiabili. Per un contesto Gaussiano Lineare, dimostrano (Teorema 2.8) che la verosimiglianza dei parametri del modello ML può essere ridotta a una funzione delle variabili a livello di popolazione e di un piccolo insieme di statistiche sufficienti (specificamente $O(k^2)$ statistiche per $k$ confonditori). Questa riduzione permette un campionamento efficiente della distribuzione a posteriori senza simulare l'intero dataset storico.

2. Inferenza Causale e Decisione (Fase 2)

Utilizzando le credenze a posteriori aggiornate dalla Fase 1, l'agente stima l'Effetto Medio del Trattamento Condizionale (CATE) per il nuovo paziente.

• Modello di Inferenza ($A_{Inf}$): L'agente estrae campioni dalla distribuzione a posteriori dei parametri del modello causale strutturale (SCM).
• Regola Decisionale: L'agente calcola il CATE atteso attraverso la distribuzione dei possibili SCM. Se il beneficio atteso di un trattamento specifico supera una soglia $\tau$, l'agente seleziona quel trattamento; altrimenti, seleziona l'alternativa.

Il framework quantifica l'impatto del ML-DS confrontando gli esiti a valle ($Y$) degli agenti con e senza supporto decisionale, definiti come $E_{Hist}(Y | do(A = ML\text{-}DS)) - E_{Hist}(Y | do(A = no\ ML\text{-}DS))$.

Setup Sperimentale

Gli autori hanno implementato il framework utilizzando PyMC per simulare un caso d'uso clinico:

• Scenario: Un contesto di regressione univariata in cui il peso corporeo di un paziente ($X$) influenza il dosaggio della chemioterapia ($A$) e i mesi di sopravvivenza ($Y$).
• Agenti: Agenti simulati con "prior corretti" (coerenti con il vero processo di generazione dei dati) e agenti con prior disallineati (deviazioni sistematiche nelle credenze riguardanti l'effetto del trattamento, la politica di trattamento storica o la distribuzione delle covariate).
• Confronto: Lo studio confronta gli esiti per gli agenti che utilizzano il ML-DS (serie arancione) rispetto a quelli che si affidano esclusivamente ai propri prior (serie blu) al variare dei gradi di disallineamento del prior.

Risultati Chiave

1. Apprendimento dal ML-DS: Quando la credenza a priori di un agente riguardo all'effetto del trattamento ($N_E$) è disallineata ma tutte le altre credenze sono corrette, l'agente può apprendere con successo dalla previsione ML. L'aggiornamento bayesiano corregge la credenza, portando a stime del CATE migliori e a esiti a valle superiori rispetto al non utilizzare il ML-DS.
2. Il Pericolo dei Prior Disallineati: Il documento dimostra che un singolo prior disallineato è sufficiente a degradare le prestazioni del ML-DS.
   • Se l'agente detiene credenze errate sulla politica di trattamento storica ($\alpha_{A\mu}$), l'interazione con il ML-DS può portare a stime errate del CATE. L'agente tenta di riconciliare la previsione ML con il proprio prior errato, risultando in scelte di trattamento subottimali e in esiti peggiori rispetto a quelli che si otterrebbero ignorando il supporto ML.
   • Effetti negativi simili sono stati osservati quando gli agenti detenevano prior disallineati riguardo alla distribuzione delle covariate ($\alpha_{X\mu}$) o alla distribuzione dell'esito ($\alpha_{Y\mu}$).
3. Correlazione a Posteriori: Il processo di apprendimento si manifesta come una correlazione nelle credenze a posteriori dell'agente. Quando una previsione contraddice le aspettative, l'agente ipotizza molteplici scenari (ad esempio, il trattamento è meno efficace di quanto pensato, OPPURE i dosaggi storici erano più elevati di quanto assunto), creando una dipendenza tra l'effetto del trattamento inferito e la politica storica inferita.

Significato e Rivendicazioni

Il documento afferma di fornire il primo framework esplicito per analizzare l'interazione tra un agente bayesiano e un ML-DS, modellando specificamente come un agente apprenda il processo di generazione dei dati da una previsione ML.

• Contributo Teorico: La derivazione di una soluzione trattabile per l'inferenza bayesiana attraverso variabili di addestramento intercambiabili (Teorema 2.8) consente la simulazione di dinamiche di apprendimento precedentemente computazionalmente proibitive.
• Contributo Empirico: Lo studio fornisce prove quantitative del fatto che il ML-DS può fare più male che bene anche in condizioni ideali (dove il modello è ben specificato e l'agente è perfettamente razionale). Il determinante principale del successo è l'allineamento delle credenze a priori dell'agente con la realtà dei dati di addestramento.
• Implicazione Pratica: I risultati sottolineano l'importanza critica di fornire una documentazione completa dei dati di addestramento e dei protocolli agli utenti del ML-DS. Senza un corretto allineamento dei prior (ad esempio, attraverso la formazione o la documentazione), l'introduzione del supporto IA può portare a esiti a valle dannosi.

Gli autori notano che i loro risultati sono generalizzabili a qualsiasi campo che impiega modelli di previsione per il supporto decisionale, sebbene l'attuale implementazione sia limitata a modelli lineari "treatment-naive" e interazioni a singolo step. È identificata la necessità di lavori futuri per esplorare modelli ML causali, effetti del trattamento eterogenei e interazioni ripetute.