Sintesi Tecnica: Ottimizzazione Robusta di Politiche Controfattuali tramite Modelli Causali Nondeterministici

1. Definizione del Probleamento

L'inferenza controfattuale nel processo decisionale sequenziale mira a determinare quali risultati si sarebbero verificati se fosse stata eseguita una politica differente, dati un'osservata traiettoria di stati, azioni e risultati. Ciò è critico in domini sensibili alla sicurezza come l'assistenza sanitaria, dove rieseguire esperimenti può essere non etico o impraticabile.

Gli approcci esistenti all'inferenza controfattuale nei Processi Decisionali di Markov (MDP) tipicamente modellano l'ambiente come un Modello Causale Strutturale Deterministico (SCM). In questo framework, tutta la casualità è attribuita a variabili latenti non osservate ($U$). Tuttavia, gli MDP del mondo reale sono intrinsecamente stocastici; la casualità spesso deriva da due fonti distinte:

1. Confondimento Latente: Fattori non osservati (es. genetica o demografia del paziente) che influenzano le transizioni.
2. Stocasticità Irriducibile: Casualità fondamentale nel sistema (es. generatori di numeri casuali o rumore aggregato) che non può essere ridotta a variabili latenti.

Il presente lavoro affronta il divario in cui entrambe le fonti coesistono. Gli SCM standard non riescono a distinguere tra queste, rischiando di attribuire erroneamente il rumore irriducibile al confondimento latente o viceversa. Gli autori propongono di formalizzare l'ottimizzazione di politiche controfattuali sotto Modelli Causali Probabilistici Nondeterministi (PNSCM), che permettono una stocasticità intrinseca pur delimitando esplicitamente l'influenza dei confonditori latenti tramite analisi di sensibilità.

2. Metodologia

2.1 Modelli Causali Probabilistici Nondeterministici (PNSCM)

Gli autori modellano l'ambiente come un PNSCM, sostituendo le equazioni strutturali deterministiche con distribuzioni di probabilità condizionate. Una caratteristica chiave dei PNSCM è il raffinamento attualizzato: dato un setting osservato $(u, v)$, la distribuzione condizionata $P_X$ viene raffinata per restituire deterministicamente l'esito osservato $x$ quando forniti i genitori osservati, mantenendo la sua natura probabilistica per altri input. Ciò cattura la semantica secondo cui apprendiamo solo il meccanismo causale dal setting effettivo, non dalle possibilità controfattuali.

2.2 Framework di Analisi di Sensibilità

Per gestire i confonditori globali non osservati ($U$) che rimangono fissi durante una traiettoria, gli autori impiegano un approccio di analisi di sensibilità simile a Kausik et al. [2024].

• Parametro di Sensibilità ($\Delta$): L'influenza della variabile latente $U$ è limitata da un parametro $\Delta \ge 1$. Questo vincola l'odds ratio tra la probabilità di transizione condizionata $P(s' | s, a, u)$ e la probabilità di transizione marginale $P(s' | s, a)$:
  $$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$$
  • $\Delta = 1$: Nessun confondimento (PNSCM completamente specificato).
  • $\Delta \to \infty$: Massimo confondimento.

2.3 Calibrazione della Sensibilità ($\Delta$)

Una sfida maggiore è la selezione di $\Delta$ in assenza di conoscenza del dominio. Il documento propone un metodo rigoroso per derivare un limite superiore per $\Delta(s, a)$ dalle variabili di stato osservate:

1. Occultamento delle Variabili: Per ogni variabile di stato osservata $i$, gli autori calcolano la distribuzione di transizione $P(s' | s_{-i}, a)$ marginalizzando su $i$.
2. Calcolo dell'Odds Ratio: Calcolano l'odds ratio massimo tra la transizione completa e la transizione marginalizzata per ogni variabile.
3. Selezione del Proxy: La sensibilità $\Delta(s, a)$ è impostata come il massimo di questi rapporti attraverso tutte le variabili. Un fattore di scala $\Gamma$ può essere applicato per regolare la rigidità del limite.

2.4 Procedura di Ottimizzazione

L'obiettivo è trovare una politica $\pi$ che massimizzi il valore controfattuale peggiore $V^{CF}$ sotto l'incertezza di $U$.

• Raffinamento Attualizzato nei Controfattuali: Per una transizione osservata $(s_t, a_t, s_{t+1})$, la probabilità di transizione controfattuale $P^{CF}_t$ è un mix: con probabilità $P(U=u|\tau)$, la transizione è deterministica (rimane in $s_{t+1}$); altrimenti segue la probabilità di transizione ottimizzata $\tilde{P}$.
• Ottimizzazione Decoppiata: Per rendere il problema trattabile, gli autori decoppiano l'ottimizzazione attraverso i passi temporali e le coppie stato-azione, trattando ogni terna $(t, s, a)$ indipendentemente. Ciò produce un limite inferiore conservativo sul vero valore pessimistico.
• Formulazione Avversaria: L'ottimizzazione coinvolge un avversario che seleziona congiuntamente la distribuzione a posteriori $P(U|\tau)$ e le probabilità di transizione $\tilde{P}$ per minimizzare il valore, soggetto ai vincoli di sensibilità. Questo problema non convesso è risolto utilizzando Gurobi.
• Omogeneità Temporale: Il documento nota che l'incorporazione dell'omogeneità temporale (che richiede transizioni coerenti nel tempo) crea un accoppiamento trilineare risolvibile tramite discesa del gradiente, sebbene ciò garantisca solo minimi locali.

3. Valutazione Sperimentale

L'approccio è stato validato su un Simulatore di Trattamento della Sepsi (Oberst e Sontag, 2019).

• Setup: Lo spazio degli stati include parametri vitali (frequenza cardiaca, pressione sanguigna, ecc.). Lo spazio delle azioni prevede l'attivazione/disattivazione dei trattamenti.
• Confonditore: Il diabete ($U \in \{0, 1\}$) agisce come un confonditore globale latente, influenzando il 20% della popolazione. La vera matrice di transizione $P(S' | S, A, U)$ è nota per la valutazione, ma nascosta durante la derivazione della politica.
• Dati: Il metodo utilizza traiettorie generate da una politica subottimale (ottimale con probabilità 0.5, altrimenti casuale) sulla matrice di transizione marginalizzata (dove il diabete è nascosto).

Risultati Chiave

1. Miglioramento Robusto: Le politiche controfattuali derivate ($\pi^*_\Delta$) hanno costantemente superato la politica subottimale osservata quando valutate sull'MDP completamente osservato (dove il diabete è noto).
2. Accuratezza del Proxy:
   • Per le traiettorie diabetiche, il proxy non scalato ($\Gamma=1$) ha corrisposto strettamente alle prestazioni dell' "oracolo" (il miglior risultato possibile se la vera sensibilità del diabete $\Delta^*$ fosse stata nota).
   • Per le traiettorie non diabetiche, il proxy è stato conservativo (sovrastimando il confondimento), portando a stime di valore inferiori rispetto all'oracolo. Tuttavia, le politiche risultanti sono rimaste vicine alle prestazioni dell'oracolo, dimostrando che il metodo recupera politiche robuste anche quando le stime del valore sono conservative.
3. Sensibilità a $\Gamma$: L'aggiustamento del fattore di scala $\Gamma$ ha permesso agli autori di modulare il compromesso tra accuratezza della stima del valore e robustezza della politica.

4. Contributi Principali

• Formalizzazione: Il documento formalizza l'ottimizzazione di politiche controfattuali per gli MDP sotto i PNSCM, separando esplicitamente il confondimento latente dalla stocasticità irriducibile.
• Framework di Sensibilità: Propone un problema di ottimizzazione pratico per identificare politiche controfattuali robuste utilizzando un framework di analisi di sensibilità che delimita l'influenza della variabile latente.
• Metodo di Calibrazione: Introduce un metodo basato sui dati per calibrare il parametro di sensibilità $\Delta$ utilizzando le variabili di stato osservate, riducendo la dipendenza dalla conoscenza esperta del dominio.
• Validazione Empirica: Dimostra che possono essere derivate politiche controfattuali robuste e validate su un realistico simulatore sanitario con confonditori globali nascosti.

5. Significato e Rivendicazioni

Gli autori affermano che questo lavoro fornisce il primo problema di ottimizzazione pratico per identificare politiche controfattuali robuste all'interno di un framework di analisi di sensibilità nei PNSCM. La significatività risiede nel colmare la limitazione degli approoli SCM deterministici esistenti, che non possono modellare correttamente ambienti con stocasticità intrinseca.

Il documento conclude che le politiche derivate sono robuste quando valutate sull'ambiente reale e completamente specificato, anche quando il parametro di sensibilità è stimato dai dati osservati. Gli autori notano con modestia che, sebbene l'ottimizzazione decoppiata fornisca un limite inferiore valido, futuri lavori sono necessari per esplorare i vincoli di omogeneità temporale e diversi tipi di variabili latenti (es. confonditori senza memoria) per ottenere stime di valore più accurate.