Robust Counterfactual Inference in Markov Decision Processes

Questo articolo propone un nuovo approccio non parametrico che calcola in modo efficiente e scalabile limiti rigorosi per le probabilità di transizione controfattuali in tutti i modelli causali compatibili con un Processo Decisionale di Markov, permettendo così l'identificazione di politiche robuste che ottimizzano la ricompensa nel caso peggiore senza assumere un modello causale specifico.

L'essenziale

Immagina di essere un allenatore di calcio che guarda la registrazione di una partita appena finita. La squadra ha perso. Tu guardi il video e ti chiedi: "E se, invece di tirare al centro, avessimo passato la palla a sinistra? Avremmo vinto?".

Questa è l'essenza del ragionamento controfattuale: chiedersi "cosa sarebbe successo se..." basandosi su ciò che è realmente accaduto.

Il problema, però, è che nel mondo reale (e specialmente in sistemi complessi come l'intelligenza artificiale che guida un'auto o cura un paziente), non esiste una sola risposta a questa domanda. Potrebbero esserci molte versioni diverse della realtà nascosta dietro quel singolo evento. Se scegliamo la versione sbagliata, la nostra spiegazione potrebbe essere fuorviante e pericolosa.

Ecco di cosa parla questo paper, spiegato come se stessimo chiacchierando al bar.

1. Il Problema: La "Sfera di Cristallo" Inaffidabile

Fino ad ora, gli scienziati che studiavano queste situazioni (chiamati Processi Decisionali di Markov o MDP) usavano una "sfera di cristallo" fissa. Immagina di avere un unico modello matematico che dice: "Se avessi fatto X invece di Y, il risultato sarebbe stato Z".

Il problema è che questa sfera di cristallo è spesso inventata. Ci sono infinite sfere di cristallo diverse che sono tutte compatibili con quello che abbiamo visto, ma che danno risposte diverse su cosa sarebbe successo.

• L'analogia: È come se guardassi un incidente stradale e dicessi: "Se il semaforo fosse stato verde, l'auto sarebbe passata". Ma forse il semaforo non c'entra nulla, forse era la nebbia. Se ti inventi una storia (un modello causale) sbagliata, la tua spiegazione è inutile.

2. La Soluzione: La "Busta di Sicurezza"

Gli autori di questo paper dicono: "Non indovinare una sola storia. Considera tutte le storie possibili che sono coerenti con i fatti".

Invece di darti un numero preciso (es. "Avresti vinto con il 70% di probabilità"), il loro metodo ti dà una busta di sicurezza (un intervallo).

• L'analogia: Invece di dire "Il tempo sarà di 20 gradi", dicono: "Il tempo sarà tra i 15 e i 25 gradi". È meno preciso, ma è sicuro. Sai che la verità è lì dentro.

3. Il Trucco Matematico: Da "Calcolo Impossibile" a "Formula Rapida"

Fino a ieri, calcolare questa "busta di sicurezza" per sistemi complessi era come cercare di risolvere un puzzle di un milione di pezzi mentre qualcuno ti spinge giù da una scala. Richiedeva calcoli così enormi che i computer ci mettevano giorni o settimane.

Gli autori hanno scoperto un trucco geniale. Hanno dimostrato che, nel caso specifico dei processi decisionali (come un agente che impara a giocare), non serve risolvere quel puzzle gigante. Esiste una formula matematica diretta (una "chiave inglese" pronta all'uso) che ti dà i bordi della busta di sicurezza in un batter d'occhio.

• Il risultato: Il loro metodo è da 4 a 250 volte più veloce dei metodi precedenti. È come passare dal disegnare una mappa a mano a usare un GPS istantaneo.

4. La Strategia "Pessimista" (o "Il Cinghiale")

Una volta che hai la tua "busta di sicurezza" (sai che la probabilità di successo è tra il 20% e l'80%), come decidi cosa fare?
Il loro metodo adotta un approccio da cinghiale prudente: "Assumiamo il caso peggiore possibile all'interno della nostra busta".

• Se la busta dice che potresti vincere (80%) o perdere (20%), il loro algoritmo si comporta come se la probabilità di vittoria fosse solo il 20%.
• Perché? Perché in campi critici come la medicina o la guida autonoma, è meglio essere prudenti. Se il tuo piano funziona anche nel "caso peggiore", allora è robusto. Non crollerà se la realtà si rivela essere la versione più sfortunata delle possibili.

5. Perché è Importante?

Immagina un medico che usa un'IA per decidere una terapia.

• Metodo vecchio: L'IA dice: "Se cambiassimo il farmaco, il paziente guarirebbe al 90%". Ma se il modello causale era sbagliato, quel 90% è una bugia.
• Metodo nuovo: L'IA dice: "Se cambiassimo il farmaco, la guarigione è garantita tra il 40% e il 95%". Anche nel caso peggiore (40%), il paziente ha buone probabilità. Il medico può prendere una decisione sicura, sapendo che il sistema non sta "sognando" ad occhi aperti.

In Sintesi

Questo paper è come aver trovato un modo per trasformare un'ipotesi rischiosa in una scorta di sicurezza.

1. Smettono di indovinare una storia su cosa sarebbe successo.
2. Calcolano velocemente tutte le storie possibili (la busta).
3. Creano una strategia che funziona anche nella storia più brutta di tutte.

È un passo fondamentale per rendere l'intelligenza artificiale più affidabile, specialmente quando sbagliare costa caro (come in un ospedale o in un aereo).

Sommario tecnico

1. Il Problema

L'inferenza controfattuale nei Processi Decisionali di Markov (MDP) mira a stimare cosa sarebbe accaduto se un agente avesse intrapreso azioni diverse rispetto a quelle osservate, dato un percorso specifico. Questo è cruciale per la valutazione offline delle politiche (Off-Policy Evaluation - OPE) e per generare spiegazioni in domini critici come la sanità.

Tuttavia, il paper identifica una limitazione fondamentale nelle metodologie esistenti:

• Non Identificabilità Causale: Per rendere le distribuzioni controfattuali identificabili, i metodi attuali (come l'uso del modello SCM Gumbel-max) assumono un modello causale specifico del sistema.
• Ambiguità del Modello: Spesso esistono molti modelli causali diversi che sono tutti compatibili con le distribuzioni osservate e interventive di un MDP, ma che producono probabilità controfattuali molto diverse.
• Rischi: Affidarsi a un singolo modello causale (es. Gumbel-max) può portare a conclusioni inaccurate e poco robuste, specialmente in ambienti ad alta incertezza o critici per la sicurezza, dove un errore di stima può avere conseguenze gravi.
• Inefficienza Computazionale: I metodi di "inferenza controfattuale parziale" (che calcolano limiti invece di valori puntuali) esistenti, come quello di Zhang et al., richiedono la risoluzione di problemi di ottimizzazione con un numero di vincoli che cresce esponenzialmente con la dimensione dell'MDP, rendendoli impraticabili per sistemi su larga scala.

2. Metodologia

Gli autori propongono un approccio non parametrico che calcola limiti stretti (bounds) sulle probabilità di transizione controfattuali considerando tutti i modelli causali compatibili con i dati osservati, senza assumere un modello specifico a priori.

La metodologia si articola in tre fasi principali:

A. Ottimizzazione tramite SCM Canonici

Il lavoro si basa sul framework degli Structural Causal Models (SCM) canonici di Zhang et al. [42]. Invece di risolvere un problema di ottimizzazione lineare complesso, gli autori dimostrano che nel contesto degli MDP (senza confondenti non osservati), questo problema si riduce a soluzioni analitiche esatte in forma chiusa.
Per derivare questi limiti, introducono due assunzioni ragionevoli per restringere lo spazio dei modelli possibili e ottenere limiti informativi (evitando limiti banali come [0, 1]):

1. Stabilità Controfattuale (Counterfactual Stability): Se un esito osservato è più probabile rispetto a un altro sotto una specifica azione, questo ordine di probabilità dovrebbe essere mantenuto o rafforzato in scenari controfattuali, a meno che le probabilità relative non cambino drasticamente.
2. Monotonia Controfattuale (Counterfactual Monotonicity): Se un esito è stato osservato, la sua probabilità controfattuale non può diminuire rispetto alla probabilità nominale; se un esito possibile non è stato osservato, la sua probabilità controfattuale non può aumentare.

B. Costruzione di MDP Controfattuali a Intervalli (ICFMDP)

Utilizzando le formule analitiche derivate, gli autori costruiscono un Interval Counterfactual MDP (ICFMDP). In questo modello, ogni probabilità di transizione non è un valore singolo, ma un intervallo $[P^{LB}, P^{UB}]$ che racchiude tutte le probabilità possibili compatibili con i dati e le assunzioni.

C. Politiche Robuste

Per derivare una politica ottimale da questo ICFMDP incerto, applicano l'Iterazione del Valore Pessimistica (Pessimistic Value Iteration). L'obiettivo è massimizzare la ricompensa attesa nel caso peggiore (worst-case) all'interno dell'intervallo di probabilità. Questo garantisce che la politica risultante sia robusta rispetto all'incertezza del modello causale sottostante.

3. Contributi Chiave

1. Riduzione Analitica: Dimostrano matematicamente che il problema di ottimizzazione per i limiti controfattuali negli MDP si riduce a espressioni analitiche chiuse, eliminando la necessità di risolvere problemi di ottimizzazione esponenzialmente complessi.
2. Efficienza Computazionale: Grazie alle formule in forma chiusa, il metodo è estremamente veloce.
3. Robustezza: Propongono una nuova classe di politiche controfattuali che ottimizzano il rendimento nel caso peggiore, garantendo performance minime accettabili indipendentemente dal vero modello causale (tra quelli compatibili).
4. Flessibilità: Il framework è modulare; le assunzioni di stabilità e monotonia possono essere rimosse se non applicabili a un dominio specifico, adattandosi a vari scenari.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo su quattro ambienti benchmark: GridWorld (con diversi livelli di stocasticità), Sepsis (decisioni cliniche), Frozen Lake e Aircraft (controllo critico).

• Velocità: Il metodo proposto è 4-251 volte più veloce rispetto all'approccio basato su Gumbel-max SCM, che richiede campionamento Monte Carlo per stimare le probabilità.
• Robustezza:
  • Le politiche derivate dall'ICFMDP mostrano una maggiore robustezza rispetto all'incertezza del modello causale rispetto alle politiche basate su Gumbel-max.
  • In scenari critici (es. percorsi quasi catastrofici), il metodo proposto evita deviazioni rischiose che potrebbero portare a ricompense molto basse, mantenendo invece un rendimento garantito.
  • Nei test di valutazione offline (OPE), i limiti inferiori e superiori calcolati dal metodo contengono correttamente la ricompensa reale attesa, confermando l'accuratezza dei bounds.
• Impatto delle Assunzioni: L'analisi mostra che l'aggiunta delle assunzioni di stabilità e monotonia restringe leggermente i limiti delle probabilità (rendendoli più informativi) senza escludere modelli causali plausibili, migliorando la qualità delle politiche robuste.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'affidabilità dell'Intelligenza Artificiale in contesti di sicurezza critica (es. sanità, controllo aereo).

• Superamento dell'Arbitrarietà: Elimina la dipendenza da assunzioni causali arbitrarie (come il Gumbel-max) che potrebbero non riflettere la realtà fisica o biologica del sistema.
• Scalabilità: Rende fattibile l'inferenza controfattuale robusta su MDP di grandi dimensioni, un compito precedentemente proibitivo a causa della complessità computazionale.
• Sicurezza: Fornisce un framework per prendere decisioni basate su scenari controfattuali che sono garantiti per essere sicuri anche nel caso peggiore, offrendo spiegazioni più affidabili su come migliorare le politiche di un agente.

In sintesi, il paper trasforma l'inferenza controfattuale da un esercizio basato su ipotesi specifiche a un processo matematicamente rigoroso e computazionalmente efficiente, capace di gestire l'incertezza intrinseca dei modelli causali in processi decisionali sequenziali.