Causal Imitation Learning Under Measurement Error and Distribution Shift

1. Definizione del Problema

Il documento affronta l'apprendimento per imitazione offline (offline IL) in scenari in cui coesistono due sfide critiche:

1. Errore di Misurazione: Lo stato reale rilevante per la decisione non è osservato direttamente. Invezione, il discente osserva proxy rumorosi (misurazioni) di una componente dello stato latente.
2. Spostamento della Distribuzione (Distribution Shift): La distribuzione congiunta dello stato latente e del processo di misurazione può cambiare tra il dominio di addestramento (dove vengono raccolte le dimostrazioni dell'esperto) e il dominio di deployment.

In tali regimi, il Behavioral Cloning (BC) standard fallisce. Il BC apprende tipicamente una policy $\pi(a|o)$ minimizzando la probabilità condizionale osservazionale delle azioni date le osservazioni. Gli autori sostengono che, sotto spostamento di distribuzione, queste correlazioni osservazionali diventano spurie. Nello specifico:

• Condizionare sulle misurazioni grezze ($\pi_{BC2}$) rende la policy fragile rispetto ai cambiamenti nel meccanismo di misurazione (ad esempio, spostamenti nella calibrazione dei sensori).
• Ignorare le misurazioni e condizionare solo sugli stati osservati ($\pi_{BC1}$) rende la policy fragile rispetto ai cambiamenti nelle dinamiche latenti o nei kernel di transizione dello stato.
• Fondamentalmente, questo bias è sistematico e non svanisce nemmeno con dati infiniti o traiettorie più lunghe.

2. Metodologia

A. Framework Causale e Target Policy

Gli autori propongono una nuova policy target, CausIL, definita non tramite condizionamento osservazionale, ma tramite intervento controfattuale.

• Modello: Il sistema consiste in uno stato osservato $S_t$, uno stato latente $U_t$ (non osservato), una misurazione rumorosa $W_t$ (proxy di $U_t$) e un'azione dell'esperto $A_t$. L'esperto agisce sulla base di $S_t$ e di uno stato latente ritardato $U_{t-1}$ (ovvero, $A_t \sim \pi_E(S_t, U_{t-1})$).
• Definizione del Target: Invece di imitare $p(A_t | S_t, W_{t-1})$, l'obiettivo è apprendere la policy causalmente ottimale $\pi_{opt}(s)$, che massimizza la probabilità dell'azione dell'esperto sotto l'intervento $do(S_t = s)$:
  $$\pi_{opt}(s) := \arg\max_{a \in \mathcal{A}} p(A_t^{(s)} = a)$$
  dove $A_t^{(s)}$ è l'esito potenziale dell'azione se lo stato fosse impostato su $s$.
• Robustezza: Questo target dipende solo dalla distribuzione marginale dello stato latente $U_{t-1}$ e dal meccanismo invariante dell'esperto $\pi_E$. È robusto agli spostamenti nel canale di misurazione $p(W_{t-1}|U_{t-1})$ e, in determinate condizioni, robusto agli spostamenti nei kernel di transizione dello stato che preservano la distribuzione marginale di $U_{t-1}$.

B. Identificazione

Poiché $U_{t-1}$ non è osservato, gli autori derivano le condizioni sotto le quali $\pi_{opt}$ è identificabile partendo dai soli dati osservazionali. Essi adattano il framework della Proximal Causal Inference (PCI), trattando lo stato osservato ritardato $Z_t = S_{t-1}$ come un "proxy induttore di trattamento" e la misurazione rumorosa $W_{t-1}$ come un "proxy induttore di esito" per il confonditore latente $U_{t-1}$.

• Caso Discreto: L'identificazione è ottenuta tramite inversione di matrici. Se i proxy $Z_t$ e $W_{t-1}$ sono sufficientemente informativi (soddisfacendo una condizione di rango), la distribuzione interventiva è identificata come:
  $$p(A_t^{(s)}) = P_{A|Z',s} (P_{W'|Z',s})^{-1} P_{W'}$$
  dove le matrici $P$ rappresentano le probabilità condizionate e marginali dei proxy.
• Caso Continuo: L'identificazione si basa sulle assunzioni di completezza (completeness) e ponte di confondimento (confounding bridge). Gli autori dimostrano che esiste una "funzione ponte" $h_a(w, s)$ che soddisfa un'equazione integrale di Fredholm del primo tipo, collegando i dati osservati alla distribuzione controfattuale:
  $$p(A_t^{(s)} = a) = \int h_a(w, s) p(w) dw$$

C. Stima

Il documento propone stimatori sia per il caso discreto che per quello continuo:

1. Stimatore Discreto: Un estimatore plug-in che utilizza frequenze empiriche per costruire le matrici di probabilità ed eseguire l'inversione di matrice derivata dal teorema di identificazione.
2. Stimatore Continuo: Una procedura di stima avversaria su spazi di Hilbert riproducibili (RKHS). La funzione ponte $h_a$ viene appresa risolvendo un problema minimax regolarizzato (ottimizzazione di punto di sella) che impone il vincolo del momento condizionato $E[Y - h(W, S) | Z, S] = 0$.

3. Contributi Chiave

• Formulazione Teorica: Il documento definisce formalmente il regime in cui coesistono errore di misurazione e spostamento di distribuzione e dimostra che i target del BC standard sono fondamentalmente distorti in questo contesto.
• Target Causale: Introduce $\pi_{opt}$, una policy target che è robusta ai cambiamenti sia nel processo di misurazione che nelle dinamiche latenti, a patto che il meccanismo dell'esperto sia invariante.
• Risultati di Identificazione: Fornisce nuove condizioni di identificazione per l'IL offline con confonditori non osservati e errore di misurazione, sfruttando le idee della causalità prossimale (specificamente l'uso di stati ritardati e misurazioni rumorose come proxy).
• Algoritmi: Sviluppa strategie di stima pratiche sia per spazi di stato discreti che continui, includendo una soluzione in forma chiusa per il caso discreto e uno stimatore avversario basato su RKHS per il caso continuo.

4. Risultati Sperimentali

Gli autori valutano CausIL rispetto alle basi standard di BC ($\pi_{BC1}$ e $\pi_{BC2}$) in due scenari:

1. Dati Longitudinali Semi-Simulati (PhysioNet 2019):

   • Setup: Utilizzo di parametri vitali della terapia intensiva come stati osservati ($S_t$) e livelli di lattato come contesto latente ritardato ($U_t$). Le azioni dell'esperto (intensità del supporto emodinamico) sono simulate sulla base di $S_t$ e $U_{t-1}$.
   • Spostamenti (Shifts): Lo studio introduce "spostamenti di popolazione" (composizioni di traiettoria differenti) e "spostamenti di misurazione" (cambiamenti nel rumore/bias del proxy del lattato).
   • Risultato: CausIL ha ottenuto costantemente un Errore Quadratico Medio (MSE) inferiore e si è mantenuto stabile attraverso gli spostamenti. Al contrario, $\pi_{BC2}$ è degradata drasticamente sotto gli spostamenti di misurazione, mentre $\pi_{BC1}$ ha mostrato un aumento dell'errore sotto gli spostamenti di popolazione.

2. Studio di Simulazione:

   • Setup: Dati sintetici generati dal modello descritto nella Sezione 2.
   • Risultato: Gli esperimenti hanno confermato le affermazioni di robustezza teorica. $\pi_{opt}$ è rimasta invariante quando il canale di misurazione è cambiato, mentre $\pi_{BC2}$ è fallita. Allo stesso modo, $\pi_{opt}$ è stata più stabile di $\pi_{BC1}$ quando i kernel di transizione dello stato sono cambiati, ma la distribuzione marginale latente è rimasta fissa.

5. Significato e Rivendicazioni

Il documento sostiene che CausIL offre una soluzione rigorosa al problema della "delusione causale" nell'apprendimento per imitazione offline quando i dati sono rumorosi e gli ambienti cambiano.

• Robustezza: Il significato primario è la dimostrazione che il targeting di quantità interventive (tramite identificazione prossimale) produce policy che generalizzano meglio a nuovi domini rispetto ai target osservazionali, anche senza segnali di ricompensa o query interattive all'esperto.
• Praticità: Il metodo funziona in contesti completamente offline, il che è critico per domini ad alto rischio come l'assistenza sanitaria (ad esempio, supporto decisionale in terapia intensiva) e la robotica, dove l'esplorazione interattiva è impossibile o pericolosa.
• Limitazioni: L'approccio si basa su specifiche assunzioni di identificazione (ad esempio, l'esistenza di proxy validi e le condizioni di rango/completezza). Gli autori notano che queste condizioni non sono banali, ma sono soddisfatte in molti scenari pratici che coinvolgono stati latenti ritardati e sensori rumorosi.

Gli autori concludono che, in ambienti realistici e variabili con errori di misurazione, l'apprendimento di policy da dimostrazioni puramente osservazionali richiede di andare oltre il behavioral cloning verso framework causali che modellino esplicitamente la relazione tra stati latenti, proxy e azioni.