Causal Imitation Learning Under Measurement Error and Distribution Shift

1. Definição do Problema

O artigo aborda o aprendizado de imitação offline (IL - Offline Imitation Learning) em cenários onde dois desafios críticos coexistem:

1. Erro de Medição: O estado real relevante para a decisão não é observado diretamente. Em vez disso, o aprendiz observa proxies ruidosos (medições) de um componente de estado latente.
2. Mudança de Distribuição (Distribution Shift): A distribuição conjunta do estado latente e do processo de medição pode mudar entre o domínio de treinamento (onde as demonstrações do especialista foram coletadas) e o domínio de implantação.

Nesses regimes, o Behavioral Cloning (BC - Clonagem de Comportamento) padrão falha. O BC tipicamente aprende uma política $\pi(a|o)$ minimizando a probabilidade condicional observacional de ações dadas as observações. Os autores argumentam que, sob mudança de distribuição, essas correlações observacionais tornam-se espúrias. Especificamente:

• Condicionar em medições brutas ($\pi_{BC2}$) torna a política frágil a mudanças no mecanismo de medição (ex: mudanças na calibração de sensores).
• Ignorar medições e condicionar apenas nos estados observados ($\pi_{BC1}$) torna a política frágil a mudanças nas dinâmicas latentes ou nos kernels de transição de estado.
• Crucialmente, este viés é sistemático e não desaparece mesmo com dados infinitos ou trajetórias mais longas.

2. Metodologia

A. Estrutura Causal e Política Alvo

Os autores propõem uma nova política alvo, CausIL, definida não pelo condicionamento observacional, mas pela intervenção contrafactual.

• Modelo: O sistema consiste em um estado observado $S_t$, um estado latente $U_t$ (não observado), uma medição ruidosa $W_t$ (proxy para $U_t$) e uma ação do especialista $A_t$. O especialista age com base em $S_t$ e um estado latente atrasado $U_{t-1}$ (ou seja, $A_t \sim \pi_E(S_t, U_{t-1})$).
• Definição do Alvo: Em vez de imitar $p(A_t | S_t, W_{t-1})$, o objetivo é aprender a política causal-ótima $\pi_{opt}(s)$, que maximiza a probabilidade da ação do especialista sob a intervenção $do(S_t = s)$:
  $$\pi_{opt}(s) := \arg\max_{a \in \mathcal{A}} p(A_t^{(s)} = a)$$
  onde $A_t^{(s)}$ é o resultado potencial da ação se o estado fosse definido como $s$.
• Robustez: Este alvo depende apenas da distribuição marginal do estado latente $U_{t-1}$ e do mecanismo invariante do especialista $\pi_E$. É robusto a mudanças no canal de medição $p(W_{t-1}|U_{t-1})$ e, sob certas condições, robusto a mudanças nos kernels de transição de estado que preservam a distribuição marginal de $U_{t-1}$.

B. Identificação

Como $U_{t-1}$ não é observado, os autores derivam condições sob as quais $\pi_{opt}$ é identificável a partir de dados observacionais. Eles adaptam o framework de Inferência Causal Proximal (PCI - Proximal Causal Inference), tratando o estado observado defasado $Z_t = S_{t-1}$ como um "proxy indutor de tratamento" e a medição ruidosa $W_{t-1}$ como um "proxy indutor de resultado" para o confundidor latente $U_{t-1}$.

• Caso Discreto: A identificação é alcançada via inversão de matriz. Se os proxies $Z_t$ e $W_{t-1}$ forem suficientemente informativos (satisfazendo uma condição de posto/rank), a distribuição intervencional é identificada como:
  $$p(A_t^{(s)}) = P_{A|Z',s} (P_{W'|Z',s})^{-1} P_{W'}$$
  onde as matrizes $P$ representam probabilidades condicionais e marginais dos proxies.
• Caso Contínuo: A identificação baseia-se em pressupostos de completude e ponte de confusão (confounding bridge). Os autores mostram que existe uma "função ponte" $h_a(w, s)$ que satisfaz uma equação integral de Fredholm do primeiro tipo, ligando os dados observados à distribuição contrafactual:
  $$p(A_t^{(s)} = a) = \int h_a(w, s) p(w) dw$$

C. Estimação

O artigo propõe estimadores para ambos os cenários discretos e contínuos:

1. Estimador Discreto: Um estimador de plug-in usando frequências empíricas para construir as matrizes de probabilidade e realizar a inversão de matriz derivada no teorema de identificação.
2. Estimador Contínuo: Um procedimento de estimação adversarial sobre Espaços de Hilbert de Núcleo Reproduzível (RKHS). A função ponte $h_a$ é aprendida resolvendo um problema minimax regularizado (otimização de ponto de sela) que impõe a restrição de momento condicional $E[Y - h(W, S) | Z, S] = 0$.

3. Principais Contribuições

• Formulação Teórica: O artigo define formalmente o regime onde erro de medição e mudança de distribuição coexistem e demonstra que os alvos de BC padrão são fundamentalmente enviesados neste cenário.
• Alvo Causal: Introduz $\pi_{opt}$, uma política alvo que é robusta a mudanças no processo de medição e na dinâmica latente, desde que o mecanismo do especialista seja invariante.
• Resultados de Identificação: Fornece novas condições de identificação para IL offline com confundidores não observados e erro de medição, utilizando ideias de inferência causal proximal (especificamente o uso de estados defasados e medições ruidosas como proxies).
• Algoritmos: Desenvolve estratégias de estimação práticas para espaços de estados discretos e contínuos, incluindo uma solução de forma fechada para o caso discreto e um estimador adversarial baseado em RKHS para o caso contínuo.

4. Resultados Experimentais

Os autores avaliam o CausIL contra baselines padrão de BC ($\pi_{BC1}$ e $\pi_{BC2}$) em dois cenários:

1. Dados Longitudinais Semi-Simulados (PhysioNet 2019):

   • Configuração: Usando sinais vitais de UTI como estados observados ($S_t$) e níveis de lactato como um contexto latente atrasado ($U_t$). As ações do especialista (intensidade de suporte hemodinâmico) são simuladas com base em $S_t$ e $U_{t-1}$.
   • Mudanças (Shifts): O estudo introduz "mudanças de população" (diferentes composições de trajetórias) e "mudanças de medição" (mudanças no ruído/viés do proxy de lactato).
   • Resultado: O CausIL alcançou consistentemente um Erro Quadrático Médio (MSE) menor e permaneceu estável sob as mudanças. Em contraste, $\pi_{BC2}$ degradou drasticamente sob mudanças de medição, e $\pi_{BC1}$ mostrou aumento de erro sob mudanças de população.

2. Estudo de Simulação:

   • Configuração: Dados sintéticos gerados pelo modelo da Seção 2.
   • Resultado: Os experimentos confirmaram as alegações de robustez teórica. $\pi_{opt}$ permaneceu invariante quando o canal de medição mudou, enquanto $\pi_{BC2}$ falhou. Da mesma forma, $\pi_{opt}$ foi mais estável que $\pi_{BC1}$ quando os kernels de transição de estado mudaram, mas a distribuição marginal latente permaneceu fixa.

5. Significância e Alegações

O artigo afirma que o CausIL oferece uma solução fundamentada para o problema da "ilusão causal" no aprendizado de imitação offline quando os dados são ruidosos e os ambientes mudam.

• Robustez: A principal significância é a demonstração de que visar quantidades intervencionais (via identificação proximal) gera políticas que generalizam melhor para novos domínios do que alvos observacionais, mesmo sem sinais de recompensa ou consultas interativas ao especialista.
• Praticidade: O método funciona em cenários totalmente offline, o que é crítico para domínios de alto risco, como suporte à decisão em UTIs e robótica, onde a exploração interativa é impossível ou perigosa.
• Limitações: A abordagem depende de pressupostos específicos de identificação (ex: existência de proxies válidos e condições de posto/completude). Os autores observam que estas condições não são triviais, mas são satisfeitas em muitos cenários práticos envolvendo estados latentes atrasados e sensores ruidosos.

Os autores concluem que, em ambientes realistas e mutáveis com erro de medição, aprender políticas a partir de demonstrações puramente observacionais exige ir além da clonagem de comportamento para estruturas causais que modelam explicitamente a relação entre estados latentes, proxies e ações.