Resumo Técnico: Otimização de Política Contrafactual Robusta via Modelos Causais Não Determinísticos

1. Definição do Problema

A inferência contrafactual em processos de decisão sequencial busca determinar quais resultados teriam ocorrido caso uma política diferente tivesse sido executada, dado um conjunto observado de estados, ações e resultados. Isso é crítico em domínos de segurança crítica, como a saúde, onde repetir experimentos costuma ser antiético ou inviável.

Abordagens existentes para inferência contrafactual em Processos de Decisão de Markov (MDPs) tipicamente modelam o ambiente como um Modelo Causal Estrutural Determinístico (SCM). Neste framework, toda a aleatoriedade é atribuída a variáveis latentes não observadas ($U$). No entanto, os MDPs do mundo real são inerentemente estocásticos; a aleatoriedade frequentemente surge de duas fontes distintas:

1. Confundimento Latente: Fatores não observados (ex: genética ou demografia do paciente) que influenciam as transições.
2. Estocasticidade Irredutível: Aleatoriedade fundamental do sistema (ex: geradores de números aleatórios ou ruído agregado) que não pode ser reduzida a variáveis latentes.

O artigo aborda a lacuna onde ambas as fontes coexistem. Os SCMs padrão falham em distinguir entre elas, podendo atribuir erroneamente o ruído irredutível ao confundimento latente ou vice-versa. Os autores propõem formalizar a otimização de política contrafactual sob Modelos Causais Probabilísticos Não Determinísticos (PNSCMs), que permitem estocasticidade inerente enquanto explicitamente limitam a influência de confundidores latentes via análise de sensibilidade.

2. Metodologia

2.1 Modelos Causais Probabilísticos Não Determinísticos (PNSCMs)

Os autores modelam o ambiente como um PNSCM, substituindo equações estruturais determinísticas por distribuições de probabilidade condicional. Uma característica fundamental dos PNSCMs é o refinamento atualizado: dada uma configuração observada $(u, v)$, a distribuição condicional $P_X$ é refinada para retornar deterministicamente o resultado observado $x$ quando dados os pais observados, enquanto retém sua natureza probabilística para outros inputs. Isso captura a semântica de que aprendemos apenas o mecanismo causal a partir da configuração real, não das possibilidades contrafactuais.

2.2 Framework de Análise de Sensibilidade

Para lidar com confundidores globais não observados ($U$) que permanecem fixos ao longo de uma trajetória, os autores empregam uma abordagem de análise de sensibilidade semelhante a Kausik et al. [2024].

• Parâmetro de Sensibilidade ($\Delta$): A influência da variável latente $U$ é limitada por um parâmetro $\Delta \ge 1$. Isso restringe a razão de chances (odds ratio) entre a probabilidade de transição condicional $P(S' = s' | S = s, A = a, U = u)$ e a probabilidade de transição marginal $P(S' = s' | S = s, A = a)$:
  $$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$$
  • $\Delta = 1$: Sem confundimento (PNSCM totalmente especificado).
  • $\Delta \to \infty$: Máximo confundimento.

2.3 Calibragem de Sensibilidade ($\Delta$)

Um grande desafio é selecionar $\Delta$ sem conhecimento de domínio. O artigo propõe um método principiado para derivar um limite superior para $\Delta(s, a)$ a partir de variáveis de estado observadas:

1. Ocultação de Variáveis: Para cada variável de estado observada $i$, os autores computam a distribuição de transição $P(s' | s_{-i}, a)$ marginalizando sobre $i$.
2. Cálculo da Razão de Chances: Eles calculam a razão de chances máxima entre a transição completa e a transição marginalizada para cada variável.
3. Seleção de Proxy: A sensibilidade $\Delta(s, a)$ é definida como o máximo dessas razões entre todas as variáveis. Um fator de escala $\Gamma$ pode ser aplicado para ajustar o rigor do limite.

2.4 Procedimento de Otimização

O objetivo é encontrar uma política $\pi$ que maximize o valor contrafactual de pior caso $V^{CF}$ sob a incerteza de $U$.

• Refinamento Atualizado em Contrafatuais: Para uma transição observada $(s_t, a_t, s_{t+1})$, a probabilidade de transição contrafatual $P^{CF}_t$ é uma mistura: com probabilidade $P(U=u|\tau)$, a transição é determinística (permanecendo em $s_{t+1}$); caso contrário, segue a probabilidade de transição otimizada $\tilde{P}$.
• Otimização Desacoplada: Para tornar o problema tratável, os autores desacoplam a otimização através dos passos de tempo e pares estado-ação, tratando cada trio $(t, s, a)$ de forma independente. Isso resulta em um limite inferior conservador do verdadeiro valor pessimista.
• Formulação Adversária: A otimização envolve um adversário que seleciona conjuntamente o posterior $P(U|\tau)$ e as probabilidades de transição $\tilde{P}$ para minimizar o valor, sujeito às restrições de sensibilidade. Este problema não convexo é resolvido usando Gurobi.
• Homogeneidade Temporal: O artigo observa que incorporar homogeneidade temporal (exigindo transições consistentes ao longo do tempo) cria um acoplamento trilinear solucionável via gradiente descendente, embora isso garanta apenas mínimos locais.

3. Avaliação Experimental

A abordagem foi validada em um Simulador de Tratamento de Sepse (Oberst e Sontag, 2019).

• Configuração: O espaço de estados inclui sinais vitais (frequência cardíaca, pressão arterial, etc.). O espaço de ações envolve alternar tratamentos.
• Confundidor: O status de diabetes ($U \in \{0, 1\}$) atua como um confundidor latente global, afetando 20% da população. A matriz de transição verdadeira $P(S' | S, A, U)$ é conhecida para avaliação, mas oculta durante a derivação da política.
• Dados: O método utiliza trajetórias geradas por uma política subótima (ótima com probabilidade 0.5, aleatória caso contrário) na matriz de transição marginalizada (onde o diabetes está oculto).

Resultados Principais

1. Melhoria Robusta: As políticas contrafactuais derivadas ($\pi^*_\Delta$) superaram consistentemente a política subótima observada quando avaliadas no MDP totalmente observado (onde o diabetes é conhecido).
2. Precisão do Proxy:
   • Para trajetórias diabéticas, o proxy não escalonado ($\Gamma=1$) aproximou-se fortemente do desempenho "oráculo" (o melhor resultado possível se a verdadeira sensibilidade $\Delta^*$ fosse conhecida).
   • Para trajetórias não diabéticas, o proxy foi conservador (superestimando o confundimento), levando a estimativas de valor menores que o oráculo. No entanto, as políticas resultantes permaneceram próximas ao desempenho do oráculo, demonstrando que o método recupera políticas robustas mesmo quando as estimativas de valor são conservadoras.
3. Sensibilidade a $\Gamma$: O ajuste do fator de escala $\Gamma$ permitiu que os autores calibrassem o equilíbrio entre a precisão da estimativa de valor e a robustez da política.

4. Principais Contribuições

• Formalização: O artigo formaliza a otimização de política contrafactual para MDPs sob PNSCMs, separando explicitamente o confundimento latente da estocasticidade irredutível.
• Framework de Sensibilidade: Propõe um problema de otimização prático para identificar políticas contrafactuais robustas usando um framework de análise de sensibilidade que limita a influência da variável latente.
• Método de Calibragem: Introduz um método baseado em dados para calibrar o parâmetro de sensibilidade $\Delta$ usando variáveis de estado observadas, reduzindo a dependência de conhecimento especializado de domínio.
• Validação Empírica: Demonstra que políticas contrafactuais robustas podem ser derivadas e validadas em um simulador de saúde realista com confundidores globais ocultos.

5. Significância e Alegações

Os autores alegam que este trabalho fornece o primeiro problema de otimização prático para identificar políticas contrafactuais robustas sob um framework de análise de sensibilidade dentro de PNSCMs. A significância reside em abordar a limitação das abordagens de SCM determinístico existentes, que não conseguem modelar adequadamente ambientes com estocasticidade inerente.

O artigo conclui que as políticas derivadas são robustas quando avaliadas no ambiente verdadeiro e totalmente especificado, mesmo quando o parâmetro de sensibilidade é estimado a partir de dados observados. Os autores notam modestamente que, embora a otimização desacoplada forneça um limite inferior válido, trabalhos futuros são necessários para explorar restrições de homogeneidade temporal e diferentes tipos de variáveis latentes (ex: confundidores sem memória) para obter estimativas de valor mais precisas.