Conformal e-prediction in the presence of confounding

Este artigo estende a predição e-conformal para lidar com situações de confusão observada entre o objeto aleatório e seu rótulo, considerando tanto cenários de dados independentes e identicamente distribuídos (IID) quanto casos que permitem dependência entre as observações.

O essencial

Imagine que você é um médico tentando prever se um paciente vai se recuperar de uma doença. Você tem dados de milhares de pacientes do passado: o que eles comeram (X), se tinham uma condição pré-existente (Z) e se se recuperaram (Y).

O problema é que, no mundo real, as coisas são bagunçadas. A condição pré-existente (Z) afeta tanto o que o paciente come (X) quanto se ele se recupera (Y). Isso é chamado de confusão. Se você apenas olhar os dados, pode achar que "comer maçã" cura a doença, quando na verdade é apenas porque quem come maçã também tem uma condição leve (Z) que facilita a cura.

Agora, imagine que você quer fazer uma intervenção: "E se eu obrigar todos os pacientes a comerem maçã (definir X = maçã)? O que acontece com a recuperação (Y)?"

Este artigo de Vladimir Vovk e Ruodu Wang é como um manual de instruções para fazer essa previsão com segurança, mesmo quando os dados do passado são confusos e não seguem regras perfeitas.

Aqui está a explicação simplificada, passo a passo:

1. O Problema: A Ilusão da Causa

Normalmente, os métodos de previsão (como os usados em Inteligência Artificial) assumem que os dados são como bolas de bilhar saindo de uma máquina: sempre iguais e independentes (IID). Mas na medicina ou economia, isso raramente é verdade.

Se você tentar prever o resultado de uma intervenção (como dar um remédio novo) apenas olhando para dados observacionais, você pode se enganar porque não consegue separar o efeito do remédio do efeito da condição pré-existente do paciente.

2. A Solução: O "Detetive de Confusão" (Conformal e-prediction)

Os autores criaram uma ferramenta chamada Conformal e-prediction. Pense nela como um detector de mentiras estatístico.

• A Metáfora do Detetive: Imagine que você tem um detetive que analisa os dados antigos. Ele sabe que a condição pré-existente (Z) atrapalha a visão. Então, ele "corta" o fio que liga a condição pré-existente à escolha do tratamento. Ele simula mentalmente um mundo onde ele força todos a receberem o tratamento (X = maçã), ignorando como eles escolheram isso no passado.
• O "E-Variable" (A Moeda da Verdade): O método gera um número especial chamado "e-variável". Pense nisso como uma moeda de aposta.
  • Se a sua previsão estiver errada, essa moeda vale muito pouco.
  • Se a sua previsão estiver certa (ou seja, se o modelo estiver alinhado com a realidade causal), a moeda vale muito.
  • O grande truque matemático do artigo é provar que, mesmo se você estiver errado, o valor médio dessa "moeda" nunca vai explodir. Ela tem um teto. Isso garante que você não vai perder a aposta (ou seja, não vai fazer uma previsão catastrófica).

3. Duas Situações de Jogo

O artigo cobre dois cenários principais:

Cenário A: O Jogo Justo (Dados IID)

Imagine que você tem uma pilha de fichas de dados geradas aleatoriamente. Você usa uma fórmula simples (uma média ponderada) para estimar a chance de cura.

• A Regra de Ouro: O artigo mostra que, se você usar essa estimativa para fazer uma previsão, a chance de errar é controlada matematicamente. Se você definir um nível de segurança alto (digamos, 99%), o método garante que você estará certo pelo menos 99% das vezes, mesmo com dados confusos.

Cenário B: O Jogo Sujo (Estratégias Não Estáveis)

Aqui é onde fica interessante. E se o "jogador" que escolhe o tratamento (X) não for aleatório? E se for um médico experiente que escolhe o tratamento baseado em tudo o que viu até agora?

• A Analogia do Xadrez: Imagine que você está jogando xadrez contra um computador. O computador (o tratamento X) não joga aleatoriamente; ele joga baseado em todas as jogadas anteriores.
• O artigo prova que, mesmo nesse cenário complexo, onde o tratamento é escolhido de forma inteligente (e não aleatória), o seu "detector de mentiras" (o e-variável) ainda funciona! Ele continua garantindo que suas previsões sobre o futuro (Y) sejam seguras, desde que você considere todo o histórico passado.

4. O Resultado Prático: "Zonas de Segurança"

No final, o método não diz apenas "o paciente vai morrer" ou "vai viver". Ele desenha um círculo de segurança (uma região de previsão).

• Se você quer saber se um paciente específico vai morrer (um evento raro e terrível), o método diz: "Com base nos dados, a probabilidade de morte é tão baixa que podemos descartar essa possibilidade com segurança".
• Se o método não conseguir descartar a morte, ele avisa: "Cuidado, os dados são ambíguos, não podemos garantir que ele vai viver".

Resumo em uma frase

Este artigo ensina como usar dados do passado, cheios de confusões e escolhas estratégicas, para prever o futuro de uma intervenção médica ou social, garantindo matematicamente que você não vai fazer uma aposta perigosa sem saber dos riscos. É como ter um paraquedas estatístico que abre automaticamente se você tentar prever algo que os dados não suportam.

Resumo técnico

Resumo Técnico: Conformal e-prediction na Presença de Confundimento

1. Problema e Contexto

O artigo aborda um desafio fundamental na interseção entre inferência causal e predição estatística com garantias de validade finita: como realizar previsões confiáveis sobre o resultado de uma intervenção (definir uma variável $X$ para um valor $x$) quando os dados observacionais disponíveis contêm confundimento.

• Cenário: Existe uma variável de tratamento $X$, uma variável de resultado $Y$ e uma variável de confundimento $Z$. A relação causal é representada pelo grafo $Z \to X \to Y$ e $Z \to Y$.
• Desafio: Os dados disponíveis provêm de um estudo observacional (onde $X$ não é controlado aleatoriamente, mas influenciado por $Z$). O objetivo é prever a distribuição de $Y$ sob a intervenção $do(X=x)$ (o modelo "mutilado" onde o arco $Z \to X$ é removido).
• Limitação das Abordagens Clássicas: A predição conformal padrão assume sequências de observações independentes e identicamente distribuídas (IID) e não lida diretamente com a mudança de distribuição causada por intervenções em presença de confundimento.

2. Metodologia

Os autores propõem uma extensão da predição e-conformal (conformal e-prediction) para lidar com este cenário causal. A metodologia divide-se em dois casos principais:

A. Cenário IID (Seção 2)
Assume-se que os dados observacionais $(X_n, Y_n, Z_n)$ são gerados por uma medida de probabilidade $P$ IID.

1. Definição do Alvo: O objetivo é estimar $p_y = P(Y=y | do(X=x))$, que é a probabilidade de $Y=y$ no modelo causal intervenido.
2. Estimador (Fy): Os autores definem um estimador $F_y$ para $p_y$ baseado na frequência empírica dos dados, utilizando uma regularização de Laplace (adicionando "+1" aos contadores) para evitar divisões por zero:
   $$F_y = \sum_{z \in Z} \frac{|\{n : Z_n = z\}| + 1}{N + 1} \times \frac{|\{n : (X_n, Y_n, Z_n) = (x, y, z)\}| + 1}{|\{n : (X_n, Z_n) = (x, z)\}| + 1}$$
   Este estimador combina a distribuição marginal de $Z$ com a distribuição condicional de $Y$ dado $X$ e $Z$.
3. Variável e (e-variable): O principal resultado técnico é a prova de que a razão entre a probabilidade real $p_y$ e a estimativa $F_y$ tem esperança menor ou igual a 1:
   $$E\left[\frac{p_y}{F_y}\right] \leq 1$$
   Isso permite construir uma variável e (e-variable) para testar hipóteses sobre o resultado futuro $Y_{N+1}$.

B. Cenário sem Mecanismo Estocástico Estável para X (Seção 3)
Reconhece-se que, em inferência causal, a suposição de que $X_n$ é gerado por um mecanismo estocástico estável pode ser irrealista, pois $X$ pode ser escolhido por uma estratégia não trivial (não estocástica) baseada no histórico.

• Interpretação "Y-Oblivious": Os autores consideram um cenário onde $X_n$ pode depender de todo o histórico de $X$ e $Z$ anteriores, mas não depende dos resultados passados $Y$ (ou seja, a escolha de $X$ é "cega" para $Y$).
• Resultado: Sob esta interpretação (onde o histórico passado $past_n$ contém apenas $X_i, Z_i$), o lema fundamental (que $E[p_y/F_y] \leq 1$) continua a valer, permitindo a aplicação da mesma metodologia de predição.

3. Contribuições Principais

1. Extensão da Predição Conformal para Causalidade: O trabalho generaliza a predição conformal para cenários de inferência causal com confundimento, fornecendo garantias de validade para o efeito causal de $X$ sobre $Y$.
2. Garantias de Amostra Finita: Diferente de métodos assintóticos, as regiões de predição propostas oferecem garantias rigorosas para qualquer tamanho de amostra $N$.
3. Regiões de Predição e (e-prediction regions): Definição de regiões de predição $\Gamma_\alpha$ baseadas em variáveis e. Para um nível de significância $\alpha$, a região é definida como:
   $$\Gamma_\alpha := \left\{ y \in \mathcal{Y} : \frac{Q(\{y\})}{F_y} < \alpha \right\}$$
   onde $Q$ é uma medida de probabilidade alternativa (ex: uniforme ou concentrada em um evento raro).
4. Valididade Forte: A propriedade de validade é expressa pela integral da probabilidade de erro: $\int_0^\infty P(Y \notin \Gamma_\alpha) d\alpha \leq 1$. Isso implica que a probabilidade de erro em qualquer nível $\alpha$ é no máximo $1/\alpha$ (via desigualdade de Markov), mas a condição integral é uma garantia mais forte.
5. Generalização do Critério Back-Door: O método é facilmente extensível a grafos causais mais complexos que satisfazem o critério back-door de Pearl, onde $Z$ representa um conjunto de variáveis de ajuste.

4. Resultados Chave

• Lema 1 e Corolário 2: Estabelecem que o estimador $F_y$ é um "super-estimador" no sentido de que a razão $p_y/F_y$ é uma variável e. Isso permite rejeitar hipóteses nulas com controle de erro rigoroso.
• Aplicação a Eventos Críticos: O método é particularmente útil para excluir resultados indesejados (ex: "morte do paciente"). Se $F_{y^*}$ for pequeno (indicando baixa probabilidade estimada para o evento $y^*$), pode-se afirmar com alta confiança que $Y \neq y^*$.
• Robustez à Estratégia de X: O método mantém validade mesmo quando a variável de tratamento $X$ não é gerada por um processo estocástico fixo, desde que a escolha de $X$ não dependa dos resultados passados $Y$ (interpretação Y-oblivious).

5. Significado e Implicações

• Validade em Pequenas Amostras: Em cenários onde dados experimentais (RCTs) são caros ou impossíveis, e apenas dados observacionais estão disponíveis, este método oferece uma ferramenta para fazer previsões causais com garantias estatísticas rigorosas, sem depender de grandes amostras para convergência.
• Ponte entre Causalidade e Aprendizado de Máquina: O trabalho conecta a teoria de "randomness prediction" (predição de aleatoriedade) com a inferência causal, oferecendo uma abordagem alternativa ao cálculo do do de Pearl para problemas de predição.
• Direções Futuras: Os autores apontam que o método pode ser adaptado para regressão (intervalos de confiança para $Y$ contínua) e que a regularização usada (o "+1") pode ser otimizada para constantes menores, melhorando a eficiência das regiões de predição.

Em suma, o artigo fornece um framework matemático robusto para realizar predições causais válidas em presença de confundimento, utilizando a estrutura de variáveis e para garantir que as taxas de erro sejam controladas em qualquer tamanho de amostra.