Resumo Técnico: Seleção de Covariáveis Adaptável ao Ambiente (EACS)

Declaração do Problema

O artigo aborda uma lacuna crítica na predição Fora da Distribuição (OOD): a falha empírica de estratégias que restringem estritamente os modelos a covariáveis causais ou invariantes. Embora fundamentadas teoricamente no princípio de que os mecanismos causais permanecem estáveis entre ambientes, tal seleção "apenas causal" frequentemente apresenta desempenho inferior ao ERM (Minimização do Risco Empírico) padrão na prática.

Os autores identificam o principal mecanismo para essa falha como a presença de pais causais não observados. Quando apenas um subconjunto dos pais causais de um resultado é observado, covariáveis não causais frequentemente atuam como proxies para esses pais não observados.

• O Trade-off: Se a relação entre a proxy e o pai não observado permanecer estável sob um deslocamento de distribuição, incluir a proxy melhora a precisidade da predição. No entanto, se o deslocamento perturbar diretamente a proxy ou interromper a relação proxy-pai, a proxy torna-se espúria e prejudica o desempenho.
• O Desafio Central: O conjunto ideal de covariáveis não é universal; ele depende do tipo específico de deslocamento encontrado. Como o tipo de deslocamento não é observado diretamente, o desafio é determinar, baseando-se apenas na distribuição de covariáveis não rotuladas do ambiente alvo, se uma covariável proxy permanece confiável ou tornou-se prejudicial.

Metodologia: Seleção de Covariáveis Adaptável ao Ambiente (EACS)

A solução proposta, Environment-Adaptive Covariate Selection (EACS), é um algoritmo que aprende um mapeamento de resumos de nível de ambiente da distribuição de covariáveis para o subconjunto ideal de covariáveis para aquele ambiente específico.

1. Estrutura e Premissas

• Modelo Causal: Os dados são modelados via um Modelo Causal Estrutural (SCM) com um resultado $Y$, pais causais observados $C_s$, pais causais não observados $U$ e covariáveis não causais observadas $X$ (que podem ser proxies de $U$).
• Classe de Deslocamento (Shift Class): Os ambientes diferem via intervenções nas covariáveis $(C_s, U, X)$, enquanto a equação estrutural para $Y$ permanece invariante.
• Condição de Otimalidade: O subconjunto ideal de covariáveis $z^*(e)$ é uma função da intervenção $i(e)$. O EACS visa aprender um seletor $g$ que mapeia uma representação do ambiente $u_e$ para $z^*(e)$.

2. Componentes do Algoritmo

O EACS consiste em duas etapas principais:

1. Representação do Ambiente ($u_e$): Um resumo da distribuição de covariáveis do alvo. Isso pode ser:
   • Manual (Hand-crafted): Estatísticas simples (ex: variâncias, correlações) derivadas de conhecimento de domínio (como demonstrado no exemplo de execução).
   • Aprendido (Learned): Representações aprendidas a partir de dados de múltiplos ambientes usando codificadores invariantes à permutação (ex: DeepSets) para capturar características distributivas complexas.
2. Seletor ($g$): Um modelo que mapeia $u_e$ para um subconjunto de covariáveis. O artigo propõe duas implementações:
   • Seletor Discreto: Seleciona de uma biblioteca finita de subconjuntos candidatos $\mathcal{Z}$. É treinado minimizando o risco empírico do subconjunto selecionado através dos ambientes de treinamento. Esta versão oferece garantias teóricas e interpretabilidade.
   • Seletor de Portão Suave (Soft-Gating/Contínuo): Produz um vetor de portão contínuo $\tilde{z}_e \in (0, 1)^p$ aplicado elemento a elemento às covariáveis. A rede preditora e a rede de portão são treinadas conjuntamente para minimizar o risco médio do ambiente. Esta versão escala para configurações de alta dimensão onde a enumeração de subconjuntos é inviável.

3. Incorporação de Restrições Causais

A estrutura permite a integração de conhecimento causal prévio. Se um subconjunto de covariáveis $S$ é conhecido como sendo pais causais, a biblioteca de candidatos é restrita para incluir apenas subconjuntos que contenham $S$. Isso reduz o espaço de busca e melhora o desempenho, particularmente quando os tamanhos de amostra são pequenos.

4. Garantias Teóricas

Para o seletor discreto, o artigo estabelece limites de amostra finita para o excesso de risco. O erro se decompõe em:

• Erro de estimação dentro do ambiente: Diminui com o tamanho da amostra $n$ e o tamanho da biblioteca $|\mathcal{Z}|$.
• Erro de seleção entre ambientes: Diminui com o número de ambientes de treinamento $m$ e a complexidade (complexidade de Rademacher) da classe do seletor.
  Os autores provam a otimalidade assintótica sob condições onde a representação do ambiente é informativa o suficiente para distinguir entre intervenções que exigem diferentes subconjuntos de covariáveis.

Principais Contribuições

1. Identificação de Mecanismo: O artigo identifica os pais causais não observados como um mecanismo específico que causa a falha da seleção puramente causal. Demonstra que proxies não causais não são inerentemente espúrias, mas sim condicionalmente úteis dependendo do deslocamento.
2. Utilidade da Proxy Dependente do Deslocamento: Estabelece que a utilidade de uma proxy é dependente do deslocamento e que assinaturas observáveis na distribuição de covariáveis não rotuladas (ex: mudanças na estrutura de variância ou correlação) podem diagnosticar a confiabilidade da proxy.
3. Algoritmo EACS: A proposta de uma estrutura unificada que aprende regras de seleção de covariáveis específicas para cada ambiente. Ela preenche a lacuna entre a seleção causal estática e o ERM ao se adaptar às assinaturas distributivas do ambiente alvo.
4. Validação Teórica e Empírica: Os autores fornecem garantias teóricas para o seletor discreto e demonstram ganhos empíricos sobre baselines estáticos causais, invariantes e não adaptativos através de diversos deslocamentos.

Resultados Empíricos

O método foi avaliado em simulações e dois conjuntos de dados do mundo real:

• Simulações: O EACS aproxima-se do desempenho de um preditor "oráculo" (que conhece o subconjunto ideal para cada deslocamento) quando há suficientes ambientes de treinamento e resumos informativos disponíveis. Supera métodos causais e invariantes estáticos quando os deslocamentos perturbam as relações de proxy.
• Conjunto de Dados de Compartilhamento de Bicicletas (Bike-Sharing): Em um cenário com muitos ambientes (dias), mas poucas amostras por ambiente, o EACS alcançou o menor Erro Quadrático Médio (MSE) entre os baselines (incluindo Lasso, Anchor Regression e Invariant Causal Prediction). Notavelmente, o ICP falhou ao rejeitar todos os subconjuntos, colapsando para um modelo de apenas intercepto.
• Conjunto de Dados ACS Income: Em um cenário de alta dimensão com menos ambientes (estados), mas muitas amostras, a variante de portão suave (soft-gating) do EACS também alcançou o menor MSE médio, superando OLS, Lasso e Anchor Regression.

Significância e Alegações

O artigo alega que a predição robusta OOD não requer a total evitação de covariáveis espúrias. Em vez disso, a estratégia ideal é aprender quando tais covariáveis podem ser confiadas.

• Adaptação Estruturada: O EACS oferece uma forma estruturada de adaptação onde os parâmetros de predição são compartilhados, mas a escolha das covariáveis varia por ambiente. Isso é apresentado como uma alternativa de menor complexidade e mais interpretável do que preditores contextuais totais que adaptam todos os parâmetros ao ambiente.
• Utilidade Prática: O método fornece uma solução prática para cenários onde os pais causais são parcialmente não observados, um cenário comum em áreas como saúde e economia.
• Limitações: Os autores notam modestamente que o sucesso depende da disponibilidade de representações de ambiente informativas e de uma diversidade suficiente nos ambientes de treinamento. A variante de portão suave introduz erro de aproximação, e o método requer um lote de covariáveis de teste para construir resumos, o que impede a predição de observação única. Além disso, restrições causais mal especificadas podem impactar negativamente o desempenho.