Resumo Técnico: Use o que Você Sabe: Modelos de Fundação Causal com Grafos Parciais

Declaração do Problema

A inferência causal tradicional baseia-se em um processo de duas etapas: primeiro, estabelecer suposições de identificação (frequentemente via um grafo causal) e, segundo, selecionar um estimador específico adaptado a essas suposições. Embora os recentes Modelos de Fundação Causal (CFMs) baseados em Redes de Ajuste de Dados Prévios (PFNs) ofereçam uma abordagem unificada ao amortizar a descoberta e a inferência causal, eles sofrem atualmente de uma limitação crítica: não conseguem incorporar conhecimento de domínio no momento do teste.

Os CFMs existentes ou:

1. Restringem o prior de treinamento a estruturas causais específicas (ex: apenas casos de ajuste de porta traseira/back-door), exigindo retreinamento caro para novas suposições.
2. Marginalizam sobre todas as estruturas possíveis, o que leva a estimativas desnecessariamente conservadoras e previsões imprecisas quando o conhecimento de domínio parcial está disponível, mas é ignorado.

O desafio central abordado é como permitir que um CFM de propósito geral condicione em informação causal parcial (como um grafo causal parcialmente conhecido ou relações ancestrais) durante a inferência sem sacrificar a flexibilidade do paradigma de modelo de fundação.

Metodologia

1. Representação do Conhecimento Causal: Matrizes Ancestrais Parciais (PAMs)

Os autores propõem o uso de Matrizes Ancestrais Parcialmente Conhecidas (PAMs) como o sinal de condicionamento. Diferente das matrizes de adjacência que exigem o conhecimento de arestas causais diretas ($A_{ij}=1$), as PAMs codificam relações ancestrais ($T_{ij}=1$ se $z_i$ é um ancestral de $z_j$).

• Vantagens: O conhecimento ancestral é frequentemente mais robusto e fácil de obter do que os mecanismos causais diretos (ex: saber que o fumo causa câncer é mais fácil do que especificar a via biológica exata).
• Parcialidade: A matriz $\tilde{T} \in \{-1, 0, 1\}^{K \times K}$ permite:
  • $1$: Ancestral conhecido.
  • $-1$: Não-ancestral conhecido (ex: descartado por ordem temporal).
  • $0$: Relação desconhecida.
    Esta representação subjaz os casos de nenhum conhecimento, conhecimento parcial e conhecimento completo.

2. Mecanismos de Condicionamento Arquitetural

O artigo introduz uma arquitetura de CFM baseada em Transformer modificada para ingerir PAMs através de dois mecanismos complementares:

• Viés de Atenção Estrutural (Structural Attention Biasing):
  • Viés Suave (Soft Bias): Viéses escalares aprendíveis ($\beta_{anc}, \beta_{non-anc}$) são adicionados aos logits de atenção. O viés positivo incentiva a atenção aos ancestrais conhecidos; o viés negativo desencoraja a atenção aos não-ancestrais conhecidos. Isso permite que o modelo priorize pais causais enquanto permanece robusto a informações incompletas.
  • Mascaramento Rígido (Hard Masking): Uma alternativa onde a atenção para não-ancestrais conhecidos é estritamente definida como $-\infty$.
• Modulação de Características Estruturais (GCN):
  • Um codificador de Rede Neural de Convolução em Grafos (GCN) processa a PAM para gerar embeddings de nós conscientes da estrutura.
  • Esses embeddings são injetados em cada bloco do Transformer via Normalização de Camada Adaptativa (AdaLN), modulando as representações ocultas das variáveis com base em sua posição estrutural global no grafo causal.

3. Treinamento e Geração de Dados

• Prior: Os autores construíram um prior de Modelo de Fundação Tabular (TFM) que é nativamente causal. Ele gera conjuntos de dados sintéticos amostrando Modelos Causais Estruturais (SCMs) com diversos mecanismos (MLPs, XGBoost, diversas não-linearidades) e distribuições de ruído.
• Treinamento Amortizado: O modelo é treinado para lidar com graus variados de informação ausente. Durante o treinamento, entradas na PAM são aleatoriamente ocultadas (definidas como 0), forçando o modelo a aprender um único conjunto de pesos que pode se adaptar a informações ancestrais completas, parciais ou inexistentes.

Resultados Principais

1. Eficácia do Condicionamento

Experimentos em priors lineares-Gaussianos sintéticos e não-lineares complexos demonstram que:

• Atenção Suave + GCN é a estratégia de condicionamento mais eficaz, superando consistentemente os baselines sem condicionamento de grafo, mascaramento rígido ou abordagens de apenas GCN.
• O condicionamento em matrizes ancestrais apresenta desempenho comparável ao condicionamento em matrizes de adjacência completas, validando o uso de conhecimento ancestral como um proxy prático.

2. Robustez à Informação Parcial

• Eficiência de Amortização: Um único modelo treinado com PAMs amortizadas (aleatoriamente ocultadas) performa quase tão bem quanto modelos especializados treinados exclusivamente com informação total ou nenhuma.
• Ignorância vs. Especificação Incorreta: Uma descoberta crítica é que ocultar arestas incertas (marcando-as como "desconhecidas") é muito menos prejudicial do que especificá-las incorretamente (inverter a direção). O desempenho degrada gradualmente conforme as arestas são ocultadas, mas cai drasticamente quando as arestas são especificadas incorretamente. Isso destaca o valor prático das matrizes parciais.

3. Benchmarks Semi-Sintéticos

No benchmark RealCause (IHDP, ACIC, CPS, PSID):

• Fornecer informação ancestral parcial codificando a não-confundimento (unconfoundedness) melhora significamente o desempenho (medido por $\sqrt{PEHE}$ e erro relativo de ATE) em comparação com modelos sem condicionamento de grafo.
• O CFM condicionado ao grafo supera baselines especializados como Do-PFN e CausalFM na maioria dos datasets.
• Embora o CausalPFN alcance o melhor desempenho geral no RealCause, os autores atribuem isso a um alinhamento de prior (o processo de geração de dados do CausalPFN mimetiza o processo do RealCause) e não ao condicionamento de grafo. Uma vez que o condicionamento de grafo é introduzido, o modelo deles supera o CausalFM e o Do-PFN.

4. Comparação com Modelos Especializados

Quando o critério de porta traseira (back-door) é violado (um cenário onde modelos especializados como CausalPFN e CausalFM dependem de suposições mal especificadas), o CFM condicionado ao grafo mostra uma vantagem substancial, demonstrando sua capacidade de lidar com casos não-identificáveis ao alavancar a estrutura parcial disponível.

Significância e Alegações

O artigo afirma abordar um obstáculo central no desenvolvimento de modelos de fundação causal "tudo-em-um": a capacidade de responder a consultas causais de maneira orientada a dados e, ao mesmo tempo, alavancar efetivamente qualquer quantidade de conhecimento de domínio.

• Estrutura Unificada: Demonstra que um único CFM pode condicionar flexivelmente em dados observacionais e em níveis variados de conhecimento causal (nenhum, parcial ou total) sem necessidade de retreinamento.
• Utilidade Prática: Ao utilizar Matrizes Ancestrais Parciais, a abordagem preenche a lacência entre a rigidez dos estimadores causais tradicionais (que exigem grafos precisos) e a natureza de "caixa preta" dos modelos de fundação atuais (que ignoram o conhecimento de domínio).
• Escopo Modesto: Os autores reconhecem que os ganhos absolutos de desempenho em algumas métricas são pequenos (atribuídos aos pequenos efeitos causais em seus priors), mas o método estabelece uma fundação viável e eficaz para futuros modelos de estimativa de efeito causal robusto. Eles observam que o trabalho atual foca em variáveis totalmente observadas e ainda não aborda confundidores ocultos, deixando isso para desenvolvimentos futuros "tudo-em-um".