🤖 machine learning

A Causal Foundation Model for Structure and Outcome Prediction

O artigo apresenta o TabPFN-CFM, um modelo de fundação causal treinado em dados sintéticos que se generaliza para conjuntos de dados do mundo real para prever simultaneamente estruturas causais e resultados, ao mesmo tempo em que suporta consultas em todos os níveis da Hierarquia Causal de Pearl.

Autores originais: Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

Publicado 2026-06-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas tem apenas uma pilha de fotos antigas e não classificadas (dados observacionais) e nenhuma testemunha. Você precisa descobrir duas coisas:

A História: Quem causou o quê? (A chuva causou a grama molhada ou alguém derramou um balde?)
O "E se": Se você tivesse feito algo diferente, o que teria acontecido? (Se você não tivesse derramado o balde, a grama ainda estaria molhada?)

Normalmente, resolver isso requer um especialista humano para adivinhar as regras do mundo, ou um computador para tentar milhões de palpites um por um. Este artigo apresenta o TabPFN-CFM, um novo tipo de "superdetetive" de IA que já leu uma biblioteca de milhões de histórias de mistérios inventadas. Como ele viu muitos cenários diferentes, ele pode olhar para suas fotos bagunçadas e instantaneamente adivinhar a história e responder às suas perguntas de "e se".

Aqui está como ele funciona, dividido em conceitos simples:

1. O "Modelo de Fundação Causal" (O Superdetetive)

Pense neste modelo como um estudante que passou a vida inteira estudando uma enorme biblioteca de mundos sintéticos (falsos). Nesses mundos falsos, os autores criaram milhares de regras diferentes: às vezes a gravidade funciona de forma diferente, às vezes as pessoas agem aleatoriamente e, às vezes, fatores ocultos (como um agente secreto) atrapalham as coisas.

Porque este estudante viu tantas variações, quando você mostra a ele um conjunto de dados reais (como números de vendas ou notas escolares), ele não precisa aprender as regras do zero. Ele apenas diz: "Ah, isso se parece com o Cenário #4.592 da minha biblioteca", e instantaneamente sabe as prováveis relações de causa e efeito.

2. Resolvendo Três Níveis de Mistério

O artigo afirma que este modelo pode lidar com três tipos diferentes de perguntas, que os autores chamam de "Hierarquia Causal":

Nível 1: O Observador (O que está acontecendo?)
- A Pergunta: "Olhando para os dados, se alguém compra uma camisa vermelha, essa pessoa também compra um chapéu?"
- O Trabalho do Modelo: Ele prevê o resultado com base no que vê.
Nível 2: O Interventor (E se eu mudar algo?)
- A Pergunta: "Se eu obrigar todos a comprar uma camisa vermelha (mesmo que eles não comprariam), eles comprarão um chapéu?"
- O Trabalho do Modelo: Isso é complicado porque o mundo real não fez isso. O modelo simula a mudança para prever o resultado.
Nível 3: O Viajante do Tempo (E se as coisas tivessem sido diferentes no passado?)
- A Pergunta: "John comprou um chapéu e uma camisa vermelha. Mas e se ele não tivesse comprado a camisa vermelha? Ele ainda teria comprado o chapéu?"
- O Trabalho do Modelo: Este é o mais difícil. Requer voltar no tempo na simulação enquanto mantém outros fatos fixos. O artigo diz que este modelo é um dos poucos que consegue fazer isso bem.

3. O "Vilão Oculto" (Confundidores Não Observados)

Em muitos mistérios do mundo real, existe um "vilão oculto" que você não consegue ver. Por exemplo, talvez um fator oculto (como "riqueza") cause tanto a compra de camisas vermelhas quanto a compra de chapéus. Se você não souber da existência da "riqueza", pode pensar erroneamente que a camisa causa o chapéu.

O artigo introduz uma ferramenta especial chamada ADMG (Gráfico Misto Direcionado Acíclico). Imagine isto como um mapa que desenha dois tipos de linhas:

Setas: Mostrando causa direta e efeito (A causa B).
Linhas onduladas de duas pontas: Mostrando "vilões ocultos" (A e B estão sendo influenciados por algo que você não consegue ver).

O TabPFN-CFM é único porque consegue desenhar essas linhas onduladas automaticamente, adivinhando onde os vilões ocultos podem estar, mesmo que você não tenha dito que eles existiam.

4. Usando uma "Folha de Cola" (Gráficos Conhecidos)

Às vezes, você sabe parte da história. Talvez um especialista tenha dito a você: "Sabemos com certeza que A causa B".
O artigo mostra que, se você der essa informação ao modelo (como entregar ao detetive uma folha de cola), o modelo fica ainda melhor em suas previsões. Ele usa essa estrutura conhecida para refinar seus palpites sobre o restante do mistério.

5. Como Ele Aprendeu (O Treinamento)

O modelo não foi treinado inicialmente com dados humanos reais. Em vez disso, os pesquisadores escreveram um programa de computador para gerar centenas de milhares de conjuntos de dados falsos com regras aleatórias, ruído aleatório e variáveis ocultas.

Eles ensinaram o modelo a olhar para um conjunto de dados falso e adivinhar a estrutura (o mapa) e o resultado (o desfecho).
Eles o treinaram para fazer isso para todos os três níveis de perguntas (Observador, Interventor, Viajante do Tempo) ao mesmo tempo.
O Resultado: Quando testaram o modelo em dados reais (como vendas da Amazon ou admissões na Faculdade de Direito), ele teve um desempenho superior aos métodos antigos, especialmente para as perguntas de "E se".

6. A "Atualização de Velocidade"

Os autores também mencionam que ajustaram o "motor" do modelo (a arquitetura). Eles removeram algumas partes desnecessárias e adicionaram novos truques de treinamento (como um otimizador melhor chamado "Muon" e uma nova função de ativação chamada "ReLU2").

A Analogia: Imagine atualizar o motor de um carro. Eles não apenas fizeram o carro ir mais rápido; eles o fizeram atingir a velocidade máxima 4 vezes mais rápido enquanto usava menos combustível (poder computacional). Isso significa que o modelo aprende muito mais eficientemente.

Resumo das Alegações

Ele prevê a estrutura: Ele desenha o mapa de causa e efeito, incluindo fatores ocultos.
Ele prevê resultados: Ele responde "O que acontece se eu mudar X?".
Ele lida com contrafatuais: Ele responde "O que teria acontecido se X fosse diferente?".
Ele usa mapas conhecidos: Se você fornecer um mapa parcial, ele o utiliza para melhorar a precisão.
Ele generaliza: Funciona bem em dados do mundo real, embora tenha sido treinado com dados falsos.
Ele é rápido: Novos truques de treinamento tornam o treinamento de 3 a 4 vezes mais eficiente.

O artigo não afirma que isso está pronto para diagnósticos médicos ou tribunais jurídicos ainda. Ele afirma estritamente que, nos conjuntos de dados testados (problemas matemáticos sintéticos, vendas da Amazon e admissões na Faculdade de Direito), este novo "Superdetetive" supera as melhores ferramentas atuais para entender causa e efeito.

Resumo Técnico: TabPFN-CFM

Definição do Problema

Determinar a estrutura causal e prever resultados causais a partir de dados observacionais continua sendo um desafio significativo em aprendizado de máquina e estatística. Métodos existentes geralmente abordam essas tarefas de forma isolada: alguns focam em previsões estruturais (aprendizado do grafo causal), enquanto outros focam em previsões de resultados (estimativa do efeito de intervenções). Além disso, muitas abordagens têm dificuldade em lidar com variáveis de confusão não observadas, o que pode levar a grafos não identificáveis e estimativas de resultados enviesadas. Adicionalmente, os modelos atuais frequentemente carecem da capacidade de suportar todo o espectro de consultas causais definidas pela Hierarquia Causal de Pearl: observacional, interventional e contrafactual.

Metodologia

Os autores introduzem o TabPFN-CFM, um modelo de fundação causal projetado para prever conjuntamente a estrutura causal e os resultados a partir de dados observacionais. A abordagem é fundamentada no framework de Prior de Bayesianos sobre Funções (PFN - Bayesian Prior-Over-Functions).

Estrutura Principal

O modelo assume que o sistema subjacente segue um Modelo Causal Estrutural (SCM) $\psi = \{U, V, F\}$ , onde $U$ representa variáveis não observadas, $V$ variáveis observadas e $F$ equações estruturais. O modelo é treinado para aproximar a distribuição posterior $P(\psi | D_{obs}, G_{est})$ , onde $D_{obs}$ é o conjunto de dados observacionais e $G_{est}$ é o conhecimento prévio opcional do grafo.

Geração de Dados e Treinamento

Priors Sintéticos: O modelo é treinado em conjuntos de dados sintéticos gerados a partir de uma distribuição de prior sobre SCMs. Este prior inclui estruturas de grafos aleatórios (DAGs), nós ausentes, diversas distribuições de ruído e equações estruturais definidas por redes neurais com pesos e não linearidades aleatórias.
Formulação da Tarefa: Cada amostra de treinamento consiste em um conjunto de ajuste ( $D_{fit}$ $D_{f i t}$ ), uma consulta de predição ( $D_{pred}$ $D_{p r e d}$ ) e uma amostra contrafactual ( $D_{causal}$ $D_{c a u s a l}$ ). O modelo é treinado para lidar com três tipos de consulta simultaneamente:
1. Consulta Observacional: Prevendo $P(y^* | x^*, T=t^*)$ .
2. Consulta Intervencional: Prevendo $P(y^* | x^*, do(T=1-t^*))$ .
3. Consulta Contrafactual: Prevendo $P(y^* | x^*, do(T=1-t^*), y=y^*)$ .
Manipulação de Grafos: O modelo utiliza Grafos Mistos Direcionados Acíclicos (ADMGs) para representar a confusão não observada via arestas bidirecionais. Isso permite que o modelo preveja estruturas de confusão em vez de assumir que todas as variáveis são observadas.

Arquitetura

O TabPFN-CFM estende a arquitetura Do-PFN com condicionamento de grafo explícito:

Encoder: Codifica o conjunto de ajuste, a consulta de predição e a estrutura de prior do ADMG (matriz de adjacência $A$ , matriz bidirecional $C$ e matriz ancestral $R$ ). A codificação do grafo fornece acesso direto às relações de pai, filho, ancestral e descendente.
Backbone Transformer: Utiliza mecanismos de atenção por linha e coluna. Crucialmente, o módulo de predição atende às codificações do grafo, permitindo que as previsões incorporem o prior do grafo.
Saídas:
- Predição de Resultado: Uma cabeça produz logits sobre baldes (buckets) de resultados discretizados.
- Predição de Estrutura: Um decodificador gera previsões elemento a elemento para a matriz de adjacência direcionada ( $\hat{A}$ ), matriz de correlação bidirecional ( $\hat{C}$ ) e matriz ancestral ( $\hat{R}$ ).
Eficiência de Treinamento: Os autores implementaram várias otimizações arquitetônicas e de treinamento (ex: otimizador Muon, ativação ReLU2, normalização pré-camada) que melhoraram a velocidade de treinamento em aproximadamente 3-4x em comparação com as configurações de linha de base.

Função de Perda

O modelo é otimizado usando uma função de perda conjunta:
$L = L_{pred} + \lambda \cdot L_{graph}$
Onde $L_{pred}$ é a perda de entropia cruzada para a predição de resultado, e $L_{graph}$ é a perda de entropia cruzada binária para as previsões estruturais (matrizes de adjacência, ancestral e de confusão). Provas teóricas no apêndice demonstram que incluir o grafo como entrada como uma condição só pode melhorar a precisão da posterior (ou deixá-la inalterada) e que minimizar a log-probabilidade é equivalente a minimizar a divergência KL para a verdadeira posterior.

Principais Contribuições

Modelo de Fundação Causal Unificado: O TabPFN-CFM é o primeiro modelo a prever conjuntamente tanto a estrutura causal quanto os resultados através dos três níveis da Hierarquia Causal de Pearl dentro de um único framework de modelo de fundação.
Lidando com Confusão Não Observada: Ao empregar ADMGs, o modelo prevê explicitamente variáveis de confusão não observadas, abordando uma limitação nos métodos existentes de aprendizado de estrutura causal por aprendizado profundo.
Inferência Condicionada por Grafo: O modelo aproveita estruturas de grafo conhecidas quando disponíveis para melhorar a precisão da predição, permanecendo robusto quando o grafo é desconhecido.
Melhorias de Eficiência: O procedimento de treinamento refinado e as mudanças arquitetônicas resultam em uma convergência de treinamento quase 4x mais rápida em comparação com as linhas de base anteriores.

Resultados Experimentais

O modelo foi avaliado em conjuntos de dados sintéticos (tanto in-distribution quanto out-of-distribution) e conjuntos de dados do mundo real (Amazon Sales e Law School Admissions).

Predição de Resultado:
- Em SEMs sintéticas Out-of-Distribution (OOD), o TabPFN-CFM alcançou um Erro Quadrático Médio (MSE) menor do que meta-learners estabelecidos (S-, T-, X-, DR-learners) e o Do-PFN em cenários intervencionais e contrafactuais.
- No conjunto de dados Law School Admissions, o modelo melhorou significativamente a precisão em cenários contrafactuais ao utilizar informações contrafactuais, superando baselines que não podem realizar tais predições.
Predição de Estrutura:
- O TabPFN-CFM superou baselines fortes (FCI, GES, LiNGAM, PC, AVICI) na predição de matrizes de adjacência, ancestral e de confusão.
- Especificamente, em dados sintéticos OOD, o modelo alcançou um AUROC de 0,889 para adjacência e 0,828 para matrizes de confusão, significativamente superior ao próximo melhor performer (AVICI com 0,623 e 0,563 respectivamente).
Condicionamento de Grafo: Fornecer a verdadeira estrutura do grafo como entrada melhorou o desempenho em cenários intervencionais e contrafactuais, mas teve impacto negligenciável em predições observacionais, consistente com a teoria causal.

Significância

O artigo postula que o TabPFN-CFM representa um avanço na unificação das tarefas de inferência causal. Ao treinar um único modelo em um diverso prior de sistemas causais, a abordagem demonstra que modelos de fundação podem generalizar para problemas causais do mundo real sem sofrer overfitting para distribuições de prior específicas. A capacidade de lidar com confusão não observada e suportar consultas contrafactuais sugere um caminho para um raciocínio causal mais robusto em aprendizado de máquina. Os autores observam que, embora o trabalho atual foque em estruturas acíclicas, extensões futuras poderiam abordar séries temporais e configurações causais cíclicas.