📊 statistics

CDFM: Towards a General-Purpose Causal Discovery Foundation Model

Este artigo apresenta o Causal Discovery Foundation Model (CDFM), um framework unificado e de propósito geral que utiliza uma abordagem variacional fundamentada e pré-treinamento massivo em modelos causais sintéticos para alcançar inferência estrutural zero-shot, superando, assim, as limitações de escalabilidade dos algoritmos tradicionais de descoberta causal específicos para conjuntos de dados.

Autores originais: Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

Publicado 2026-07-14

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério: Quem causou o quê? Você tem uma pilha de pistas (dados) mostrando como diferentes coisas aconteceram juntas, mas não tem uma testemunha contando a história. Durante décadas, os detetives tiveram que escolher um "livro de regras" específico para cada caso. Um livro de regras dizia: "Assuma que tudo é uma linha reta!" Outro dizia: "Assuma que o ruído é estranho e irregular!" Se você escolhesse o livro de regras errado para o caso errado, sua solução seria um lixo.

Este artigo apresenta um novo tipo de detetive: o CDFM (Causal Discovery Foundation Model). Em vez de escolher um livro de regras, o CDFM é como um aprendiz superinteligente que leu todos os livros de regras possíveis do universo antes mesmo de ver um caso real.

O Jeito Antigo vs. O Jeito Novo

O Jeito Antigo (A Luta do "Teste Dirigido"):
Imagine que você tem um quarto bagunçado (seus dados). O método antigo diz: "A bagunça foi causada por um tornado? Vamos verificar se o vento não foi Gaussiano! Foi causada por um gato? Vamos verificar se o ruído é aditivo!" Você tem que executar uma dúzia de testes diferentes, adivinhar qual deles se encaixa e, se errar o palpite, começa tudo de novo. É lento, fragmentado e quebra quando o quarto está muito bagunçado ou estranho.

O Jeito Novo (CDFM):
O CDFM pula a fase de adivinhação. Ele olha para o quarto bagunçado e diz: "Eu já vi milhões de quartos como este em meu treinamento." Ele não precisa que você lhe diga se os dados são lineares ou não lineares. Ele apenas observa os padrões e desenha o mapa de quem causou o quê. É um detetive "zero-shot", o que significa que ele pode resolver um tipo de mistério inédito sem precisar ser retreinado primeiro.

Como Ele Aprendeu Tanto? (O "Parquinho Sintético")

Você pode se perguntar: "Como um computador pode saber tudo sobre causa e efeito?" Os autores não o alimentaram com dados do mundo real (que são bagunçados e frequentemente têm respostas ausentes). Em vez disso, eles construíram um videogame massivo e infinito.

Neste jogo, eles geraram 15 famílias diferentes de mundos falsos. Alguns mundos tinham regras de linha reta, outros tinham regras curvas e selvagens, alguns tinham variáveis "fantasmas" ocultas puxando as cordas nos bastidores e alguns tinham peças de dados faltando. Eles criaram 10 tamanhos diferentes para esses mundos, variando de pequenos quebra-cabeças com 10 variáveis até sistemas massivos com 100 variáveis. Eles também variaram o número de pistas, de 500 até 4.000 observações.

O CDFM jogou nesse videogame por muito tempo, aprendendo a reconhecer as "pegadas" de diferentes causas. Ele aprendeu que, se um padrão parece um tipo específico de ruído, é provavelmente um tipo de causa; se parece outro, é um tipo diferente.

O Truque de Mágica: "Inferência Variacional"

Aqui está a parte inteligente. O artigo argumenta que você não pode apenas adivinhar a resposta; você tem que provar matematicamente que seu palpite é o único que se encaixa. Os autores usaram um truque matemático chamado inferência variacional.

Pense assim: o CDFM não diz apenas "Eu acho que A causou B". Ele diz: "Vou imaginar todas as formas possíveis de A ter causado B, pesar todas elas e escolher a que faz mais sentido para os dados." Ele trata as "regras" do mundo como variáveis ocultas que ele tenta descobrir enquanto descobre a estrutura. Isso garante que, se a matemática disser que uma direção é impossível, o CDFM não irá adivinhá-la.

Funcionou de Verdade? (A Prova)

Os autores não disseram apenas "parece legal". Eles colocaram à prova de três maneiras:

O Teste Sintético: Eles lançaram o CDFM contra os 15 tipos diferentes de mundos falsos que ele não tinha visto durante a fase final de teste.
- O Resultado: O CDFM venceu. Em um teste com 4.000 amostras, ele obteve um AUROC de 0,888 (uma medida de precisão onde 1,0 é perfeito). O segundo melhor método, o TabCausal, obteve apenas 0,786. Mesmo quando o quebra-cabeça ficou enorme (100 variáveis), o CDFM manteve-se forte com um AUROC acima de 0,87, enquanto outros desmoronaram.
- A Lição: Isso sugere que o CDFM pode lidar com uma ampla variedade de situações bagunçadas, semelhantes ao mundo real, sem precisar de um livro de regras específico.
O Teste do Mundo Real: Eles o testaram em dados reais, como um sistema físico chamado Causal Chamber (onde túneis de luz e sensores criam física real) e o benchmark Tübingen (pares do mundo real como "altura causa peso").
- O Resultado: No Causal Chamber Task A1, o CDFM obteve um AUROC de 0,952, superando o próximo melhor (TabCausal com 0,930). No benchmark de Tübingen, obteve 67,1% de precisão, superando o recorde anterior de 63,8%.
- A Lição: As habilidades aprendidas no videogame realmente se transferiram para a vida real.
O Teste de "Honestidade": Os autores queriam garantir que o CDFM não estava apenas adivinhando cegamente. Eles o testaram em situações onde, matematicamente, ninguém consegue saber a resposta (como quando duas coisas são perfeitamente simétricas).
- O Resultado: Quando a matemática diz que "é impossível saber", a precisão do CDFM caiu para 0,5 (o que é apenas um palpite como jogar uma moeda). Quando a matemática diz que "é possível saber", sua precisão disparou para 1,0.
- A Lição: Isso sugere que o CDFM respeita as leis da lógica. Ele sabe quando não deve saber a resposta.

O Que Ele Não Pode Fazer (As Regras)

O artigo é muito claro sobre o que o CDFM não é.

Ele não é uma varinha mágica que elimina a necessidade de suposições. O artigo afirma explicitamente que você deve ter algumas suposições causais; o CDFM apenas aprende um espectro amplo delas em vez de uma única suposição.
Ele não é perfeito em tudo. Em casos específicos e simples (como um mundo perfeitamente linear com ruído não gaussiano), ferramentas especializadas mais antigas, como o DirectLiNGAM, ainda podem performar ligeiramente melhor. O CDFM é um "generalista", não um "especialista" para um nicho minúsculo.
Os resultados em dados do mundo real são medidos em benchmarks específicos (Causal Chamber, Tübingen). O artigo não afirma que resolveu a descoberta causal para todos os problemas do universo, apenas que funciona de forma notável em uma vasta gama deles.

Bônus: A Peça Faltante

Como um efeito colateral de seu treinamento, o CDFM também ficou muito bom em preencher peças faltantes de quebra-cabeças. Se você der a ele um conjunto de dados com buracos, ele pode adivinhar quais eram os números ausentes. Nos testes, ele superou métodos padrão como Mean ou KNN, alcançando um Erro Médio Absoluto (MAE) de 0,452 em dados contínuos e 0,717 em dados discretos.

A Conclusão

Este artigo sugere uma grande mudança: em vez de construir uma ferramenta nova e especializada para cada novo tipo de dado, podemos construir um único cérebro gigante pré-treinado que entenda a linguagem de causa e efeito. Não é um problema resolvido para todos os mistérios do mundo, mas é um passo gigantesco em direção a um detetive que pode entrar em qualquer sala, olhar para as pistas e dizer: "Eu já vi isso antes. Aqui está o mapa."

Resumo Técnico: CDFM: Rumo a um Modelo de Fundação para Descoberta Causal de Propósito Geral

Declaração do Problema

A descoberta causal, o processo de recuperar estruturas causais subjacentes a partir de dados observacionais, tem dependido tradicionalmente de um paradigma fragmentado e baseado em testes. Os algoritmos existentes são meticulosamente desenhados para mecanismos causais específicos (por exemplo, não-gaussianidade linear, ruído aditivo ou restrições de independência específicas). Consequentemente, esses métodos são excelentes apenas quando suas suposições subjacentes se sustentam estritamente. Em cenários do mundo real, caracterizados por dados heterogêneos e processos geradores desconhecidos, os profissionais enfrentam um ciclo exaustivo de seleção manual de algoritmos, verificação de suposições e reavaliação de testes estatísticos. Essa abordagem específica para cada conjunto de dados falha em escalar para as demandas da descoberta científica moderna e tem dificuldade em generalizar através de diversos mecanismos causais desconhecidos.

Metodologia

Os autores propõem o Causal Discovery Foundation Model (CDFM), um framework unificado projetado para inferência estrutural zero-shot através de mecanismos causais heterogêneos e inicialmente desconhecidos. A metodologia é fundamentada em um framework variacional principiado que une a teoria de identificabilidade causal ao design de arquitetura de deep learning.

1. Fundamentação Teórica: Decomposição Variacional

A percepção teórica central é que a descoberta causal sob mecanismos desconhecidos é um problema de seleção de modelo Bayesiano. Como o mecanismo causal verdadeiro $M^*$ é desconhecido, o modelo deve marginalizar sobre um vasto espaço de hipóteses de mecanismos $\mathcal{M}$ .

Limites de Identificabilidade: O artigo estabelece que, sem restrições, a direção causal é matematicamente impossível de identificar (Teorema 1). No entanto, se o espaço de mecanismos $\mathcal{M}$ satisfizer uma propriedade de "identificabilidade de espaço estrito", a margem de verossimilhança exata identifica unicamente o grafo verdadeiro (Teorema 3).
Inferência Variacional: Calcular diretamente a verossimilhança marginal é intratável. O CDFM formula o problema usando inferência variacional, introduzindo uma distribuição parametrizada $Q(M|X)$ $Q (M ∣ X)$ para aproximar a posterior sobre os mecanismos. Isso gera um Evidence Lower Bound (ELBO) que decompõe o objetivo de aprendizado em três componentes tratáveis:
1. Inferência de Mecanismo: $Q(M|X)$ , extraindo pegadas estatísticas (propriedades de ruído, não-linearidades) para inferir codificações de mecanismos latentes.
2. Reconstrução de Dados: $\log P(X|G, M)$ , garantindo que o mecanismo e o grafo inferidos expliquem os dados observados (sinal autossupervisionado).
3. Inferência de Grafo: $\log P(G|M)$ , decodificando o grafo estrutural condicionado ao mecanismo codificado.

2. Design de Arquitetura

A arquitetura do CDFM reflete explicitamente a decomposição variacional:

Embedding por Coluna & Atenção Alternada: Os dados de entrada (lidando com valores ausentes via um canal de indicador binário) são incorporados usando um Set Transformer para capturar distribuições marginais. Uma pilha de blocos de atenção alternados de linha e coluna integra dependências conjuntas para parametrizar a distribuição do mecanismo latente $Q(M|X)$ .
Reconstrução de Dados (Imputação): Um bloco residual prevê valores de quantis condicionais para entradas mascaradas. Isso serve como uma tarefa autossupervisionada para satisfazer o termo de reconstrução de dados. Uma "máscara causal suave" é empregada durante a atenção, penalizando o fluxo de informação de variáveis não-causais com base nas hipóteses atuais de peso de aresta, criando um loop interno não supervisionado para o refinamento da estrutura.
Inferência de Grafo: A auto-atenção induzida extrai vetores de resumo de "causa" e "efeito" para cada variável. Uma cabeça bilinear de Mixture-of-Experts (MoE) decodifica esses vetores em logits de aresta, acomodando naturalmente arestas direcionadas e arestas bidirecionais (para confusão latente). Um calibrador de limiar adaptativo de grafo leve converte probabilidades contínuas em um grafo binário.

3. Estratégia de Pré-treinamento

O CDFM é pré-treinado em um espaço massivo e altamente diverso de Modelos Causais Estruturais (SCMs) sintéticos. O gerador de dados abrange:

Estruturas de Grafo: Seis modelos de grafos aleatórios (ER, Scale-Free, WS, SBM, etc.) com diferentes esparsidade e tamanhos ( $D \in [2, 100]$ ).
Diversidade de Mecanismos: Modelos lineares e não-lineares (Ruído Aditivo, Post-Nonlinear, Random Fourier Features), mecanismos discretos e de tipos mistos, e modelos inspirados na física.
Ruído e Confusão: Diversas distribuições de ruído (Gaussiana, Laplace, Cauchy, etc.), heterocedasticidade e confusão latente (15% dos lotes).
Realismo: Erros de medição simulados, discretização e valores ausentes aleatórios (MCAR).

Principais Contribuições

Mudança de Paradigma: Formula a descoberta causal como uma tarefa de modelo de fundação de propósito geral, mudando da seleção de algoritmo especializado para uma abordagem de inferência unificada capaz de inferência estrutural zero-shot.
Framework Principiado: Unifica modelos de fundação e identificabilidade estrutural através de um framework variacional, tratando mecanismos desconhecidos como variáveis latentes para traduzir o problema de marginalização em um objetivo de aprendizado tratável.
Design de Arquitetura: Desenha o CDFM para alinhar a codificação de mecanismos, a reconstrução consciente da estrutura e a decodificação de grafos com a decomposição teórica, permitindo a inferência robusta diretamente de dados observacionais.
Pré-treinamento em Larga Escala: Introduz um regime de pré-treinamento abrangente impulsionado por diversidade de conhecimento causal, sintetizando um vasto espaço de hipóteses para internalizar assimetrias estatísticas complexas.

Resultados Experimentais

Os autores avaliam o CDFM através de benchmarks sintéticos, datasets do mundo real e estudos de identificabilidade controlados.

Benchmarks Sintéticos: O CDFM supera consistentemente algoritmos tradicionais (PC, GES, DirectLiNGAM, NOTEARS) e baselines amortizadas (AVICI, TabCausal, Arrow) em 15 famílias de mecanismos distintas e variando tamanhos de grafo ( $D \in [10, 100]$ ) e tamanhos de amostra ( $N \in [500, 4000]$ ). Ele alcança AUROC e F1 superiores, demonstrando desempenho estável conforme a escala do problema aumenta.
Benchmarks do Mundo Real:
- Causal Chamber: Em sistemas físicos multivariados (Tarefas A1 e A2), o CDFM atinge alto AUROC (0.952 e 0.965), superando todos os baselines e demonstrando transferibilidade de sistemas sintéticos para sistemas físicos.
- Benchmark de Tübingen: Em 95 pares de causa-efeito bivariados, o CDFM atinge 67,1% de precisão, superando outros métodos de estado da arte.
Validação de Identificabilidade: Experimentos controlados confirmam que o CDFM adere aos limites teóricos de identificabilidade. Ele identifica corretamente as direções causais quando existe assimetria funcional (não-linearidade/não-gaussianidade) ou estruturas V, e retorna ao nível de desempenho por acaso (acurácia $\approx$ 0.5) em regimes não identificáveis (ex: modelos Gaussianos lineares).
Imputação de Valores Ausentes: Como um subproduto do objetivo de reconstrução, a cabeça de imputação do CDFM atinge performance de estado da arte tanto em dados contínuos quanto discretos com valores ausentes, superando métodos clássicos como MissForest e MICE.

Significância e Alegações

O artigo afirma que o CDFM representa um passo significativo em direção a um motor de descoberta causal de propósito geral. Ao deslocar o gargalo da seleção manual de algoritmos para a geração escalável de dados sintéticos identificáveis e diversos, o CDFM internaliza assimetrias causais complexas que permitem que ele generalize através de processos geradores desconhecidos.

Os autores enfatizam que o modelo não remove a necessidade de suposições causais, mas sim aprende a adotá-las sobre um amplo espectro de classes de suposições. O trabalho sugere uma direção futura onde modelos causais aprendem representações amplas sobre famílias de mecanismos, em vez de otimizar para uma única suposição rígida. Os resultados demonstram que tal modelo de fundação pode impulsionar uma mudança de paradigma, oferecendo capacidades de descoberta causal zero-shot robustas que escalam com o volume e a heterogeneidade dos dados.