📊 statistics

DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms

Este artigo apresenta o DAG-FM, um novo modelo de fundação que utiliza uma arquitetura Transformer autorregressiva de dois estágios com um mecanismo de Mistura de Especialistas de Folha (Mixture-of-Leaf-Experts) para alcançar o estado da arte em desempenho de descoberta causal em dados tabulares heterogêneos e de alta dimensão.

Autores originais: Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério: quem está causando o quê? Você tem uma planilha gigante cheia de pistas (dados), mas as regras do jogo são complicadas. Às vezes, as pistas seguem leis estritas e previsíveis; outras vezes, as leis mudam de uma pista para a outra. Este é o mundo da descoberta causal, e por muito tempo, as ferramentas que os detetives usavam eram como tentar resolver um Cubo Mágico usando luvas de olhos vendados. Elas ou ficavam presas em quebra-cabeças simples ou quebravam quando as regras ficavam bagunçadas.

Apresentamos o DAG-FM, um novo tipo de "superdetetive" baseado em modelos de fundação. Pense nele não como um manual de regras único e rígido, mas como um mestre cuca com uma cozinha mágica e gigantesca.

O Jeito Antigo vs. O Novo Chef

Anteriormente, os detetives tentavam adivinhar todo o mapa de conexões (quem causa o quê) de uma só vez. Era como tentar desenhar o mapa de uma cidade inteira de uma só vez. Se a cidade tivesse regras de trânsito estranhas e misturadas (mecanismos heterogêneos), o mapa geralmente acabava uma bagunça. Alguns métodos antigos eram como especialistas que só sabiam dirigir em rodovias retas e planas (modelos Não Gaussianos Lineares). Se a estrada se tornasse uma trilha de terra acidentada ou uma passagem montanhosa sinuosa, esses especialistas se perdiam.

O DAG-FM muda o jogo. Em vez de desenhar todo o mapa de uma vez, ele joga um jogo de "caça ao tesouro reversa". Ele trabalha em dois passos:

Encontrar as Folhas: Ele olha para os dados e pergunta: "Quem está no final da corrente? Quem não está causando mais ninguém?" Ele remove a última pessoa da linha.
Encontrar os Pais: Uma vez que sabe quem é a "folha", ele pergunta: "Quem estava puxando seus fios?" Ele encontra os pais dessa folha.

Ele repete esse processo, descascando as camadas da cebola até que toda a estrutura seja revelada. Isso é muito mais inteligente do que tentar adivinhar a imagem inteira de uma vez.

O Ingrediente Mágico: A "Mistura de Especialistas"

É aqui que o DAG-FM fica realmente legal. No mundo real, as regras de causa e efeito não são as mesmas em todos os lugares. Às vezes, uma causa age como uma equação matemática simples; outras vezes, é uma função complexa e sinuosa.

O DAG-FM usa uma equipe de especialistas dentro de seu cérebro, chamada Mistura de Especialistas de Folha (Mixture-of-Leaf-Experts - MoLE). Imagine uma sala cheia de diferentes detetives: um é ótimo em resolver enigmas lineares, outro é bom em detectar padrões de ruído, outro em lidar com curvas estranhas. Quando o DAG-FM olha para um pedaço de dado, ele não apenas adivinha; ele pergunta: "Qual detetive é o melhor para este detalhe específico?" Ele direciona o problema para o especialista certo dinamicamente. Isso permite que ele lide com uma mistura caótica de regras que confundiria os detetives antigos e de mente única.

O Campo de Treinamento: Um Playground Sintético

Antes que o DAG-FM pudesse enfrentar mistérios do mundo real, os autores tiveram que ensiná-lo. Eles não apenas o alimentaram com dados reais; eles construíram um enorme playground virtual. Eles geraram milhões de cenários falsos usando grafos aleatórios e ruído aleatório, misturando e combinando diferentes tipos de regras causais (como Linear, Ruído Aditivo e Pós-Não Linear).

Crucialmente, eles projetaram este playground com uma rede de segurança específica. Eles provaram matematicamente que, se o modelo for treinado nesta mistura específica de regras, ele será capaz de encontrar a única resposta verdadeira, mesmo que os dados sejam bagunçados. É como treinar um piloto em um simulador que inclui todos os tipos de tempestades e falhas de motor possíveis, para que, quando ele voar um avião real, saiba exatamente o que fazer.

Os Resultados: Velocidade e Inteligência

Quando os autores testaram o DAG-FM, os resultados foram impressionantes.

Em Dados Falsos: Em simulações com 100 tipos diferentes de regras misturadas, o DAG-FM superou quase todos os outros métodos. Ele acertou as conexões com mais frequência (maior precisão e recall) e cometeu menos erros (menor taxa de erro) do que os algoritmos da velha guarda e até mesmo outros novos modelos de IA.
Em Dados Reais: Eles testaram em conjuntos de dados do mundo real, como uma rede de sinalização de proteínas com 7.466 amostras e 11 variáveis, e um sistema físico com 10.000 amostras e 38 variáveis. Enquanto muitos outros métodos falharam (ficaram sem memória) ou desistiram, o DAG-FM continuou. Ele encontrou os melhores mapas nesses testes, superando as ferramentas tradicionais que lutavam com o tamanho ou a complexidade dos dados.
Eficiência: Ele também é incrivelmente eficiente. Pode lidar com conjuntos de dados de até 50.000 amostras ou 500 variáveis em um computador padrão com 24GB de memória de vídeo, sem precisar de truques sofisticos para diminuir a velocidade.

O Que Ele Não Faz (Ainda)

É importante saber o que este superdetetive não consegue fazer. O artigo afirma explicitamente que o DAG-FM assume que possui todas as pistas (sem confundidores ocultos). Se houver variáveis secretas influenciando os dados que o modelo não consegue ver, o método pode se confundir. Os autores também observam que, embora o modelo funcione muito bem nas regras para as quais foi treinado, ele ainda está sendo testado em tipos completamente novos e inéditos de caos.

O Veredito Final

O DAG-FM não é uma varinha mágica que resolve todos os mistérios instantaneamente, mas é um salto gigantesco à frente. Ao decompor o problema em etapas menores e gerenciáveis e usar uma equipe de especialistas especializados para lidar com diferentes tipos de regras, ele consegue encontrar o verdadeiro mapa de causa e efeito em situações onde as ferramentas anteriores falharam. Isso sugere que, com o treinamento e a arquitetura certos, a IA pode finalmente navegar na realidade bagunçada e misturada de como o mundo realmente funciona.

Resumo Técnico: DAG-FM

Definição do Problema

A descoberta causal a partir de dados tabulares observacionais enfrenta dois desafios fundamentais: a heterogeneidade dos mecanismos causais subjacentes e o espaço de busca combinatório de alta dimensão dos Grafos Acíclicos Dirigidos (DAGs). Métodos tradicionais, incluindo abordagens baseadas em restrições, baseadas em escores e baseadas em otimização, frequentemente enfrentam dificuldades sem suposições fortes. Especificamente, métodos baseados em Modelos de Função Causal (FCM) tipicamente assumem mecanismos homogêneos (por exemplo, todas as relações são lineares ou todos são ruído aditivo), o que limita sua generalização para cenários do mundo real onde os mecanismos variam entre as variáveis. Por outro lado, modelos amortizados emergentes (fundação) frequentemente carecem de garantias teóricas para produzir DAGs estritamente identificáveis e frequentemente falham em lidar com mecanismos heterogêneos, pois seu desempenho é altamente sensível ao design do espaço de prior utilizado para o pré-treinamento.

Metodologia

O artigo propõe o DAG-FM, uma arquitetura de modelo de fundação projetada para amortizar a descoberta causal enquanto garante intrinsecamente a saída de um DAG único e identificável a partir de dados observacionais.

1. Fundamentação Teórica: Identificabilidade Heterogênea

Os autores estabelecem uma condição de design para o espaço de prior que permite mecanismos causais heterogêneos. Ao contrário das abordagens tradicionais de FCM que impõem um único tipo de mecanismo, o espaço de prior do DAG-FM permite que um Modelo Causal Estrutural (SCM) seja uma mistura composta de quatro famílias distintas de mecanismos:

LiNGAM: Relações lineares com ruído não gaussiano.
ANM: Relações não lineares com ruído aditivo.
HNM: Modelos de ruído heterocedástico.
PNL: Modelos pós-não lineares.

Resultados teóricos (Teoremas 4.4 e 4.5) demonstram que, sob estas condições (assumindo suficiência causal e fidelidade/faithfulness), o DAG verdadeiro é quase certamente identificável da distribuição observacional. Isso garante que o modelo amortizado convirja para um DAG único e verdadeiro à medida que o tamanho da amostra aumenta.

2. Arquitetura: Predição Decomposta

Para abordar os problemas de escalabilidade da predição direta de matrizes de adjacência (que escalam quadraticamente e carecem de restrições de DAG), o DAG-FM decompõe o processo de descoberta em duas etapas sequenciais e autorregressivas usando submódulos especializados baseados em Transformer:

Preditor de Nó-Folha ( $Q_{\theta_1}$ ): Identifica a ordenação causal prevendo recursivamente os nós folha (nós sem filhos) no subgrafo atual.
Preditor de Nó-Pai ( $Q_{\theta_2}$ ): Dado um nó folha confirmado, este módulo identifica seus pais, efetivamente podando o grafo para uma estrutura triangular superior baseada na ordenação estabelecida.

3. Mistura de Especialistas de Folha (MoLE)

Para lidar com as diversas famílias de mecanismos dentro do espaço de prior, o cabeçalho de predição de folha integra uma estrutura de Mistura de Especialistas de Folha (MoLE).

O modelo emprega $m+1$ cabeças bilineares, cada uma correspondendo a uma família de mecanismo específica (mais um especialista de mecanismo geral e um especialista dummy).
Um roteador top-k seleciona dinamicamente o especialista apropriado com base nas características dos dados de entrada.
Este design permite que o modelo se adapte a famílias de mecanismos identificáveis dinamicamente, unindo a lacuna entre as suposições teóricas de FCM e a heterogeneidade prática dos dados.

4. Construção do Espaço de Prior

O modelo é pré-treinado em um conjunto de dados sintéticos de larga escala gerado a partir de um espaço de prior $\Phi$ que inclui:

Grafos Aleatórios: Modelos Erdős–Rényi, Barabási–Albert e Watts–Strogatz com densidades variadas.
Mecanismos Aleatórios: Uma biblioteca diversificada de funções (MLPs, GPs, Random Forests, etc.) amostradas das quatro famílias definidas.
Ruído Aleatório: Uma biblioteca abrangente de distribuições (Normal, Laplace, Student's t, etc.) com Razões Sinal-Ruído (SNR) controladas.
Aumento de Dados: Deformação não linear e discretização para simular características de dados do mundo real, enquanto impõe normalização de distribuição estrita para evitar artefatos estatísticos espúrios.

5. Inferência

A inferência é realizada iterativamente (Algoritmo 1). O modelo identifica repetidamente um nó folha, determina seus pais, remove o nó do conjunto e atualiza a ordenação causal até que todas as variáveis sejam processadas. Este processo garante uma estrutura de DAG válida sem necessidade de correção de ciclos post-hoc.

Principais Contribuições

Garantia Teórica: O artigo fornece uma condição de design para o espaço de prior que suporta mecanismos causais heterogêneos enquanto garante teoricamente que o modelo amortizado convirja para um DAG único e identificável.
Arquitetura DAG-FM: O desenvolvimento de um modelo de fundação que desacopla a identificação de DAG em tarefas de predição de nó-folha e nó-pai, utilizando submódulos baseados em Transformer e a estrutura MoLE para lidar com a heterogeneidade de mecanismos.
Desempenho Empírico: Experimentos extensos demonstrando que o DAG-FM atinge o estado da arte em benchmarks sintéticos com mecanismos heterogêneos e conjuntos de dados complexos do mundo real, superando significativamente algoritmos tradicionais e modelos de fundação recentes em precisão e escalabilidade.

Resultados Experimentais

Benchmarks Sintéticos: Em conjuntos de dados com $n=1000$ amostras e $d=20$ variáveis apresentando mecanismos heterogêneos, o DAG-FM alcançou o maior F1-score (0,64) e a menor Distância de Hamming Estrutural normalizada (nSHD) (0,19), superando baselines como Direct-LiNGAM, AVICI e TabCausal.
Subespaços Homogêneos: Mesmo em configurações estritamente homogêneas (ex: LiNGAM puro), o DAG-FM permaneceu competitivo, alcançando uma Taxa de Divergência de Ordem (ODR) de 0,12, comparável a algoritmos especializados.
Benchmarks do Mundo Real:
- Dataset Sachs (Sinalização de Proteínas): O DAG-FM alcançou um F1 de 0,53 e nSHD de 0,25, superando significativamente todos os outros métodos (ex: FoundCause: F1 0,33; GES: F1 0,31).
- Causal Chamber: O DAG-FM alcançou um F1 de 0,53 e nSHD de 0,14, superando todos os baselines.
Escalabilidade: O DAG-FM demonstrou escalabilidade robusta, lidando com até 50.000 amostras ou 500 variáveis dentro de uma restrição de 24GB de VRAM, enquanto muitos baselines (ex: AVICI, CauScale) encontraram erros de falta de memória (out-of-memory) em grandes conjuntos de dados.
Robustez: O modelo mostrou resiliência a variações de densidade de grafos, deformação de dados e discretização, e manteve forte desempenho em cenários Fora da Distribuição (OOD) envolvendo estruturas de grafos, mecanismos e distribuições de ruído não vistos.

Significância

O artigo afirma que o DAG-FM representa um avanço significativo ao integrar as garantias teóricas de identificabilidade de FCM com a escalabilidade de modelos de fundação amortizados. Ao se afastar da predição direta de matrizes de adjacência e, em vez disso, decompor a tarefa em sub-tarefas sequenciais e teoricamente fundamentadas, o DAG-FM supera as limitações tanto de métodos tradicionais (falta de generalização para mecanismos heterogêneos) quanto de abordagens amortizadas existentes (falta de garantias estruturais e sensibilidade ao design do prior). O trabalho estabelece um novo paradigma para a descoberta causal que é simultaneamente rigoroso do ponto de vista teórico e aplicável na prática para dados de alta dimensão do mundo real.