Scalable Contrastive Causal Discovery under Unknown Soft Interventions

Este artigo propõe um modelo escalável de descoberta causal que, ao integrar dados observacionais e intervencionais com intervenções suaves desconhecidas, utiliza regras de orientação contrastivas para recuperar a estrutura causal subjacente de forma mais precisa e generalizável do que métodos não contrastivos.

O essencial

Imagine que você é um detetive tentando descobrir quem fez o quê em uma grande festa. Você tem duas listas de convidados: uma da noite anterior (o "regime observacional") e outra da noite da festa, onde algumas pessoas foram "forçadas" a mudar de comportamento (o "regime intervencional").

O problema é que você não sabe exatamente quem foi forçado a mudar, nem como exatamente eles mudaram. Eles não pararam de dançar (intervenção "dura"); eles apenas mudaram o ritmo da música que ouviam (intervenção "suave"). Além disso, você só tem acesso a pequenas conversas entre grupos de amigos, não a toda a festa de uma vez.

O papel que você leu apresenta uma nova ferramenta chamada SCONE. Vamos explicar como ela funciona usando analogias simples:

1. O Problema: O Quebra-Cabeça Incompleto

Normalmente, quando tentamos descobrir a causa de algo (causalidade), olhamos apenas para o que acontece naturalmente. Mas isso é como tentar adivinhar a história de um filme apenas vendo cenas aleatórias; você sabe quem está perto de quem, mas não sabe quem está mandando em quem.

Se você pudesse fazer experimentos (intervir), seria mais fácil. Mas na vida real, os experimentos são "bagunçados":

• Você não sabe exatamente quem foi o alvo da intervenção.
• A intervenção não muda tudo, apenas ajusta um pouco o comportamento (como mudar o volume de um instrumento em uma banda, não trocar o músico).
• Você só tem dados de dois cenários diferentes e não pode testar tudo o que quiser.

2. A Solução: O SCONE (O Detetive Inteligente)

O SCONE é um modelo de inteligência artificial projetado para resolver esse quebra-cabeça específico. Ele funciona em três etapas principais, como se fosse uma equipe de detetives:

Etapa A: O Trabalho em Pequenos Grupos (Subconjuntos)

Em vez de tentar analisar a festa inteira de uma vez (o que seria impossível para computadores grandes), o SCONE divide os convidados em pequenos grupos.

• Ele analisa cada grupo separadamente para ver quem conversa com quem.
• Isso é como olhar para mesas pequenas de uma festa para entender quem é amigo de quem, sem se perder no barulho geral.

Etapa B: A Comparação "Contrastiva" (O Pulo do Gato)

Aqui está a mágica. O SCONE não olha apenas para um grupo de cada vez. Ele compara o que acontece na mesa 1 na noite anterior com o que acontece na mesma mesa na noite da festa.

• A Analogia da "Mudança de Ritmo": Imagine que na mesa 1, o João e a Maria estão sempre conversando. Na noite da festa, a música muda (intervenção suave). Se a conversa entre João e Maria continua igual, eles provavelmente não foram os alvos da mudança. Mas se a conversa deles muda drasticamente, enquanto a de outros permanece igual, o SCONE deduz que algo específico aconteceu com eles.
• O SCONE usa essas diferenças (contrastes) para descobrir quem está "mandando" em quem. Se o comportamento de A muda quando B muda, mas o comportamento de C não muda, A provavelmente é influenciado por B.

Etapa C: Juntando as Peças (Agregação Global)

Depois de analisar todos os pequenos grupos e comparar as diferenças, o SCONE usa uma técnica chamada "Atenção Axial" (uma espécie de cola inteligente) para juntar todas as pistas em um único mapa gigante.

• Ele garante que as regras que funcionam em uma mesa pequena também façam sentido no mapa da festa inteira.
• O resultado é um diagrama que mostra, com alta precisão, quem influencia quem, mesmo sem saber exatamente quem foi "forçado" a mudar.

3. Por que isso é importante? (A Magia da Escala)

Antes do SCONE, os métodos para descobrir essas relações funcionavam bem apenas em grupos pequenos (como 20 pessoas). Tente aplicar isso em uma rede social com 100 ou 1.000 pessoas, e os computadores antigos travavam ou ficavam confusos.

O SCONE é escalável. Ele consegue lidar com redes gigantes (como 100 nós ou mais) e ainda funciona bem mesmo quando os dados vêm de situações que ele nunca viu antes (generalização). É como ter um detetive que, depois de resolver um caso pequeno, consegue resolver um crime em uma cidade inteira sem precisar aprender tudo do zero.

Resumo em uma Frase

O SCONE é um sistema inteligente que, em vez de tentar ver tudo de uma vez, olha para pequenas partes de dois mundos diferentes, compara o que mudou entre eles para descobrir quem controla quem, e junta tudo isso para criar um mapa de causas e efeitos preciso, mesmo quando não sabemos exatamente quem foi "forçado" a mudar.

Em termos práticos: Isso ajuda cientistas a entender doenças (quem causa o quê no corpo), economia (como políticas afetam o mercado) e clima, mesmo quando os dados são imperfeitos e os experimentos são limitados.

Resumo técnico

1. O Problema

A descoberta causal a partir de dados observacionais é fundamental em diversas áreas (biologia, economia, clima), mas enfrenta limitações teóricas: os dados observacionais permitem identificar a estrutura causal apenas até uma Classe de Equivalência de Markov (MEC), onde a direção de muitas arestas permanece ambígua.

Embora dados intervencionais possam resolver essa ambiguidade, cenários reais apresentam desafios específicos que os métodos atuais não abordam adequadamente:

• Intervenções Suaves (Soft Interventions): Ao contrário de intervenções "perfeitas" (hard), onde uma variável é fixada, intervenções suaves alteram o mecanismo de geração de dados de uma variável sem mudar a estrutura do grafo subjacente.
• Alvos Desconhecidos: Em muitos casos práticos, não se sabe quais variáveis foram alvo da intervenção.
• Regime Único: Frequentemente, observa-se apenas um regime intervencionado (parado com o observacional), tornando difícil distinguir mudanças de mecanismo de ruído.
• Escalabilidade: Algoritmos existentes baseados em restrições (como $\Psi$-FCI) exigem acesso global a todas as independências condicionais e não escalam para grafos grandes. Além disso, métodos baseados em aprendizado profundo (como AVICI ou SEA) geralmente assumem intervenções perfeitas com alvos conhecidos, limitando sua generalização.

O objetivo do trabalho é desenvolver um modelo escalável capaz de recuperar a estrutura causal a partir de dois regimes (observacional e intervencionado) com alvos de intervenção suave desconhecidos, generalizando para grafos e mecanismos não vistos durante o treinamento.

2. Metodologia: SCONE

Os autores propõem o SCONE (Scalable contrastive Causal discOv-ery under unknowN soft intervEntions), uma arquitetura escalável baseada em aprendizado profundo que opera sob informações restritas (subconjuntos de variáveis e testes de invariância).

Abordagem Teórica

O modelo redefine o problema sob uma Classe de Equivalência $\Psi$ Restrita. Em vez de buscar a classe completa de equivalência (que exigiria oráculos globais), o SCONE foca no Grafo Essencial $\Psi$ Induzido por Testes ($G_{test}$), que é o grafo mais informativo recuperável dado apenas:

1. PDAGs (Grafos Parcialmente Direcionados) locais em subconjuntos de variáveis.
2. Um conjunto finito de consultas de invariância entre regimes.

O modelo prova que é são (sound) e consistente para recuperar esse grafo essencial restrito.

Arquitetura do Modelo

O SCONE opera em três estágios principais, integrando descoberta causal clássica com aprendizado profundo contrastivo:

1. Estimativa Local de Subconjuntos (Marginal Stream):

   • O modelo amostra subconjuntos admissíveis de variáveis (usando uma estratégia de amostragem gulosa que prioriza nós sensíveis às mudanças de regime).
   • Para cada subconjunto, aplica-se um ensemble de algoritmos de descoberta causal clássica (como PolyBIC) em ambos os regimes para gerar PDAGs locais.
   • As arestas locais são tokenizadas e codificadas em embeddings.

2. Reparametrização Contrastiva e Regras de Orientação (Bias Heads):

   • Os embeddings são reparametrizados em canais invariantes (estrutura comum) e contrastivos (diferenças entre regimes).
   • Três regras de orientação contrastiva aprendidas (Bias Heads) são aplicadas para resolver ambiguidades que os métodos locais não conseguem:
     • SSI (Single-Sided Invariance): Orienta arestas onde um nó é invariante e o outro muda entre regimes.
     • CVT (Contrastive V-structure): Identifica colisionadores (estruturas $A \to B \leftarrow C$) baseando-se na invariância do nó central e mudanças nas arestas incidentes.
     • DPT (Contrastive Discriminating Path): Usa caminhos discriminatórios em subgrafos para orientar arestas com base em padrões de invariância ao longo do caminho.

3. Agregação Global (Axial Attention):

   • Um mecanismo de atenção axial agrega as previsões locais de todos os subconjuntos e regimes.
   • Utiliza-se um fluxo global (baseado na matriz de precisão média) e um fluxo marginal (subconjuntos) que se comunicam via passagem de mensagens, permitindo que o contexto global refine as previsões locais e vice-versa.
   • Um cabeçalho global auxiliar prevê arestas para pares de nós não cobertos pelos subconjuntos amostrados.

3. Contribuições Principais

• Modelo Escalável: Introdução de uma arquitetura baseada em Transformers (atenção axial) capaz de lidar com grafos grandes (até 100+ nós) e intervenções suaves desconhecidas, superando a limitação de escalabilidade de métodos baseados em oráculos.
• Fundamentação Teórica Rigorosa:
  • Definição formal da Classe de Equivalência $\Psi$ Restrita e do grafo essencial induzido por testes.
  • Prova de que as regras de orientação contrastiva são $\Psi$-são restritas, garantindo que apenas arestas compelidas pela informação disponível sejam orientadas.
  • Demonstração de que métodos de agregação sem contraste não podem recuperar um subconjunto de arestas que o SCONE consegue.
• Generalização Out-of-Distribution (OOD): O modelo demonstra capacidade de generalizar para mecanismos causais não vistos (ex: treinar em mecanismos lineares/NN e testar em polinomiais/sigmoides) e para estruturas de grafos não vistas.
• Desempenho Empírico: Resultados superiores em recuperação estrutural, precisão e escalabilidade em comparação com state-of-the-art (AVICI, SEA, NOTEARS, DCDI).

4. Resultados Experimentais

Os experimentos foram realizados em dados sintéticos com diferentes tamanhos de grafo (20, 50, 100 nós) e densidades.

• Benchmark In-Distribution: Em grafos de 20 nós, o SCONE obteve o menor SHD (Distância Hamming Estrutural) e o maior F1 entre todos os baselines, superando métodos como NOTEARS e DCDI.
• Generalização Out-of-Distribution: Ao treinar em mecanismos lineares e testar em polinomiais/sigmoides, o SCONE manteve robustez, enquanto outros métodos sofreram degradação significativa no desempenho.
• Escalabilidade:
  • Em grafos de 100 nós, o SCONE foi o único método viável em termos de tempo de execução e precisão.
  • Métodos como DCD-FG e SEA falharam em escalar (tempo de execução proibitivo ou SHD extremamente alto devido a grafos densos e imprecisos).
  • O SCONE alcançou um SHD de $126.7 \pm 25.0$e F1 de$0.237$em grafos de 100 nós, enquanto o próximo melhor (AVICI) teve F1 de apenas$0.100$.
• Estudos de Ablação:
  • A remoção das regras de viés contrastivo (Bias Heads) aumentou o SHD e reduziu o F1, provando que a orientação contrastiva é essencial para recuperar arestas adicionais.
  • A remoção das características contrastivas (reparametrização, estatísticas de pares) degradou severamente o desempenho, confirmando a necessidade de explorar a invariância entre regimes.

5. Significado e Impacto

O trabalho SCONE representa um avanço significativo na descoberta causal aplicada a cenários realistas. Ao lidar com intervenções suaves desconhecidas e escalar para grandes grafos, ele preenche uma lacuna crítica entre a teoria causal (que muitas vezes assume oráculos ideais) e a prática (onde dados são limitados e mecanismos são complexos).

A capacidade de generalizar para mecanismos não vistos e estruturas de grafos fora da distribuição torna o modelo particularmente valioso para aplicações em ciências biológicas e de dados, onde os dados experimentais são escassos e os mecanismos subjacentes podem variar. A abordagem de "agregar subconjuntos locais com atenção global" oferece um novo paradigma para a construção de modelos fundacionais (foundation models) para descoberta causal.