Federated Causal Discovery Across Heterogeneous Datasets under Latent Confounding

Este artigo apresenta o fedCI e o fedCI-IOD, métodos de descoberta causal federada que permitem testar independência condicional e inferir relações causais sob confusão latente em conjuntos de dados heterogêneos e distribuídos, preservando a privacidade e superando limitações de amostragem local.

O essencial

Imagine que você e vários amigos estão tentando descobrir a receita secreta de um bolo incrível. Cada um de vocês tem um pedaço diferente da receita:

• Você tem a lista de ingredientes (farinha, ovos).
• Seu amigo tem as instruções de mistura.
• Outro tem o tempo de forno.
• E ninguém tem a lista completa de todos os ingredientes e passos juntos.

Além disso, cada um está cozinhando em uma cozinha diferente, com fogões que funcionam de um jeito próprio (o que chamamos de "efeitos específicos do local"). E, pior ainda, existe um "segredo" que ninguém vê (um ingrediente mágico ou um fantasma na cozinha) que está influenciando o resultado, mas que ninguém sabe que existe.

O grande problema? Ninguém pode enviar sua receita para um único lugar, porque as leis de privacidade (como o GDPR) proíbem compartilhar dados sensíveis. Vocês precisam descobrir a receita completa sem nunca mostrar o que têm nas mãos uns dos outros.

É exatamente esse o desafio que o artigo "Descoberta Causal Federada em Conjuntos de Dados Heterogêneos sob Confusão Latente" resolve.

Aqui está a explicação simples do que eles criaram:

1. O Problema: O Quebra-Cabeça Impossível

Antes, para descobrir como as coisas se relacionam (causalidade), os cientistas precisavam juntar todos os dados em uma única mesa gigante. Mas, com dados de saúde, finanças ou indústria, isso é proibido por privacidade.

• O jeito antigo (Meta-análise): Era como cada um tentar adivinhar a receita sozinho e depois somar os palpites. O problema é que, se cada um tem poucos dados, o palpite fica fraco e cheio de erros.
• O problema dos dados mistos: Às vezes, um site tem dados numéricos (temperatura), outro tem dados de sim/não (doente/saudável) e outro tem categorias (tipo de doença). Misturar tudo era um pesadelo.
• O "Fantasma" (Confusão Latente): Às vezes, duas coisas parecem estar relacionadas, mas na verdade são causadas por algo que ninguém está medindo. Ignorar isso leva a conclusões erradas.

2. A Solução: O "fedCI" (O Chef Federado)

Os autores criaram uma ferramenta chamada fedCI. Pense nela como um chef mestre que coordena a cozinha sem entrar nela.

• Como funciona: Em vez de enviar os dados (os ingredientes), cada participante envia apenas "sinais matemáticos" (como um resumo de como a mistura está ficando).
• A Mágica da Privacidade: Eles usam um truque chamado "máscara aditiva". Imagine que cada chef adiciona um pouco de sal secreto à sua mistura antes de enviar o sinal. O chef mestre soma todos os sinais. O sal secreto de um cancela o sal secreto do outro no total, mas o resultado final da receita (o modelo estatístico) sai perfeito. Ninguém sabe o que o outro tem, mas todos colaboram para o resultado.
• Lidando com a Heterogeneidade: O fedCI é inteligente. Se você só tem farinha e eu só tenho ovos, ele sabe como usar nossas partes separadas para entender a relação entre elas, mesmo que não tenhamos os mesmos ingredientes. Ele lida com números, textos e categorias misturadas.

3. A Grande Inovação: O "fedCI-IOD" (O Montador de Quebra-Cabeças)

Eles pegaram o fedCI e o conectaram a um algoritmo antigo chamado IOD (Integração de Conjuntos de Dados Sobrepostos).

• O que o IOD faz: Ele é como um montador de quebra-cabeças que pega pedaços de imagens de várias caixas diferentes e tenta montar a imagem completa, mesmo que algumas caixas tenham peças faltando.
• O que mudou: Antes, o IOD precisava que todos enviassem as peças para uma mesa central (o que quebra a privacidade). Agora, com o fedCI-IOD, o montador de quebra-cabeças trabalha de forma federada. Ele usa os sinais secretos dos chefs para montar a imagem completa da "causalidade" (quem causa o quê) sem nunca ver as peças individuais.

4. Por que isso é incrível? (A Analogia da Força)

Imagine que você está tentando ouvir uma conversa fraca em um bar barulhento.

• Sozinho (Local): Você ouve apenas ruído. Você acha que não há conversa (erro).
• Meta-análise (Somar palpites): Cada um ouve um pouco e diz "acho que ouvi algo". Juntando os palpites, ainda é confuso.
• fedCI (Federado): É como se todos os microfones do bar se conectassem instantaneamente para formar um único som gigante e claro. O fedCI combina a força de todos os dados para ouvir a conversa com clareza, mesmo que cada microfone individual fosse ruim.

5. O Resultado Prático

Os autores não só criaram a teoria, mas também entregaram as ferramentas de verdade:

• Um pacote em Python para quem programa.
• Um pacote em R para estatísticos.
• Um site (Web App) onde qualquer pessoa pode subir seus dados (de forma segura), conectar-se a outros e descobrir a receita causal juntos.

Resumo da Ópera:
Eles criaram um sistema que permite que hospitais, bancos e empresas descubram "o que causa o quê" em seus dados, mesmo que:

1. Não possam compartilhar os dados brutos (privacidade).
2. Tenham dados diferentes uns dos outros (heterogeneidade).
3. Existam fatores ocultos que ninguém vê (confusão latente).

É como resolver um quebra-cabeça gigante onde cada peça está trancada em um cofre diferente, mas o cofre tem um mecanismo mágico que permite montar a imagem final sem nunca abrir os cofres.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Federated Causal Discovery Across Heterogeneous Datasets under Latent Confounding", estruturado conforme solicitado:

1. O Problema

A descoberta causal em múltiplos conjuntos de dados é frequentemente limitada por regulamentações de privacidade de dados e heterogeneidade entre locais (sites), o que impede o uso de métodos convencionais que exigem um único conjunto de dados centralizado. Os desafios principais identificados são:

• Restrições de Privacidade: Dados sensíveis (ex: saúde) não podem ser compartilhados ou centralizados.
• Heterogeneidade de Dados: Os conjuntos de dados distribuídos frequentemente possuem:
  • Conjuntos de variáveis não idênticos (particionamento vertical e horizontal).
  • Tipos de variáveis mistos (contínuas, ordinais, binárias, categóricas).
  • Efeitos específicos de cada local (site-specific effects).
• Confounders Latentes: A maioria dos métodos existentes assume "suficiência causal" (todos os confundidores são observados), o que raramente é verdade em cenários do mundo real.
• Falta de Implementação Prática: Métodos existentes carecem de implementações de software robustas e prontas para uso que lidem com todos esses fatores simultaneamente.

O objetivo é inferir relações causais confiáveis a partir de dados observacionais distribuídos, heterogêneos e com confundidores latentes, preservando a privacidade e maximizando o poder estatístico.

2. Metodologia

Os autores propõem o fedCI-IOD, um pipeline que integra duas inovações principais:

A. fedCI (Teste de Independência Condicional Federado)

O fedCI é um novo framework para testar a independência condicional (CI) entre variáveis em um ambiente federado.

• Base Estatística: Utiliza Testes de Razão de Verossimilhança (LRT) baseados em Modelos Lineares Generalizados (GLMs). Os GLMs permitem lidar com tipos de dados mistos e são otimizados via Iteratively Reweighted Least Squares (IRLS).
• Privacidade: Em vez de compartilhar dados brutos, os clientes calculam estatísticas locais (matriz de informação de Fisher e vetor de pontuação) e enviam ao servidor. Para proteger contra ataques de inversão de modelo, utiliza-se mascaramento aditivo par a par (pairwise additive masking), onde os clientes trocam máscaras entre si para ocultar suas contribuições individuais do servidor, sem alterar a atualização global.
• Heterogeneidade: O framework lida com conjuntos de variáveis não idênticos. Se um cliente não possui todas as variáveis necessárias para um teste específico, ele contribui com "nulos mascarados" (zero), mantendo a integridade do cálculo global sem revelar quais clientes participaram.
• Efeitos de Local: Oferece uma estratégia alternativa (fedCI-CA) baseada em ascensão coordenada para modelar efeitos de local como variáveis fixas sem revelar coeficientes sensíveis.

B. fedCI-IOD (Extensão Federada do Algoritmo IOD)

O algoritmo Integration of Overlapping Datasets (IOD) é uma extensão do FCI (Fast Causal Inference) projetada para lidar com múltiplos conjuntos de dados com variáveis sobrepostas e confundidores latentes.

• Adaptação Federada: O IOD original usa o método de Fisher para combinar p-values de testes locais (meta-análise), o que perde poder estatístico. O fedCI-IOD substitui essa etapa pelo fedCI, permitindo a agregação direta de evidências estatísticas globais.
• Otimização Computacional: Os autores introduzem uma melhoria no algoritmo IOD que incorpora orientações derivadas de "triplos com ordem" (incluindo colisionadores e não-colisionadores) encontrados nos grafos locais. Isso reduz drasticamente o número de grafos candidatos (PAGs) que precisam ser validados, melhorando a eficiência sem comprometer a correção teórica.
• Saída: O resultado final é uma lista de Partial Ancestral Graphs (PAGs) que representam a classe de equivalência de Markov (MEC) consistente com as independências condicionais observadas em todos os sites.

3. Principais Contribuições

1. fedCI: O primeiro framework de teste de CI federado projetado especificamente para dados distribuídos com conjuntos de variáveis não idênticos, tipos de dados mistos e efeitos de local, com implementação em Python.
2. Implementação Privada do IOD: Um pacote R que implementa o algoritmo IOD de forma privada, suportando tanto meta-análise tradicional quanto a integração com testes federados (fedCI).
3. Plataforma Web FedCI-IOD: Uma aplicação web contêinerizada (cliente-servidor) que permite a descoberta causal federada em tempo real, tornando a tecnologia acessível para análises do mundo real.
4. Superação de Limitações Teóricas: É a primeira solução que simultaneamente lida com confundidores latentes, heterogeneidade de variáveis e privacidade rigorosa, mantendo as garantias teóricas de completude e correção do IOD.

4. Resultados

Os autores realizaram simulações extensivas comparando o fedCI-IOD com:

• Meta-análise (Fisher's Method): Combinação de p-values locais.
• Análise Centralizada (Pooled): Dados combinados em um único repositório (baseline ideal).

Achados Chave:

• Poder Estatístico: O fedCI alcançou um desempenho quase idêntico à análise centralizada, demonstrando que a agregação federada preserva o poder estatístico. Em contraste, o método de Fisher (meta-análise) mostrou degradação significativa no desempenho à medida que o número de partições aumentava, devido à perda de poder em amostras locais pequenas.
• Precisão Causal: Na descoberta causal (medida pela Distância de Hamming Estrutural Normalizada - SHD), o fedCI-IOD produziu grafos muito mais próximos da verdade fundamental do que o IOD com meta-análise. O viés conservador do método de Fisher levou a mais erros do Tipo II (falha em detectar dependências), resultando em estruturas causais incorretas.
• Robustez: O framework foi robusto a diferentes tamanhos de amostra, números de partições e níveis de heterogeneidade.
• Eficiência: A otimização do algoritmo IOD (uso de triplos com ordem) reduziu significativamente o tempo de computação ao diminuir o espaço de busca de grafos candidatos.

5. Significância

Este trabalho preenche uma lacuna crítica entre a teoria da descoberta causal federada e a aplicação prática.

• Viabilidade Prática: Ao fornecer software de código aberto (Python, R e WebApp), os autores permitem que pesquisadores e instituições (como hospitais) colaborem em modelos causais sem violar a privacidade dos dados.
• Impacto em Domínios Sensíveis: A capacidade de lidar com confundidores latentes e dados heterogêneos torna o método aplicável em cenários complexos como medicina de precisão e economia, onde a suficiência causal é improvável e os dados são fragmentados.
• Avanço Metodológico: Demonstra que é possível superar as limitações da meta-análise tradicional em cenários federados, oferecendo uma alternativa estatisticamente superior que não sacrifica a privacidade.

Em resumo, o fedCI-IOD estabelece um novo padrão para a descoberta causal em ambientes distribuídos, combinando rigor estatístico, privacidade robusta e eficiência computacional.