Federated Causal Discovery Across Heterogeneous Datasets under Latent Confounding

本文提出了 fedCI 及其扩展算法 fedCI-IOD，通过联邦学习框架在保护隐私的前提下，实现了跨异构数据集（含不同变量集、特定站点效应及混合变量类型）且存在潜在混杂因素的高效因果发现。

要点

这篇文章介绍了一项名为 fedCI-IOD 的新技术，旨在解决一个非常现实的问题：如何在保护隐私的前提下，让分散在不同地方的数据“联手”找出事物之间的因果关系。

为了让你更容易理解，我们可以把这项技术想象成一场**“全球侦探大协作”**。

1. 背景：为什么我们需要“侦探协作”？

想象一下，你是一名侦探，想要找出“吃某种食物”和“生病”之间是否有因果关系。

• 传统方法（集中式）： 你需要把全世界所有医院、所有病人的数据都收集到一个巨大的中央数据库里。但这在现实中几乎不可能，因为隐私法律（比如 GDPR）禁止你把病人的私人数据随便转移，而且不同医院的数据格式也不一样（有的记录身高是厘米，有的是英寸；有的有基因数据，有的没有）。
• 旧有的联邦方法（Meta-analysis）： 以前的方法有点像“拼凑拼图”。每个医院只算出自己的小结论（比如 p 值），然后大家把这些小结论汇总。但这就像每个人只画了一小块图，拼起来往往是一团乱麻，因为样本量太小，导致很多微弱的线索被忽略了，或者因为数据不重叠（有的医院只有 A 和 B 的数据，没有 C），导致无法拼出完整的真相。

2. 核心创新：fedCI（联邦条件独立性测试）

这项研究首先发明了一个叫 fedCI 的工具。

• 比喻：秘密的“数学接力赛”
  想象每个医院（客户端）是一个独立的房间，里面藏着数据。他们不能把数据带出房间。
  fedCI 就像是一个精密的数学接力赛。

  • 每个房间里的侦探（算法）在自己的数据上算出一些“中间数字”（就像接力棒）。
  • 这些数字被加密后传给中央服务器。
  • 服务器把这些数字加起来，就像把所有接力棒拼在一起，算出了一个**“全球总账”**。
  • 关键点： 在这个过程中，没有任何人看到原始数据。服务器只知道“总和”，不知道“谁贡献了多少”。

• 解决异质性（Heterogeneity）：
  这就好比有的侦探手里有 A、B、C 三张牌，有的只有 B、C、D。fedCI 很聪明，它知道怎么把大家手里的牌凑在一起算，哪怕大家手里的牌不一样多、不一样种类（有的数据是数字，有的是文字，有的是等级），它都能处理。

3. 核心升级：fedCI-IOD（联邦因果发现）

有了 fedCI 这个强大的“算数工具”，研究者把它装进了一个更宏大的框架里，叫 fedCI-IOD。

• 比喻：从“拼凑结论”到“共同构建地图”
  以前的方法（IOD 的旧版）是：大家各自画一张小地图，然后试图把小地图拼成一张大地图。如果小地图画错了（因为样本少，看不清），拼出来的大地图就是错的。

  fedCI-IOD 的做法是：
  大家不再各自画地图，而是共同构建一张全球大地图。

  • 利用 fedCI 的“全球总账”，每个侦探都能基于所有数据（而不仅仅是自己手里的）来判断两个变量之间是否有关系。
  • 即使某个变量只在 A 医院出现，另一个只在 B 医院出现，fedCI-IOD 也能通过中间变量把它们“串”起来，推断出它们之间是否存在因果联系。
  • 结果： 它画出的地图（因果图）非常清晰、准确，几乎和把所有数据都集中在一起画出来的地图一样好，但完全不需要移动任何原始数据。

4. 为什么这很重要？（实际效果）

• 更强的“视力”： 就像用望远镜看星星，单个医院的数据太少，看不清细节（统计效力低）。fedCI-IOD 把所有人的望远镜连在一起，瞬间拥有了“超级视力”，能发现以前看不见的微弱因果关系。
• 保护隐私： 就像侦探们隔着墙对话，只交换“线索摘要”，不交换“嫌疑人档案”。
• 处理复杂情况： 它能处理“有隐藏干扰因素”的情况（比如某个未记录的变量同时影响了食物和生病），这是很多旧方法做不到的。

5. 总结：这项技术带来了什么？

研究者不仅提出了理论，还把它做成了现成的软件工具（Python 包、R 包和一个网页应用）。

• 对于普通人： 这意味着未来在医疗、经济等领域，我们可以更安全、更准确地利用分散的数据来治病、制定政策，而不必担心隐私泄露。
• 对于数据孤岛： 它打破了“数据孤岛”，让那些因为隐私或格式问题无法合并的数据，能够像一家人一样协同工作，共同揭示世界的真相。

一句话总结：
这项技术就像给分散在世界各地的数据侦探们发了一套**“加密通讯耳机”和“共享白板”，让他们在不泄露各自秘密的前提下，联手画出了一张比任何单家侦探都更精准、更完整的“世界因果地图”**。

技术摘要

这篇论文提出了一种名为 fedCI-IOD 的创新框架，旨在解决在隐私保护、数据异构性（变量集不同、混合数据类型）以及潜在混杂因素存在的情况下，跨多个分布式数据集进行因果发现（Causal Discovery）的难题。

以下是该论文的详细技术总结：

1. 研究背景与问题陈述 (Problem Statement)

• 核心挑战：在医疗、经济等领域，理解变量间的因果关系至关重要。然而，由于隐私法规（如 GDPR）和伦理限制，数据通常分散在不同机构（站点），无法集中处理。
• 现有方法的局限性：
  • 元分析（Meta-analysis）：仅汇总统计量（如 p 值），未能充分利用原始数据信息，导致统计功效不足。
  • 现有联邦因果发现方法：大多假设所有站点拥有相同的变量集（完全重叠），或假设因果充分性（无潜在混杂因素），或仅支持特定数据类型（如仅分类数据）。
  • 实施缺口：缺乏能够同时处理非相同变量集、混合数据类型、站点特异性效应、潜在混杂因素，并提供可部署软件框架的公开工具。
• 目标：在严格隐私保护的前提下，从具有混合变量类型、非相同变量集、站点特异性效应和潜在混杂因素的分布式数据中，可靠地推断潜在的因果关系。

2. 方法论 (Methodology)

该研究提出了两个核心组件：fedCI（联邦条件独立性测试）和 fedCI-IOD（联邦集成重叠数据集算法）。

A. fedCI：联邦条件独立性测试框架

• 核心机制：基于广义线性模型（GLMs）和似然比检验（LRT）。
  • 利用 GLMs 处理连续、二值、有序和多分类等混合数据类型。
  • 使用**迭代重加权最小二乘法（IRLS）**的联邦版本来估计模型参数，无需共享原始数据。
• 隐私保护：
  • 成对加性掩码（Pairwise Additive Masking）：客户端之间交换掩码以隐藏各自的贡献，防止服务器或其他客户端推断单个站点的数据分布，同时保持全局统计量的准确性。
  • 站点特异性效应处理：引入了一种改进的坐标上升（Coordinate Ascent）策略（fedCI-CA），在本地计算站点效应系数，避免将这些敏感信息泄露给中央服务器。
• 处理非相同变量集：
  • 对于特定的条件独立性（CI）测试（如 $X \perp Y | Z$），只有拥有所有必要变量的客户端参与模型拟合。
  • 缺失变量的客户端发送“掩码后的零贡献”，确保隐私掩码流程完整，同时服务器仅聚合有效数据。
• 对称 p 值：采用 Tsagris 等人的方法，结合双向测试（$Y \sim X, Z$ 和 $X \sim Y, Z$）的 p 值，生成单一的综合 p 值，以解决有限样本下双向测试不一致的问题。

B. fedCI-IOD：联邦因果发现管道

• 基础算法：基于 IOD (Integration of Overlapping Datasets) 算法，该算法能在潜在混杂存在的情况下，从非相同变量集的数据中推断部分祖先图（PAGs）。
• 改进策略：
  • 隐私保护实现：将 IOD 的 CI 测试步骤替换为 fedCI 或基于 p 值的元分析，确保原始数据不离开本地。
  • 计算效率优化：提出了一种改进的 IOD 变体，不仅利用无屏蔽的碰撞器（unshielded colliders），还利用所有具有“顺序”（order）的三元组（包括碰撞器和非碰撞器）来推断祖先/非祖先关系。这减少了候选 PAG 的数量，避免了生成随后被验证步骤丢弃的不一致图，显著提高了计算效率。
• 软件实现：
  • fedCI：Python 包，提供客户端 - 服务器架构。
  • rIOD：R 语言包，提供隐私保护的 IOD 实现。
  • Web 应用：一个可自托管的容器化 Web 平台，允许用户上传数据并协作进行联邦因果发现。

3. 主要贡献 (Key Contributions)

1. fedCI 框架：首个专为非相同变量集、混合数据类型和站点特异性效应设计的联邦 CI 测试框架，具备完整的 Python 实现和隐私保护机制。
2. 隐私保护的 IOD 实现：首个提供隐私保护 IOD 算法的 R 包，支持基于元分析或联邦 CI 测试的协作因果发现，保留了理论上的完备性。
3. 端到端部署平台：开发了首个支持联邦因果发现的 Web 应用，能够处理异构数据、潜在混杂因素，并实现了从数据上传到生成全局 PAG 的完整流程。

4. 实验结果 (Results)

研究通过合成数据模拟（30 个不同的 5 节点 PAG，不同样本量和分区数量）进行了评估：

• 统计功效：
  • fedCI 的表现与集中式 pooled 分析（将数据合并）几乎完全一致，显著优于传统的Fisher 方法（元分析）。
  • Fisher 方法随着分区数量增加，统计功效显著下降，导致更多的第二类错误（未能拒绝错误的独立性假设）。
• 因果发现准确性：
  • 使用 fedCI-IOD 推断出的 PAG 与集中式基准的**结构汉明距离（SHD）**极小，表明其结构准确性极高。
  • 相比之下，使用 Fisher 方法的 IOD 产生的 PAG 错误更多，结构偏差更大。
• 计算效率：
  • 改进的 IOD 算法（利用所有有序三元组）在验证前生成的候选 PAG 列表长度显著减少（在某些情况下减少了数百个），大幅提升了计算效率，且未牺牲准确性。
• 隐私性：通过加性掩码和坐标上升策略，有效保护了客户端的原始数据和站点特异性效应信息。

5. 意义与结论 (Significance & Conclusion)

• 方法论突破：填补了联邦学习在因果发现领域的空白，特别是解决了潜在混杂、数据异构（垂直和水平分割）以及隐私保护同时存在的复杂场景。
• 实际应用价值：为多中心研究（如跨医院医疗数据分析）提供了切实可行的工具，使得在不共享敏感患者数据的情况下，能够构建高质量的因果模型。
• 开源生态：通过提供 Python 包、R 包和 Web 应用，极大地降低了使用门槛，促进了该领域的可复现性和实际应用。
• 未来方向：框架具有模块化设计，未来可进一步扩展至联邦广义线性混合模型（GLMMs）以处理随机效应，或引入更灵活的非参数方法。

总结：这项工作不仅提出了理论上的创新（fedCI 和优化的 IOD），还通过完善的软件生态系统，首次实现了在严格隐私约束下，针对高度异构和潜在混杂数据的分布式因果发现，为多中心数据协作分析树立了新的标杆。