🤖 machine learning

Identifiable Multimodal Causal Representation Learning under Partial Latent Sharing

本文在灵活的非参数假设下，为具有部分共享结构的多模态数据中的因果潜在表示建立了分量可识别性保证，并引入了一种基于可微 Wasserstein 距离的模块以有效恢复这些结构，在大量实验中优于最先进的方法。

原作者： Manal Benhamza, Marianne Clausel, Myriam Tami

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Manal Benhamza, Marianne Clausel, Myriam Tami

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图弄清楚犯罪现场发生了什么，但你没有单一、清晰的视频录像。相反，你有三位不同的目击者：一位通过鱼眼镜头（一种扭曲的广角视图）看到了事件，另一位通过闷响的墙壁（一种特定且有限的声音）听到了事件，第三位则通过有色玻璃窗（一种经过着色过滤的视图）看到了事件。

你的目标是重构真实事件（即“潜在变量”），并理解它们如何相互导致（即“因果结构”），尽管没有任何一位目击者能完美地看到全貌。

本文提出了一种新方法来实现这一目标，只不过处理的是计算机数据而非犯罪现场。以下是用通俗语言进行的分解说明：

1. 问题：缺失碎片的“拼图”

在人工智能领域，我们常常试图从一堆杂乱的数据中寻找“隐藏原因”。

挑战：通常，人工智能模型假设只要拥有足够的数据，就能推断出隐藏的原因。但在现实世界中，数据是“多模态”的（它以不同形式出现，例如核磁共振扫描、血液检测和基因报告）。
转折：这些不同的数据源并不都展示相同的内容。真相的某些部分是共享的（例如炎症同时出现在核磁共振和血液检测中），而其他部分则仅属于单一来源（例如仅在血液检测中看到的特定基因标记）。
旧方法：以前的方法试图通过假设数据源是彼此的完美镜像，或强迫人工智能基于严格且不切实际的规则进行猜测来解决这一问题。如果规则稍有偏差，人工智能就会学到错误的“真相”。

2. 解决方案：带有特殊工具的“智能翻译器”

作者提出了一种新方法，教导人工智能在不依赖严格规则或额外人工干预的情况下，将“共享”秘密与“私有”秘密区分开来。

可以将他们的方法想象为一个带有特殊Wasserstein 模块（一种复杂的数学工具）的智能翻译器。

翻译器（模型）：它查看所有来源（如核磁共振、血液检测等）的杂乱数据，并试图构建一个清晰、有序的隐藏原因列表。
特殊工具（Wasserstein 模块）：这是本文的秘诀。想象你有两堆来自不同盒子的乐高积木。有些积木是相同的（共享的），而有些是每个盒子独有的。这个工具就像一个超级智能的分拣员。它计算积木之间的“距离”，并推断出：“嘿，盒子 A 中的这块红色积木实际上与盒子 B 中的那块红色积木是相同的。”
- 它通过解决一个“运输问题”（以最小的努力将物品从一堆移动到另一堆）来实现这一点。
- 关键在于，它是自动完成的。它不需要人类说“这两者是相同的”。它能自己推断出来。

3. 重大突破：“分量级”清晰度

本文最重要的主张是关于可识别性。

旧保证（块级）：以前的方法只能承诺：“我们找到了一组可能是正确的积木，但我们无法确切告诉你哪块积木是哪块。”这就像说“我们找到了红色那一堆”，但不知道哪块具体的红色积木是关键。
新保证（分量级）：本文证明，他们的方法可以单独识别每一个特定的隐藏原因。
- 他们可以说：“我们代码中的这个特定数字确切地代表炎症水平”，而“另一个数字确切地代表基因风险”。
- 即使数据是“欠完备”的（意味着数据源拥有的信息多于隐藏原因，这在现实生活中很常见，比如拥有一张简单物体的高分辨率照片），他们也能做到这一点。

4. 他们如何证明（“稀疏性”规则）

为了确保人工智能不会只是随机猜测，作者使用了一条名为因果结构稀疏性的规则。

类比：想象一棵家谱树。在真实的家谱树中，大多数人只有少数几个直系父母和子女。他们与家族中的每个人都没有联系。
本文假设隐藏原因与此类似：它们只影响少数其他事物，而非所有事物。通过强迫人工智能寻找这些“稀疏”（简单）的连接，数学证明人工智能必须找到正确的隐藏原因才能使数据吻合。

5. 结果：它有效吗？

团队在以下数据上测试了他们的“智能翻译器”：

合成数据：预先知道答案的虚构数字。
真实数据：物体的 3D 图像和文本描述，甚至模拟的基因数据。

结果：他们的方法 consistently 击败了当前的“最先进”（SOTA）方法。它在以下方面表现更好：

恢复精确的隐藏数值（高相关性）。
推断隐藏变量之间正确的因果关系。
处理不同数据源仅共享部分信息而非全部信息的情况。

总结

本文介绍了一种新的数学框架，使人工智能能够查看多种类型的数据（如图像、文本或医学测试），找出数据的哪些部分共享相同的隐藏原因，哪些部分是独特的。它利用一种巧妙的“排序”工具自动对齐这些共享部分。最重要的是，它在数学上证明了人工智能可以逐个识别确切的隐藏原因，而不仅仅是模糊的群体，从而使人工智能的“理解”更加可靠和可解释。

技术摘要：部分潜在变量共享下的可识别多模态因果表示学习

问题陈述
因果表示学习（CRL）旨在从高维观测数据中揭示有意义的潜在变量及其因果结构。然而，CRL 的一个关键瓶颈是可识别性：若缺乏保证，学习到的表示可能在结构上不同于真实的数据生成过程，从而损害可解释性和鲁棒性。

现有的多模态 CRL 方法面临显著局限：

限制性假设：许多方法假设双射混合函数（即观测维度与潜在维度相等），这对于图像数据等场景是不现实的，因为此类场景中观测是高维的，而潜在变量是低维的（欠完备设定）。
有限的共享模式： prior 工作通常专注于非重叠的潜在结构或完全共享的结构（即所有模态依赖于同一组潜在变量）。鲜有研究解决部分共享结构，即特定子集的模态共享潜在变量，而其他模态保持模态特异性。
对辅助信号的依赖：许多方法依赖监督、干预或时间依赖，而这些在现实世界场景中并不总是可用。

本文旨在解决在多模态设定下，针对具有部分共享潜在结构的因果潜在表示建立分量级可识别性的挑战，且无需参数化分布假设、监督或干预。

方法论

1. 理论框架
作者构建了一个潜在变量模型，其中观测模态 $x^{(m)}$ 通过平滑、单射（但不一定双射）的混合函数 $f_m$ 由因果潜在变量的子集 $z_{A_m}$ 生成。潜在变量 $z$ 遵循由 $z_j = g_j(Pa(z_j), \epsilon_j)$ 定义的结构因果模型（SCM）。

核心理论贡献是在以下条件下证明了分量级可识别性（即每个潜在变量可恢复至平滑可逆变换的程度）：

单射性与真性：混合函数是单射且真的（防止在极端值处信息丢失）。
因果结构稀疏性：潜在变量的因果图表现出稀疏性，具体限制了不同模态特定变量之间的因果边。
部分共享：没有任何单个潜在变量被所有模态共享；共享仅发生在子集之间。
混合密度：因果结构确保非置换变换会增加因果边的密度，从而违反稀疏性约束。

这些条件允许在欠完备场景（ $|A_m| \leq d_m$ ）下，即使对于共享变量（多个模态子集共有）和模态特异性变量，也能实现分量级双射恢复。

2. 学习框架
为了落实这些理论保证，作者提出了一个包含三个主要组件的生成式框架：

自编码器结构：模态特异性编码器将观测数据 $x^{(m)}$ 映射到潜在估计 $\hat{z}_{A_m}$ ，随后解码以重建观测数据。
基于 Wasserstein 的可插拔模块：这是一个新颖的、可微分的模块，用于学习部分共享的潜在结构。它将共享变量的对齐形式化为最优传输问题。通过最小化不同模态潜在变量之间的传输成本（基于 Wasserstein 距离），该模块学习一个置换矩阵 $P$ ，以识别哪些潜在分量在模态间共享。该模块与架构无关，且无需辅助监督。
因果结构学习：该框架采用掩码自回归归一化流（Masked Autoregressive Normalizing Flow）来建模外生噪声，并使用可学习的邻接矩阵来推断因果图。通过施加稀疏性（ $L_1$ 正则化）和无环约束，以满足理论可识别性条件。

主要贡献

分量级可识别性保证：本文确立了在具有部分共享的多模态设定下，共享变量和模态特异性潜在变量均可实现分量级可识别，放宽了 prior 工作所要求的严格双射假设。
欠完备设定：理论结果即使在每个模态中观测变量数量超过潜在变量数量时依然成立。
架构无关模块：引入了一种基于 Wasserstein 的可微分模块，无需额外的训练数据、监督或干预即可恢复共享结构的置换矩阵。
泛化性：该工作将先前的块级识别结果推广到更灵活的设定，其中模态不一定是彼此的增强版本。

实验结果
作者在合成数值数据集（2、3 和 4 个模态）、合成 3D 图像 - 文本数据集（MultiModal3DIdent）以及基因调控网络数据集（SERGIO）上评估了其方法。

指标：性能使用平均相关系数（MCC）、决定系数（ $R^2$ ）和增强结构汉明距离（EnSHD）进行衡量。
发现：
- 在所有数值数据集上，所提方法在 $R^2$ 方面优于最先进基线（CausalVAE、多模态对比学习、MultiBio、MultiView），表明对真实潜在结构的恢复更好。
- 在 MultiModal3DIdent 数据集上，该方法相比基线取得了更优异的 $R^2$ 分数。
- 在基因调控网络数据集上，该方法取得了最高的 MCC（0.98），证实了其在真实世界生物数据上的适用性。
- 在恢复因果图（EnSHD）方面，该方法表现出与依赖对比学习或块级识别的基线相当或更优的性能。

意义与主张
本文主张其主要意义在于为可识别性提供了比现有工作更弱的理论条件。通过消除对双射混合函数、参数化分布假设以及辅助信号（监督/干预）的需求，所提出的框架提供了一种更实用、更灵活的学习可解释因果表示的方法。

作者强调，其分量级可识别性保证确保了学习到的表示不仅在结构上相似，而且是个体可恢复的，这对于需要特定因果因子的下游任务至关重要。基于 Wasserstein 模块的引入提供了一种实用的机制，以可微分的方式处理部分共享结构的复杂对齐，弥合了理论可识别性与深度学习实现之间的差距。