🤖 machine learning

A Dialogue between Causal and Traditional Representation Learning: Toward Mutual Benefits in a Unified Formulation

本文提出了一种因果表示学习与经典表示学习的统一框架，通过基于任务与约束组件的定义弥合了二者的历史鸿沟，并通过实验证明因果约束的有效性高度依赖于其所配对的具体任务。

原作者： Yan Li, Yuewen Sun, Shaoan Xie, Gongxu Luo, Yunlong Deng, Kun Zhang, Guangyi Chen

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yan Li, Yuewen Sun, Shaoan Xie, Gongxu Luo, Yunlong Deng, Kun Zhang, Guangyi Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对这篇论文的解释。

宏观图景：两种思想流派

想象一下，教计算机“看见”并“理解”数据的世界就像一座巨大的图书馆。长期以来，这座图书馆被划分为两个几乎互不往来的独立区域：

“实用”区（传统表征学习）： 这些研究者就像大师级厨师。他们关心最终的菜肴（结果）。如果计算机能预测视频的下一帧，或者在照片中识别出一只猫，他们就认为这是成功的。他们关注计算机学会了做什么，通常通过试错法来寻找最佳食谱。
“理论”区（因果表征学习）： 这些研究者就像建筑师和物理学家。他们关心为什么建筑能屹立不倒。他们希望计算机理解世界的基本规则（例如，“如果我推这块积木，它会倒下，因为重力”）。他们关注计算机是否真正学会了数据背后的隐藏因果，而不仅仅是记住了模式。

问题所在： 厨师和建筑师说着不同的语言。厨师谈论“损失函数”和“准确率”，而建筑师谈论“可识别性”和“干预”。由于缺乏交流，他们有时会重复发明相同的轮子，或者错失对方拥有的绝妙想法。

解决方案：统一的蓝图

本文作者提出了一种用单一蓝图审视这两个领域的新方法。他们指出，每一种教计算机学习的方法都可以分解为两个简单的部分：

任务（“做什么”）： 计算机试图实现什么？它是试图猜测句子中的下一个词？重建模糊的图像？还是预测标签？这就是目标。
约束（“怎么做”）： 计算机在学习时必须遵循什么规则？它被允许使用任何混乱的内部逻辑，还是必须遵循特定的结构（例如特定的因果图）？这就是结构。

类比： 想象学习开车。

任务是从 A 点到达 B 点。
约束是你必须保持在车道内并遵守交通信号灯的规则。
传统学习非常侧重于快速到达 B 点，有时为了达成目标而忽略车道规则。
因果学习非常侧重于车道规则，确保汽车的行驶方式在路况变化时（例如开始下雨）依然合理。

“顿悟”时刻：它们彼此需要

论文认为，这两个区域应该停止互相忽视，开始协作。

建筑师（因果）给厨师（传统）的： 他们提供了一张理论地图，让人知道何时严格规则实际上是必要的。
- 例子： 想象一段机械臂移动的视频。如果关节是依次移动（有时间延迟）的，那么简单的“达成目标”任务可能就足够了。但如果关节同时移动并瞬间相互影响，仅靠简单的目标就不够了。计算机可能会学会一种“技巧”，在视频中有效，但如果你尝试控制机器人时就会失败。因果区会说：“嘿，在这种特定情况下，你需要一条结构规则，以防止计算机学会虚假的技巧。”
厨师（传统）给建筑师（因果）的： 他们提供了关于如何设计“任务”的实用建议，以便计算机真正学会正确的东西。
- 例子： 因果区可能会说：“我们需要计算机理解因果关系。”但他们可能不知道如何让计算机做到这一点。传统区会说：“试着让它重建图像的缺失部分，或者试着让它预测未来的帧。”论文表明，你选择的任务类型会影响因果规则的效果。

实验：测试食谱

为了证明这一点，研究人员在一个名为CausalVerse的合成世界（一个类似电子游戏的环境，他们确切知道其中的“物理”机制如何运作）中进行了实验。

他们采用了一种标准的因果学习方法（使用关于数据生成方式的严格规则），并用不同的任务进行了测试：

任务 A： 重建图像（像拼图一样）。
任务 B： 预测下一帧（像视频一样）。
任务 C： 对比学习（寻找不同视图之间的相似性）。
任务 D： 掩码预测（猜测缺失的部分）。

结果：
事实证明，“因果规则”并非在所有任务中都能同样有效地发挥作用。

当他们将因果规则与对比学习（寻找相似性）配对时，计算机学到了最好、最准确的世界理解。
当他们将相同的因果规则与掩码重建（猜测缺失部分）配对时，计算机的表现要差得多，尽管规则是相同的。

结论

论文得出结论：你不能仅仅设计一条“因果规则”就指望它在任何地方都有效。魔力发生在组合之中。

要点： 就像一顿美餐需要正确的食材（任务）和正确的烹饪方法（约束）一样，一个好的 AI 表征需要正确的学习目标和正确的结构规则。
未来： 研究人员不应将“因果”和“传统”视为敌人或独立的领域，而应进行混合搭配。利用因果学习的理论工具来知道何时添加规则，并利用传统学习的实用工具来设计最佳的任务以教授这些规则。

简而言之：不要只建造引擎（因果）；确保你行驶在正确的道路上（任务）。

技术摘要：因果表示学习与传统表示学习之间的对话

问题陈述

因果表示学习（CRL）与传统表示学习在历史上沿着不同的轨迹演进。传统方法主要由应用和实证目标（如预测精度、重建保真度）驱动，利用多样化的任务形式，如对比学习、掩码自编码和变换预测。相比之下，CRL 更具理论驱动性，专注于可识别性、结构因果模型以及潜在因果因子的恢复。

这种分歧造成了术语、问题表述和评估标准上的鸿沟。因此，这两个领域往往以脱节的成功标准来处理相关问题，导致工作冗余和交叉融合有限。核心问题在于缺乏一个统一的框架来理解“任务”（需要保留哪些信息）和“约束”（施加何种结构）在两种范式中的相互作用，特别是 CRL 的理论工具与传统学习的实证见解能否相互受益。

方法论：统一表述

作者提出了一种统一表述，通过两个 distinct 组件来刻画表示学习：

任务组件：指定学习到的表示 $Z$ 需要保留哪些信息。这由视图生成过程 $v(X)$ 、目标信号 $T(X)$ 以及相关的任务损失 $L_{task}$ 定义。
约束组件：指定对潜在空间施加何种结构。这由约束函数 $\Omega$ 及其权重 $\lambda$ 定义。

通用的学习目标表述为：
$\min_{\theta, \phi} \mathbb{E}_{X, \tilde{X} \sim v(X)} \left[ L_{task}(g_\phi(Z), T(X)) + \lambda \Omega(Z, X) \right]$
其中 $Z = f_\theta(\tilde{X})$ 。

统一框架下的分类

传统表示学习：主要关注任务组件。
- 任务驱动方法：包括目标预测（监督学习）、重建（自编码器）、部分信息预测（掩码建模）、变换校正（ pretext 任务）、对比学习以及聚类/原型学习。这些方法的主要差异在于视图 $\tilde{X}$ 和目标 $T(X)$ 的选择。
- 通用约束：一些传统方法添加非因果约束 $\Omega_{gen}$ 以塑造潜在空间，例如压缩（信息瓶颈）、分布对齐（VAE）、稀疏性、基于能量的偏好或离散性（量化）。
因果表示学习：以结构化因果约束 $\Omega_{causal}$ $Ω_{c a u s a l}$ 为特征。
- CRL 中的任务组件可以是任何标准目标（重建、对比等）。
- 其定义特征是因果约束，它将表示与潜在因果机制对齐。类别包括：
  - 稀疏机制约束：惩罚估计的因果图中的密集依赖。
  - 条件先验约束：使潜在分布与以辅助变量（如域、时间）为条件的结构化先验对齐。
  - 不变性和干预约束：强制跨环境或干预的不变统计量达成一致。
  - 函数约束：对生成过程施加结构性偏差（例如，加法解码器、以对象为中心的槽位）。

主要贡献

统一表述：本文引入了一种通用语言（任务 + 约束）来描述传统和因果表示学习，阐明了 CRL 并非一个独立的范式，而是带有结构化约束的表示学习的一种特定实例。
互惠受益分析：
- CRL $\to$ 传统：提供了理论工具来理解何时需要结构化约束。作者认为，任务充分性（例如，良好的预测性能）并不能保证恢复正确的潜在结构，特别是在存在瞬时关系或纠缠因子的情况下。
- 传统 $\to$ CRL：提供了关于任务设计的实证见解。本文提出，因果约束的有效性并非固有属性，而是高度依赖于与其配对的任务目标。
实证验证：作者在CausalVerse基准上进行了实验，以测试任务组件与因果约束之间的相互作用。

实验结果

该研究评估了不同的任务目标在与固定的因果约束配对时如何影响 CRL 方法的性能。实验在两个设置下进行：视频（机器人研究，57 维潜在空间）和图像（斜坡上的球，7 维潜在空间）。

任务 - 约束相互作用：因果约束的有效性因配对任务的不同而有显著差异。
- 在视频和图像设置中，对比学习在与因果约束配对时始终取得最高性能（通过平均相关系数 (MCC) 和 $R^2$ 衡量）。
- 基于重建的任务（许多 CRL 基线的标准）表现中等，但不及对比方法。
- 中间潜在重建和掩码重建（在视频设置中）表现显著较差，尽管使用了相同的因果约束。
模态差异：任务选择的影响在视频设置中更为明显，这可能是由于更高的维度和时间依赖性需要任务目标提供更强的归纳偏置。
实验结论：仅靠因果约束不足以保证恢复潜在的底层结构。任务与约束的恰当组合是决定性的。

意义与主张

本文主张，弥合 CRL 与传统表示学习之间的鸿沟对于推动该领域的发展至关重要。

理论见解：它挑战了“设计更好的因果约束是改进 CRL 的唯一途径”这一假设。相反，它强调了任务组件是一个同样关键的设计选择。
实践指导：对于从业者，研究结果表明，在应用 CRL 方法时，不应将任务目标视为固定的默认值（例如，总是使用重建）。相反，应系统地选择任务以补充所采用的特定因果约束。
未来方向：作者谦逊地指出，他们对任务组件的分析目前基于实证观察。为选择最佳的任务 - 约束组合建立原则性理论，仍是未来工作的开放方向。

本文总结道，统一的视角使这两个领域能够超越脱节的工作，利用 CRL 的理论严谨性和传统表示学习的实证稳健性，从而在现实世界应用中实现更好的因果解耦。