🤖 machine learning

Unsupervised Causal Abstractions Discovery

本文通过证明低秩因果图会诱导出可辨识的高层潜在变量，并提出了一种直接从低层测量值中学习这些高层结构因果模型的实用目标函数，从而解决了无监督因果抽象发现的挑战。

原作者： Théo Saulus, Simon Lacoste-Julien, Dhanya Sridhar

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Théo Saulus, Simon Lacoste-Julien, Dhanya Sridhar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一支规模宏大、复杂的管弦乐队是如何演奏交响乐的。你有一份所有乐器的录音（这些是“低层级”数据：100 把小提琴、50 支长笛、20 面鼓），但听 170 个独立的轨道会让你感到难以招架。你想理解的是“音乐”本身——旋律、和声、节奏（这些是“高层级”概念）。

通常，为了理解音乐，指挥家（专家）会进行猜测：“我认为小提琴在演奏旋律，”然后通过检查录音来验证自己是否正确。这是旧的方法：假设检验（Hypothesis Testing）。你需要先有一个猜想，然后才能进行验证。

这篇论文提出了一个不同的问题：我们能否仅仅通过聆听乐器，就自动发现其中的“音乐”，而不需要指挥家预先给出猜想？

作者们说“可以”，但前提是这支管弦乐队必须遵循一种特定的、有组织的模式。以下是他们实现这一目标的方式，我们使用简单的类比来解释：

1. 问题所在：变量太多，线索太少

在复杂系统（如大脑或深度学习计算机程序）中，有成千上万个微小的部分（神经元或变量）在相互作用。如果你试图绘制出每一个部分如何与每一个其他部分进行交流的图谱，那将是一团乱麻。这就像是在没有看到故事全貌的情况下，试图通过逐帧观看电影画面来理解剧情一样。

2. 秘诀所在：“低秩”结构

作者假设该系统具有一种隐藏的简洁性。他们称之为**“低秩”（Low-Rank）**结构。

类比： 想象一个合唱团，歌手们并不是在随机地唱着不同的音符。相反，他们被分成了 5 个截然不同的声部（女高音、女中音、男高音、男低音、低音）。

低层级视角看到的是 100 个独立的个体声音。
高层级视角看到的仅仅是 5 个声部。

该论文假设许多个体声音只是这些 5 个声部的副本或变体。如果你了解了这 5 个声部，你就能解释整个合唱团。用数学术语来说，100 个人之间复杂的连接网络，可以被压缩成连接这 5 个小组的更小的网络。

3. 发现过程：寻找“锚点”

这是最棘手的部分：如果你只是在听合唱，你如何知道哪些歌手属于哪个声部？也许女高音声部和男高音声部混在一起了。你该如何将它们分离？

作者引入了一个规则，称为**“锚点假设”（Anchor Assumption）**。

类比： 想象在这个合唱团中，存在着一些“超级歌手”。

内锚点（In-Anchor）： 一位歌手只听从女高音声部领队的指令，而不听从其他任何人的指令。
外锚点（Out-Anchor）： 一位歌手只按照女高音声部领队的要求来演唱，不受其他任何人的影响。

如果你能在数据中找到这些“超级歌手”（锚点），你就可以利用它们作为地图。因为它们与特定的声部有着如此独特的联系，它们就像灯塔一样。一旦找到了灯塔，你就可以弄清楚哪些其他歌手属于同一个声部。

论文证明，如果这些“锚点”确实存在，你就可以在数学上保证，无需预先进行猜测，就能找到正确的高层级分组（即那 5 个声部）。

4. 结果：一种新的“操控”系统的方法

一旦计算机学习了这些高层级分组（即“因果抽象”），它就能更好地理解该系统。

旧方法： “我认为如果我改变女高音声部，旋律就会改变。让我尝试改变 50 个个体歌手，看看我的猜测是否正确。”（缓慢、昂贵、需要猜测）。
新方法： 计算机已经搞清楚了：“啊，旋律是由‘女高音组’控制的。” 现在，如果你想改变旋律，你可以直接对“女高音组”进行干预。

论文在两个方面测试了这一点：

伪造数据： 他们创建了一个已知答案的伪造系统。计算机成功找到了隐藏的分组，证明了数学逻辑是成立的。
一个简单的神经网络： 他们训练了一个计算机程序来检查一个数字是否能被 6 整除。该程序发现，这个网络在秘密地使用两个主要概念：“是否能被 2 整除？”以及“是否能被 3 整除？” 它仅仅通过观察低层级的数学运算，就发现了这些高层级的概念。

总结

这篇论文提供了一套配方，用于自动寻找复杂系统内部的“大局观”规则。

它假设系统被组织成几个隐藏的组（低秩）。
它寻找能够唯一标识这些组的特殊“锚点”信号。
如果这些锚点存在，它可以在数学上证明它已经找到了正确的高层级结构。

这意味着，未来我们或许能够观察一个复杂的 AI 或生物系统，并直接说出：“这就是它正在使用的 5 个主要概念”，而无需专家告诉我们这些概念可能是什么。

技术摘要：无监督因果抽象发现

问题陈述

本文旨在解决直接从低层测量值中发现高层因果抽象的问题，而不依赖于专家提出的假设。现有的机械解释性（mechanistic interpretability）和因果抽象（causal abstraction）工作大多遵循“假设检验”范式——即由专家提出一个候选的高层结构因果模型（SCM），以验证低层系统（例如深度神经网络）是否实现了该模型——但对于那些尚未被完全理解的系统而言，这种方法成本高昂且难以实现。作者旨在解决互补的问题：如何以无监督的方式，直接从低层观测中学习一个高层 SCM。

方法论

理论框架：因子 DAG 与低秩结构

作者利用了因子有向无环图（f-DAGs）的概念，这是一类低层变量由少量潜在因子参数化的模型。这依赖于一个假设，即低层因果图的邻接矩阵 $A$ 具有低秩结构（具体而言，其布尔秩 $m < n$ ）。

因子分解： 低层邻接矩阵 $A$ 被分解为 $A = Q \diamond R^\top$ ，其中 $Q$ 代表从观测变量到潜在因子的边（ $X \to Z$ ）， $R$ 代表从因子回到变量的边（ $Z \to X$ ）。
因果抽象： 作者形式化了低层 SCM ( $L$ ) 与基于潜在因子的高层 SCM ( $H$ ) 之间的关系。他们证明，如果低层系统是由 f-SCM 生成的，那么在因子上折叠后的 SCM 是低层 SCM 的一个一致变换（uniform transformation）。这意味着高层模型在特定的状态映射和干预映射下，能够保留低层系统的干预行为。

可识别性与锚点假设

本文的一个关键贡献是确立了这些潜在因子在何种条件下是可识别的。

锚点假设（The Anchor Assumption）： 受主题模型启发，作者引入了“锚点”条件。对于每个潜在因子 $Z$ ，必须至少存在一个入锚（in-anchor）（一个仅作为 $Z$ 的子节点的低层变量 $X$ ）和一个出锚（out-anchor）（一个仅作为 $Z$ 的父节点的低层变量 $X$ ）。
可识别性结果： 在该假设下（连同标准的因果充分性和忠实性假设），作者证明了：
1. 邻接矩阵的布尔分解在因子排列（permutation）意义下是唯一的。
2. f-SCM 的机制在简单的重参数化（特别是如果机制是线性的，则为仿射变换）意义下是可识别的。

实践实现：UCAD

作者提出了一个名为**无监督因果抽象发现（UCAD）**的实用算法，将学习问题表述为一个受约束的优化任务。

目标： 模型在满足特定约束的同时，最大化观测数据的似然函数。
约束条件：
1. 无环性 (CDAG)： 强制要求学习到的图是一个 DAG，并针对低秩结构进行了调整，以确保分层系统中呈现块上三角结构。
2. 锚点 (Canchors)： 强制要求每个因子都存在入锚和出锚，以确保可识别性。
3. 稀疏性： 通过 $L_1$ 约束来防止过拟合。
近似变换： 学习目标通过一个“近似变换”界限与理论目标联系起来。作者表明，最小化学习目标（负对数似然）线性地界定了近似高层因果抽象的误差。

关键结果

合成实验

作者在具有不同复杂度（线性/非线性机制、分层/非分层结构、噪声水平）的合成 f-SCM 上验证了 UCAD。

潜在因子恢复： 该方法成功恢复了真实的潜在因子。当机制为线性时，学习到的因子与真实因子之间的平均相关系数（MCC）达到了 0.83。
非线性情况： 在完全非线性的设置中，MCC（Pearson）有所下降（这符合预期，由于存在任意的双射变换），但随机依赖系数（MCC-RDC）保持在高位（0.70–0.79），表明成功恢复了底层结构（在非线性重参数化意义下）。
鲁棒性： 性能在变量数量（16–128）和因子数量（3–8）的变化下表现出高度的稳定性。

神经网络解释性

该方法被应用于解决“能否被 6 整除”任务的深度神经网络（MLP）。

概念恢复： 模型成功识别了对应于“被 2 整除”（ $c_2$ ）和“被 3 整除”（ $c_3$ ）这两个直观概念的因子。
指标： 与负对照组（无关的质数）相比，学习到的因子与假设概念表现出强烈的对齐性（正向概念的 MCC-RDC 为 0.72，而负对照组的对齐度接近于零，仅为 0.07）。
具体发现： 其中一个学习到的因子与“被 2 整除”这一概念的 Pearson 相关系数为 0.80，这表明网络一致地实现了该逻辑。

重要性与主张

本文声称提供了第一个从纯粹的低层数据中进行无监督因果抽象发现的理论与实践框架。

理论贡献： 它架起了低秩因果发现与因果抽象理论之间的桥梁，证明了低秩假设自然地诱导出了有效的高层抽象。它确立了“锚点假设”足以使这些潜在因子在平凡等价意义下是可识别的。
实践贡献： 它将这些理论保证转化为可微分的学习目标（UCAD），使其可以应用于现实世界的系统，如深度神经网络（DNN）。
局限性说明： 作者承认了局限性，指出当前方法需要预先知道潜在因子的数量，并且将规模扩展到更大、更复杂的系统（如大语言模型）需要进一步的优化研究。他们还指出，虽然该方法可以识别因子，但解释 DNN 所学习到的具体启发式逻辑仍然具有挑战性，因为与某个概念的低一致性可能意味着底层采用了不同的策略，而非方法的失败。

这项工作定位为迈向自动化发现复杂系统中高层因果结构的一步，超越了对专家直觉生成假设的依赖。