🤖 machine learning

Learning Coherent Representations: A Topological Approach to Interpretability

本文引入了“相干性”（coherence），这是一种受神经编码启发的几何属性，通过强制特征与样本之间的连续关系来保证数据与特征之间具有兼容的拓扑结构，从而通过一种称为 Coh 的新型可微目标函数来实现可解释的表示。

原作者： Sigurd Gaukstad, Melvin Vaupel, Valdemar Kargård Olsen, Erik Hermansen, Benjamin Dunn

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Sigurd Gaukstad, Melvin Vaupel, Valdemar Kargård Olsen, Erik Hermansen, Benjamin Dunn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题： “零散”的大脑

想象你有一个超级聪明的机器人（深度神经网络），它正在学习识别事物。通常，当这个机器人学习时，它会建立一个关于世界的内部隐藏地图。问题在于，这张地图往往是混乱的。

在标准的机器人中，单个“神经元”（机器人内部的一个微小开关）可能会同时为猫、汽车和香蕉而亮起，但仅针对这些事物的非常特定且随机的样本。这就像如果你的大脑中有一个神经元，只有当你看到“周二的红苹果”时才会放电，但看到“绿苹果”或“周三的红苹果”时却不会一样。这使得人类无法理解机器人到底在想什么。这些特征是“不连贯的”——它们是零散的，不符合几何逻辑。

灵感来源：大脑的 GPS

作者研究了真实动物大脑的工作方式。他们研究了两种类型的细胞：

网格细胞 (Grid Cells)： 它们充当 GPS 网格。当动物处于特定的、连续的空间区域（如地板上的一个瓷砖）时，这些细胞就会放电。
头向细胞 (Head Direction Cells)： 当动物面向特定方向（如北方）时，这些细胞会放电。如果你稍微转动一下，同一个细胞仍会放电。它覆盖了一个平滑且连续的弧形。

这些生物细胞是连贯的 (Coherent)。它们不会随机放电；它们覆盖了世界中整洁、相连的区块。如果你知道哪些细胞正在放电，你就能立刻知道动物在哪里，或者它正在看向哪里。

解决方案：“连贯性”

这篇论文提出了一个问题：我们能否教会人工机器人像生物大脑那样组织它们的内部地图？

他们引入了连贯性 (Coherence) 的概念。

类比： 想象一个图书馆。
- 不连贯（当前的 AI）： 一本关于“烹饪”的书既在烹饪区，也在“20 世纪 90 年代历史”区，还在“园艺”区，零散地分布着。如果你看“烹饪”书架，你会发现烹饪书，但也会发现随机的历史书。这是混乱的。
- 连贯（新方法）： 图书馆组织得非常好，以至于每一本“烹饪”书都整齐地排列在一个连续的行中。此外，图书馆中的每一本书都在其合理的行中被找到。“烹饪”行是一个完整的块，“历史”行也是一个完整的块。

在技术层面，论文将一个矩阵（机器人的内部地图）定义为连贯的，如果满足以下条件：

局部性 (Locality)： 每个样本（如一张猫的照片）激活的特征都是彼此的“邻居”，而不是零散的特征。
覆盖性 (Covering)： 每个特征都被某些样本所需要，且每个样本都能被某些特征很好地描述。既没有遗漏，也没有浪费。

魔法工具：拓扑学

他们如何衡量地图是否“整洁”？他们使用了数学的一个分支——拓扑学 (Topology)（研究形状的学科）。

类比： 想象机器人的数据是一块面团。
- 如果数据形成一个圆圈（如一个环），机器人的内部特征也应该形成一个圆圈。
- 如果数据形成两个独立的岛屿，那么特征也应该形成两个独立的岛屿。

作者证明了，如果机器人的地图是“连贯的”，那么数据的形状和特征的形状将会完美匹配。如果数据是一个圆圈，特征就必须将那个圆圈铺设成整齐、连续的弧线。它们不能是零散的。这保证了特征是可解释的，因为它们遵循与现实世界相同的“形状”。

新规则：COH

为了强迫机器人以这种方式学习，作者创建了一个新的规则（损失函数），称为 COH。

旧规则（稀疏性/Sparsity）： “只开启少数几个开关。” 这就像是在说，“只使用图书馆里的几本书。” 但你仍然可以将这几本书放在随机、零散的地方。
新规则（连贯性/Coherence）： “你开启的开关必须是邻居。” 这强迫机器人将相关的事物组合在一起。这不仅仅是关于激活了“多少”个东西，更是关于“哪些”东西被激活。它们必须在几何上是相互连接的。

他们测试了什么

他们在三项内容上进行了测试：

合成圆圈 (Synthetic Circles)： 他们给了机器人形状如圆圈的数据。使用新规则的机器人学习到的特征也是完美的圆圈。使用旧规则的机器人学习到的特征则是零散的混乱。
旋转数字 (MNIST)： 他们向机器人展示了不同角度旋转的数字（如“6”）。新规则让机器人学习到了与特定角度相对应的特征（例如，一个特征代表“正立”，一个特征代表“向左倾斜”）。旧规则的机器人无法清晰地做到这一点。
语言 (BERT)： 他们将此应用于语言模型。新规则并没有仅仅寻找随机的单词，而是找到了按清晰类别对单词进行分组的特征：一个特征对应“年份”（1990, 2005），一个对应“家庭成员”（母亲, 兄弟），一个对应“方向”（北, 南）。

总结

这篇论文不仅让机器人变得更聪明，还让机器人的“思维过程”变得可读。通过强迫机器人像组织邻居一样组织其内部地图（连贯性），我们得到了一个可以让我们观察一个特征并说：“啊，这个特征代表‘年份’或‘旋转角度’”的系统。

它将机器人的“黑盒”变成了一个图书馆，在这里，每本书都在正确的货架上，而且货架本身的几何逻辑也是通顺的。

技术摘要：学习连贯表示：一种基于拓扑学的可解释性方法

问题陈述

深度神经网络（DNN）学习到的表示中，单个潜在特征往往缺乏可解释的含义。虽然分类训练能够成功地在潜在空间中分离类别流形，但并不能保证单个神经元对应于人类可理解的概念。在诸如自动编码器之类的无监督设置中，这一问题更加严重：由于缺乏用于引导分离的类别标签，网络可能会学习到语义相关的样本在空间中分布零散、且单个特征仅在不连贯且不连续的数据流形子集上激活的表示。

现有的正则化技术（如稀疏性 $L_1$ ）虽然鼓励特征仅在少数样本上激活，但无法确保这些样本在几何上是相关的。一个稀疏特征仍可能在数据流形的零散区域触发。相反，生物神经回路（例如网格细胞和头方向细胞）通过**局部性（locality）**实现可解释性：神经元对状态空间的连续区域做出响应。本文提出，局部性是可解释神经编码的设计原则，并试图将这一原则形式化，以将其施加于人工神经网络之上。

方法论

1. 理论框架：连贯矩阵

作者引入了连贯性（coherence），这是一种受神经编码启发并基于拓扑数据分析（TDA）的几何属性。他们将网络的潜在空间建模为一个非负矩阵 $M$ ，其中行代表样本，列代表特征。

一个矩阵被定义为 $\epsilon$ -连贯，需满足两个条件：

$\epsilon$ -局部性： 每个行（样本）关注一组几何聚类的列（特征），反之亦然。这通过Fréchet 方差进行量化。具体而言，重心映射 $\phi$ （将样本映射到特征的加权平均值）和 $\psi$ （将特征映射到样本的加权平均值）相对于实际的特征/样本必须具有较低的方差。
$\epsilon$ -覆盖： 每个样本都能被某些特征良好描述，且每个特征都需要某些样本来支撑。这确保了没有部分空间被遗漏或冗余。

拓扑保证：
论文证明，如果一个矩阵是 $\epsilon$ -连贯的，且重心映射是 Lipschitz 连续的，那么样本和特征的 Vietoris-Rips 过滤（filtrations） 是 $\epsilon^{1/2}$ -交错（interleaved） 的。这意味着样本空间和特征空间共享兼容的拓扑结构。例如，如果数据位于一个圆上，连贯的特征必须将该圆分割成连续的弧，从而确保特征空间镜像了样本空间的拓扑结构。

2. COH 目标函数

为了在训练期间强制执行连贯性，作者推导出了一个基于 Fréchet 方差的可微损失函数 COH。

归一化： 该方法使用平方 $L_1$ 归一化，将行和列视为概率分布。
损失组件： 损失函数会对行和列的方差（局部性）及覆盖量进行惩罚。
实现： 该目标函数可以添加到任何具有非负激活机制的架构中（例如使用 Softplus）。它计算重心映射及其方差，并通过聚合前 $k$ 个最差的异常值来确保鲁棒性。

核心贡献

连贯性的定义： 作者正式定义了非负矩阵的 $\epsilon$ -连贯性，将其与 Vietoris-Rips 过滤的交错性联系起来。这为潜在样本空间和潜在特征空间共享兼容拓扑提供了理论保证。
可微目标（COH）： 他们引入了 COH，这是一个通过强制执行局部性和覆盖约束来实现连贯性的实用损失函数。与仅限制激活数量的稀疏性不同，COH 限制的是激活的几何连通性。
实证验证： 该方法在三种不同的设置中得到了验证：
- 合成数据： 恢复不相交圆形的拓扑结构。
- 旋转 MNIST： 为旋转数字学习可解释的特征。
- 语言模型： 将连贯性应用于 BERT token 嵌入，以获得与人类可读类别对齐的可解释特征。

实验结果

合成数据与旋转 MNIST 自动编码器

拓扑恢复： 在“两个圆”的玩具实验中，标准的自动编码器和带有 $L_1$ 正则化的模型未能产生具有正确圆形拓扑的特征空间。只有 COH 模型在样本空间和特征空间中都恢复了预期的不相交圆形拓扑。
单数字（旋转 MNIST）： 对于单个旋转数字（6），COH 实现了 100% 的调优特征（即特征激活在旋转的连贯弧上），而 $L_1$ 仅为 63%。COH 特征虽然不如 $L_1$ 稀疏，但在旋转角度的可解释性方面显著更高。
双数字（旋转 MNIST）： 在更复杂的双数字设置中，COH 一致地产生了连贯的潜在空间。虽然由于存在多种有效的连贯解（例如分离的圆 vs 合并的圆），纯度等可解释性指标随种子变化而波动，但 连贯性指标（局部性和覆盖性）保持稳定。将 COH 与 $L_1$ 稀疏性结合使用，可以成功引导模型走向具有可靠类别分离能力的解耦方案。

BERT Token 嵌入

设置： 使用非负 token 嵌入（通过 Softplus）训练了一个小型 BERT 模型，并应用了 COH 目标。
可解释性：
- 重叠度： 与标准（有符号）BERT 模型的最近邻 token 邻域相比，COH 模型中的特征显示出显著更高的重叠度（平均重叠度：COH 模型 0.45 vs 仅使用 Softplus 的模型 0.22）。
- 人类可读类别： 使用大语言模型（Claude Opus）判断其可解释性，COH 模型中有 87.6/256 个特征被认为是可解释的，而仅使用 Softplus 的基准模型为 0。
- 识别出的类别： COH 特征与特定的语义类别对齐，包括年份、亲属称谓、地名、计量单位、对冲副词、方向介词以及特定动词类型（如运动、认知、过去时）。

意义与主张

本文声称提供了一个严谨的框架，用于耦合潜在样本与潜在特征，使它们共享兼容的拓扑结构。其意义在于将关注点从单个特征的可解释性转向了整个特征空间的可解释性。

几何保证： 这项工作证明，通过强制执行几何连通性（连贯性），可以获得不仅是稀疏的，而且在结构上与数据流形对齐的特征。
互补性： 作者指出，连贯性与其他目标是互补的；例如，可以使用稀疏性在多个有效的连贯解中进行选择，而不牺牲几何保证。
局限性： 作者坦诚地承认，重心映射的 Lipschitz 假设是经过经验验证而非强制执行的。他们还指出，在复杂的多类别设置中，该方法无法控制会找到哪种特定的连贯解（例如，数字是合并还是分离），尽管它保证了所获解是连贯的。

这项工作将拓扑数据分析、神经科学和表示学习联系在一起，既提供了理论基础（通过 Dowker 对偶类比和交错性），也提供了一种在不需要显式监督的情况下学习可解释潜在空间的实用工具。