💬 NLP

Decomposing Representation Space into Interpretable Subspaces with Unsupervised Learning

本文介绍了一种名为邻域距离最小化（NDM）的无监督方法，该方法成功将神经模型的表示空间分解为可解释的、非基对齐的子空间，这些子空间分别对应不同的抽象概念和电路变量，这一成果已通过针对 GPT-2 和 20 亿参数规模模型的定性分析与定量实验得到证实。

原作者： Xinting Huang, Michael Hahn

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinting Huang, Michael Hahn

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个神经网络（如同人工智能的大脑）是一个巨大的高维房间，里面充满了无形的“思想”。当人工智能处理一个句子时，它并非只存储一个想法，而是同时存储成千上万个不同的细节：当前的词、该词的位置、对话的主题以及语法规则。

问题在于，所有这些思想都混杂在一个巨大而凌乱的堆中。如果你想了解人工智能如何工作，这就像试图在一团所有颜色都混在一起的毛线球里找到一根特定的线。

核心思想：理清毛线
本文介绍了一种名为**邻居距离最小化（NDM）**的新方法。将人工智能的“思想房间”想象成一个拥挤的舞池，每个人都在混乱地混合跳舞。研究人员希望找到一种方法，在不被告知要看什么的情况下，根据舞者实际在做什么，将他们分离成不同的群体。

他们发现，如果你将房间组织成让做相似事情的舞者彼此靠近，而让做不同事情的舞者彼此远离，就会自然地创造出独立的“区域”或子空间。

工作原理（类比）
想象你有一盒混合在一起的乐高积木：红色的、蓝色的和绿色的。

旧方法：研究人员通常必须猜测哪些积木应该归为一类，或者先请人类来分类（监督学习）。
新方法（NDM）：研究人员只是对积木盒说：“让相似的积木彼此靠近，把不同的积木推远。”

令人惊讶的是，积木盒自动完成了分类！红色积木自然地聚拢在一起，蓝色积木形成了自己的群体，绿色积木也是如此。研究人员不需要知道“红色”或“蓝色”意味着什么；“与邻居保持靠近”的数学原理替他们完成了分类。

他们的发现
一旦他们将房间划分成这些清晰的区域，他们向内观察并发现了令人惊叹的事情：

专用区域：每个区域似乎都处理特定类型的信息。一个区域完全致力于“当前词”，另一个致力于“我们在句子中的位置”，还有一个致力于“故事的主题”。
变量：这些区域就像计算机程序中的变量。正如名为 x 的变量存储一个数字一样，这些区域存储特定的概念。如果人工智能在谈论“爱丽丝”，“名称区域”就存储“爱丽丝”。如果它切换到“鲍勃”，同一个区域会更新为“鲍勃”，而“主题区域”则保持不变。
适用于大型模型：他们首先在小型玩具模型上测试了这种方法，然后在真实的人工智能模型（如 GPT-2 和 20 亿参数模型）上进行了测试。它在所有地方都有效。在更大的模型中，他们甚至发现了独立的区域，分别处理“模型从训练中知道的内容”与“模型在提示中正在阅读的内容”。

为什么这很重要
在此之前，试图理解人工智能就像试图阅读一本所有字母都被打乱的书。这种方法提供了一种将字母重新排列成单词和句子的途径。

研究人员将这些新区域称为子空间电路。我们不再需要观察单个神经元（它们就像模糊图像中的单个像素），而是可以观察这些完整的区域（就像清晰、独立的单词）。这使我们能够追踪人工智能如何将其大脑的一部分信息移动到另一部分，从而为我们提供一幅更清晰的地图，揭示这些智能机器实际上是如何思考的。

简而言之：
这篇论文表明，你可以通过要求人工智能将相似的思想保持在一起，教会它将自身杂乱的思想整理成整齐、独立的文件夹。这揭示了人工智能自然地构建了一个结构化的、可理解的“变量”系统来处理信息，即使没有人告诉它该如何去做。

技术摘要：利用无监督学习将表示空间分解为可解释子空间

问题陈述

机械可解释性旨在揭示神经网络内部的算法与电路。尽管在识别组件（注意力头、多层感知机）、稀疏特征（通过稀疏自编码器）以及特定子空间方面已取得显著进展，但现有方法仍面临局限。基于组件的分析通常需要进行因果干预的专用反事实数据。稀疏特征虽提供了可解释性，却导致了依赖于输入、会修改模型计算的电路。当前基于子空间的方法通常依赖于由人类指定的抽象因果模型引导的有监督学习，要求研究人员预先推测特定机制。

本文探讨的核心问题是：是否能够在完全无监督的情况下，在不访问真实特征或人类定义假设的前提下，在神经模型的表示空间中找到“自然的”、可解释的子空间。

方法论：邻居距离最小化 (NDM)

作者提出了邻居距离最小化 (NDM)，这是一种无监督方法，用于将表示空间划分为正交的、非基对齐的子空间。

核心直觉

该方法基于以下假设：神经表示在特征组内表现出互斥性。如果一组特征是互斥的（同一时间仅有一个或没有特征被激活），它们可以被叠加在一个专用子空间中。相反，来自不同组的特征（可能同时出现）应当正交表示，以避免干扰。

几何解释：在正确划分的空间中，投影到特定子空间的数据点将落在少数几条集中的线上（代表该组中激活的特征）。因此，每个点在该子空间内都会有一个非常接近的邻居。
优化目标：NDM 寻求一个正交矩阵 $R$ 和一个维度配置 $c$ ，以最小化每个激活与其在各自结果子空间内最近邻居之间的距离。

算法

变换：正交矩阵 $R$ 旋转并反射模型激活 $h$ 。变换后的空间根据维度配置 $c = [d_1, \dots, d_S]$ 被划分为子空间。
损失函数：目标是最小化每个子空间 $s$ 内到最近邻居的平均距离：
$\min_R \frac{1}{N} \sum_{s=1}^S \sum_{n=1}^N \text{dist}(\hat{h}_n^{(s)}, \hat{h}_{n^*}^{(s)})$
其中 $\hat{h}_{n^*}^{(s)}$ 是 $\hat{h}_n^{(s)}$ 在子空间 $s$ 中的最近邻居。
维度配置：由于子空间的数量及其维度未知，该方法从小的、等大小的子空间开始。在训练过程中，它定期使用 KSG 估计器估算子空间之间的互信息 (MI)。如果两个子空间之间的互信息超过阈值，则将它们合并。此过程持续进行，直到没有子空间对超过阈值，从而有效地找到一个子空间尽可能独立的划分。

主要贡献与结果

1. 玩具模型验证

在已知真实特征组的受控玩具设置中，NDM 成功恢复了专用于每个特征组的正交子空间。该方法最小化了到最近邻居的距离，导致每个子空间仅编码一个特征组的划分，验证了互斥性、叠加性与子空间正交性之间的理论联系。

2. GPT-2 Small 上的定量评估

作者在 GPT-2 Small 上使用已知电路（间接宾语识别和大于电路）的子空间激活修补评估了 NDM。

指标：他们使用基尼系数测量修补效应的集中度。高基尼系数表明特定信息（例如前一个 token）集中在单个子空间中。
性能：NDM 显著优于基线（恒等变换、随机、PCA 和 SAE 特征聚类）。NDM 的平均基尼系数达到 0.71，远高于 0.6 的满意集中度阈值，而基线范围在 0.21 到 0.38 之间。
证据：结果表明，NDM 找到了与已知电路中的高层“变量”（如前一个 token 或主语位置）对齐的子空间，且独立于这些变量所取的具体值。

3. 通过 InversionView 进行的定性分析

利用 InversionView，作者分析了发现子空间的原像（映射到相似激活的输入）。

可解释性：发现子空间编码了上下文中 distinct 且可解释的方面，如当前 token、前一个 token、token 位置以及整体主题。
一致性：子空间的功能在不同输入下保持一致（例如，特定子空间始终编码当前 token），表明这些子空间充当了模型稳定的“变量”。

4. 扩展到更大模型

该方法被应用于 Qwen2.5-1.5B 和 Gemma-2-2B，以研究知识冲突场景（参数知识与上下文知识）。

发现：NDM 识别出了分别介导参数知识路由和上下文知识路由的独立子空间。修补实验表明，特定子空间在设计用于破坏一种机制而保留另一种机制的反事实输入下表现出强烈效应。
意义：这表明即使在缺乏已知真实电路的更大模型中，NDM 也能揭示有意义的、可分离的功能结构。

意义与主张

本文主张，NDM 通过将表示空间分解为可解释的、与输入无关的子空间且无需监督，为理解模型内部提供了新视角。

新基本单元：作者提出，这些子空间可作为子空间电路的基本单元。与依赖于输入的特征电路不同，子空间电路在“变量”（特征组）上运行，并且可以通过分析模型权重（例如，注意力头读取和写入哪些子空间）来构建。
无监督发现：该方法证明了“自然的”划分存在于现实世界模型中，这是由数据的统计结构（互斥性）而非人类假设驱动的。
局限性：作者承认，当前的划分可能不够细粒度（例如，缺少用于小值集变量的微小子空间），且某些子空间仍难以解释。他们指出，该方法依赖于线性表示假设，且优化有时会陷入局部极小值。

总之，本文认为，通过邻居距离最小化进行的无监督分解是发现支配神经模型行为的“变量”和电路的一条可行路径，为机械分析提供了一个可扩展且可解释的框架。