🤖 machine learning

Exemplar Partitioning for Mechanistic Interpretability

本文介绍了示例划分（EP），这是一种无监督方法，它利用观测到的示例而非学习得到的权重，从语言模型的激活中构建可解释的特征字典，在可比的可解释性性能下，其训练令牌数比稀疏自编码器少约 1000 倍，同时支持直接的跨模型比较并提供内置的分布外检测功能。

原作者： Jessica Rumbelow

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jessica Rumbelow

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座巨大而混乱的图书馆，其中的每一本书都代表计算机模型曾经处理过的单个想法或句子。在这座图书馆里，“思想”并非以文字书写，而是隐藏为复杂的光与电的模式。

长期以来，试图理解这些模型的科学家一直使用一种称为**稀疏自编码器（Sparse Autoencoders, SAEs）*的方法。这就像雇佣一支昂贵且训练有素的图书管理员团队，去阅读每一本书，将它们分类到数千个特定的类别中，并编写新的索引。训练这些图书管理员需要耗费巨大的时间和金钱（计算能力），而它们创建的类别是基于它们学会*去寻找的内容。

本文介绍的**示例划分（Exemplar Partitioning, EP）**方法则是一种截然不同、成本低得多的途径。它不训练图书管理员，而是使用一台简单、自动化的分类机器。

以下是其工作原理，使用日常类比来说明：

1. “先到先得”的分类机器

想象你正穿过一个拥挤的房间（数据流）。你想根据人们外貌的相似性将他们分组。

旧方法（SAE）： 你聘请一位设计师来创建一套完美预定义的 10,000 个“箱子”。然后，你花费数周时间训练一个系统，以精确判断每个人应放入哪个箱子，从而将误差降至最低。
新方法（EP）： 你只需穿过房间。当你看到第一个人时，你说：“好的，你是 A 组的领导者。”任何看起来与这位领导者非常相似的人都加入 A 组。
- 如果你看到某人看起来与当前的领导者不同，你就说：“你是新成立的 B 组的领导者。”
- 你不必预先决定会有多少个组。这些组会根据房间里人们的实际样貌自然形成。

2. “锚点”概念

在这种新方法中，每个组都由你实际见过的真实人物（即“示例”）作为锚点。

为何重要： 在旧方法中，一个组可能由数千人的“平均值”定义，那是一个幽灵般的、不存在的虚构人物。而在新方法中，每个组都绑定在一个真实、具体的示例上。如果你想知道"A 组”是关于什么的，只需查看启动该组的第一个人。你甚至可以指着那个具体的人说：“如果我们消除这个人的影响，这个组就会消失。”

3. 房间的“免费地图”

由于这些组是通过简单的距离（人们外貌的相似程度）形成的，该方法生成了一张完美的房间地图。

“格格不入”检测器： 如果你走进房间，看到某人看起来与任何领导者都截然不同，系统会立即知道：“这个人不属于我们见过的任何组。”这是一种无需额外训练即可发现异常或意外输入的免费方式。

4. 论文实际发现的内容

作者在一个特定的 AI 模型（Gemma-2-2B）上测试了这种方法，并发现了一些令人惊讶的结果：

速度极快且成本极低： 他们构建这些字典所使用的计算能力比传统方法少了约1,000 倍。这只需在单个计算机芯片上运行几分钟，而非数周的训练。
在发现概念方面同样有效： 当他们要求系统寻找特定想法（如“数学”、“代码”或“拒绝回答”）时，其表现几乎与昂贵且经过训练的方法一样好。
发现了“拒绝”开关： 他们发现了一组特定的输入，AI 在其中决定说“不”（拒绝请求）。通过查看该组的“领导者”，他们能够证明，如果消除该特定模式，AI 就会停止拒绝。这表明这些组是 AI 思考方式中真实且具因果关系的组成部分。
以不同视角看待世界： 新方法根据密度（相似事物的簇）对事物进行分组，而旧方法则根据线条（数学分离）进行分组。它们在那些最明显、清晰的概念（“核心”）上达成一致，但在处理混乱、复杂的概念时则有不同的划分方式。

5. “训练”与“观察”的区别

最重要的结论是，这种方法不学习任何东西。它不试图猜测分类事物的最佳方式。它只是观察数据流，挑选它看到的前几个独特示例，并根据其他事物与这些示例的接近程度进行排序。

由于它不依赖于特定的训练运行，你可以比较模型在训练前和训练后的“地图”，并确切地看到哪些组保持不变，哪些发生了变化。这就像使用相同的地标，比较一条新高速公路建成前后的城市地图。

总之： 本文介绍了一种理解 AI 模型的方法，即通过将它们的想法基于真实示例组织成自然簇，而不是强行将它们塞入预制的盒子中。这种方法更快、更便宜，并且在发现机器内部的“意义”方面同样有效。

技术摘要：用于机械可解释性的示例划分

问题陈述

机械可解释性旨在将神经网络逆向工程为人类可读的算法。当前方法面临不同的局限性：

电路分析：隔离特定任务的子图，但无法生成模型范围的特征清单。
监督探测：仅限于测试研究人员已知要寻找的概念。
稀疏自编码器（SAE）：作为主导的无监督方法，SAE 通过优化一个捆绑了稀疏性、重建和字典大小的重建目标，学习一个固定大小的字典。这一训练过程计算成本高昂（需要数十亿个 token），并引入了某些承诺（例如固定字典大小、线性基学习），这些承诺可能会掩盖模型激活几何的内在属性。

提出的核心问题是：SAE 揭示的特征结构中，有多少归因于训练目标本身，又有多少已经存在于模型的激活几何中，并且可以通过更直接、非学习式的构建方式获取？

方法论：示例划分（EP）

示例划分（Exemplar Partitioning, EP）是一种无监督方法，用于从大型语言模型（LLM）的激活中构建可解释的特征字典，无需训练。它将字典视为激活空间的沃罗诺伊划分（Voronoi partition），通过单次流式传递上的**领导者聚类（leader clustering）**构建而成。

核心构建

流式领导者聚类：EP 不使用平均激活来形成质心（这可能导致方向不连贯并引起聚类不稳定），而是使用固定示例。示例是数据流中观察到的真实激活。
- 当新激活到达时，对其进行中心化和归一化处理。
- 如果其与最近现有示例的距离低于阈值，则加入该区域。
- 如果超过阈值，则成为新示例，并作为新区域的种子。
校准与阈值设定：距离阈值 $\theta_p$ 不是绝对值，而是在一个小校准批次上计算出的成对距离的第 $p$ 百分位数。这使得字典的分辨率可以调整（较小的 $p$ = 更细粒度；较大的 $p$ = 更粗粒度），同时在不同层和模型之间保持可比性。
饱和标准：字典增长直到一个“饱和窗口”通过且没有新示例出现。这意味着字典大小不是预先指定的，而是由选定分辨率下的激活几何决定的。
推理：新激活被分配给其最近的示例。字典原生是 1-稀疏的（one-hot），但可以根据距离扩展为 $n$ -稀疏或密集分配。

关键属性

可观测性：由于区域由观察到的示例而非学习到的权重锚定，因此从相同数据流构建的字典可以通过示例匹配，在不同层、模型和训练检查点之间直接比较。
稳定性指标：本文引入统计量 $D_i = \log_{10}(N_i c_i^2)$ （其中 $N_i$ 是成员数量， $c_i$ 是成员相干性）来预测区域的跨种子稳定性。高 $D_i$ 区域更有可能在不同的流式顺序中复现。

主要贡献与结果

1. 效率与可扩展性

EP 构建字典所需的 token 数量比可比的 SAE 少约 $10^3$ 倍。

构建成本：Gemma-2-2B 的 p1 字典在单张 GPU 上使用约 $3.6 \times 10^6$ 个 token 即可在几分钟内构建完成，而可比的 SAE 需要在数十亿个 token 上进行训练。
无需反向传播：该方法不需要任何反向传递。

2. 可解释性与因果干预

因果消融：在 Gemma-2-2B-it 中，拒绝行为集中在特定的 EP 区域。消融该区域的示例方向（即最先到达的激活）可使保留的拒绝行为减少高达 $\Delta = -0.96$ 。这表明“拒绝方向”是由单个示例捕获的精确轴，对于干预而言，比该区域的平均方向更有效。
跨检查点匹配：匹配基础模型和指令微调模型的字典显示，指令微调在很大程度上重新锚定了模型的方向结构，仅保留了一个小的通用子集。它还表明，微调模型中的拒绝方向是从基础模型中存在的提示内有害内容方向提升而来的。

3. 基准性能

AxBench（概念检测）：在 Gemma-2-2B-it L20 上，分辨率为 $p=1$ $p = 1$ 的 EP 字典在 500 个潜在概念上的平均 AUROC 达到 0.881。
- 这比标准的 GemmaScope SAE 条目（0.755）高出 +0.126。
- 尽管使用了更小的候选池和显著更少的计算资源，其结果与最强基线 SAE-A（0.911）的差距仅在 0.030 以内。
SAEBench（信息保留）：p10 EP 字典（ $\ell_0=1$ ）保留了约 97% 的原始激活探测精度（0.930 对比 IdentitySAE 的 0.959）。这表明，即使丢弃几乎所有原始坐标，概念的线性可解码身份也主要由密度结构保留。

4. 几何洞察

密度与线性可分性：EP 和 SAE 做出了不同的几何承诺。EP 承诺于密度（区域是激活空间中的真实锥体），而 SAE 承诺于线性可分性（稀疏重建）。
共享核心：约 20% 的 EP 区域在 $F1 > 0.5$ 时与 SAE 特征匹配（在 $p=10$ 时）。它们在方向既密度集中又线性可分的地方达成一致。
分布外（OOD）信号：到最近示例的距离提供了一个免费的 OOD 信号。随机 token 与其最近示例的距离始终大于分布内 token，且该差距在更细的分辨率下会扩大。

意义与主张

本文主张，示例划分提供了一类新的可解释性对象，它们具有以下特点：

高效：无需前沿实验室的计算预算，研究人员即可获取。
直接：它们揭示了激活几何的属性（密度、稳定性、因果方向），这些属性可能会被 SAE 的重建目标所掩盖。
可通约：使用观察到的示例允许直接追踪特征在训练检查点和模型变体之间的演变，而无需复杂的对齐程序。

作者强调，虽然 EP 与 SAE 捕获了一个“共享核心”，但它也暴露了 SAE 所分裂的广泛、以内容为基础的区域；反之，SAE 捕获了 EP 在给定分辨率下无法解析的稀疏线性方向。本文结论认为，仅凭密度结构就承载了探测所测量的大部分信号，且该方法的高效性和开放字典接口使其成为可解释性工具箱中的实用补充。

承认的局限性：

EP 依赖于种子；区域身份随流式顺序而变化，尽管可以通过 $D_i$ 预测稳定性。
当前实现假设中心余弦几何，这可能无法捕捉依赖于激活幅度的特征。
实验具有探索性；本文并未声称 EP 是 SAE 的完全替代品，而是针对特定可解释性任务的互补性、高效替代方案。