💬 NLP

Shared Semantics, Divergent Mechanisms: Unsupervised Feature Discovery by Aligning Semantics and Mechanisms

本文介绍了一种分布层面的无监督特征发现方法，该方法通过联合优化语义连贯性与机制归因特征，对大语言模型（LLM）的续写内容进行聚类，从而揭示了多样化的续写模式以及单视图、目标条件分析往往会忽略的可操作内部机制。

原作者： Hyunjin Cho, Youngji Roh, Jaehyung Kim

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyunjin Cho, Youngji Roh, Jaehyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对论文《共享语义，差异机制》（Shared Semantics, Divergent Mechanisms）进行的解释。

核心问题：“单一答案”陷阱

想象你是一名侦探，试图理解一个魔术盒（大型语言模型）是如何工作的。通常，当你向盒子提问时，它会给你一个答案。为了弄清楚这个盒子是如何运作的，你可能会仅仅针对这一个特定的答案去观察内部的齿轮和弹簧。

论文指出，这是一个陷ра。如果你只观察一个答案，你可能会忽略掉这个盒子拥有许多不同“模式”进行思考的事实。有时，两个答案听起来非常相似（语义相同），但却是用完全不同的内部齿轮构建出来的。另一些时候，两个答案听起来完全不同，但却是使用完全相同的齿轮构建出来的。

作者称之为**“语义空间与机制空间之间的失配”**。这就像两座房子，从外面看一模一样（同样的油漆、同样的窗户），但内部的管道系统却完全不同。或者，两座房子看起来完全不同（一个是城堡，一个是小屋），但却共享着完全相同的管道系统。

解决方案：一种分组答案的新方法

与其选择一个特定的答案进行研究，作者提出了一种新方法，可以同时观察一个问题可能产生的所有潜在答案。他们称之为**“分布级无监督特征发现”**。

以下是该方法的工作原理，分为三个简单的步骤：

1. “采样人群”步骤

他们不是向盒子要一个答案，而是让它针对同一个问题给出数百个不同的答案。

类比： 想象你在问一位厨师：“你如何做汤？”你得到的不是一份食谱，而是500种不同的变化。有些是辣的，有些是奶油味的，有些用鸡肉，有些用豆腐。

2. “双重视图”步骤

对于每一份汤的食谱，团队都会创建两张不同的“身份证”：

语义卡（它说了什么）： 描述汤的含义。它是辣的吗？它是番茄汤吗？
机制卡（它是如何制作的）： 描述用于创造它的内部齿轮。哪些特定的神经元被激活了？哪些内部“开关”被拨动了？
类比： 对于每一份汤，你会写下它的风味特征（语义）和所使用的厨房设备清单（机制）。你会发现，两份汤的味道可能一样（语义匹配），但一份是用搅拌机做的，而另一份是用研钵和杵做的（机制不匹配）。

3. “智能排序”步骤

现在，他们拥有了一大堆带有两张身份证的汤的食谱。他们使用一种特殊的数学排序机（称为率失真聚类/Rate-Distortion Clustering）来对这些食谱进行分组。

目标： 他们想要找到在风味和设备方面都相似的汤的组。
权衡： 机器有一个“旋钮”（称为 $\beta$ $β$ ），控制着排序的严格程度。
- 宽松设置： 它将汤归类为大致属于“汤类”的群体。
- 严格设置： 它将它们细分为更小的组，比如“用搅拌机做的辣味番茄汤”对比“用研钵和杵做的辣味番茄汤”。
结果： 他们找到了人类如果只看单个答案时永远无法发现的隐藏“思维模式”。

为什么这很重要：“转向”测试

论文不仅说“看，我们找到了这些组”，他们还通过进行一次“转向”（steering）测试来证明这些组是真实的。

测试： 他们选取了一组被机器识别为“用搅拌机做的辣味番茄汤”的汤。然后，他们尝试通过调高机器内部“搅拌机”的开关，来强迫魔术盒制造出更多类似的汤。
结果： 当他们调高开关时，盒子确实开始制造更多的“辣味番茄汤”。
对比： 当他们仅使用“风味”（语义）或仅仅挑选一个随机的汤来进行操作时，转向的效果并不理想。
类比： 这就像意识到，为了得到特定类型的蛋糕，你不仅需要说“我要蛋糕”，你还需要知道哪种搅拌器和烤箱设置能产生那种特定的质地。作者找到了产生不同类型思考的“搅拌器设置”。

核心总结

这篇论文引入了一个工具，通过观察所有可能答案的全景图，而不是仅仅看一个答案，来帮助我们审计 AI 模型。

旧方法： 挑选一个答案，寻找制造它的齿轮。（就像通过研究一辆车来了解所有汽车是如何工作的）。
新方法： 观察工厂可能制造出的所有汽车，根据它们的建造方式和外观进行分组，并寻找隐藏的模式。

这有助于研究人员理解，AI 模型不仅仅是一条逻辑路径；它是一个复杂的景观，拥有许多不同的“路径”（机制），可以导致相似或不同的结果。通过绘制这些路径，我们可以更好地理解、审计和控制它们的思考方式。

技术摘要：通过对齐语义与机制进行无监督特征发现

问题陈述

随着大语言模型（LLMs）在高度敏感领域的部署，不仅需要审计模型的输出，还需要审计生成这些输出的内部计算过程，这产生了日益增长的需求。虽然机械解释性（mechanistic interpretability）提供了解释特定行为的工具，但主流方法——电路分析（circuit analysis）——通常是以目标为条件的（target-conditioned）。这意味着分析师必须指定一个特定的提示词（prompt）和一个选定的目标补全内容（target completion），才能识别出因果电路。

这种以目标为条件的设置带来了两个关键局限性：

泛化性： 目前尚不清楚为一种特定补全内容识别出的机制，是否能泛化到语义相似的改写形式上，还是仅仅反映了对特定表面形式的脆弱依赖。
隐藏的异质性： 即使对于固定的目标，单目标分析也会掩盖计算过程中的异质性。语义相似的输出可能依赖于截然不同的内部激活模式，而单目标分析无法捕捉到这些模式。

目前的行为评估局限于输入-输出相关性，而现有的机械方法通常需要手动指定目标，这可能会遗漏模型对于单个提示词可能产生的多样化“续写模式（continuation modes）”。

方法论

作者提出了一个用于分布级无监督特征发现的框架。该方法不再分析单个目标，而是通过联合对齐语义内容和序列级机械归因，对模型的采样续写分布进行聚类。

该框架分为三个阶段运行：

1. 续写采样

给定输入前缀 $x$ ，模型使用核采样（nucleus sampling）采样 $N$ 个不同的续写 $y^{(n)}$ 。每个续写都被分配一个长度归一化的概率 $P_n$ ，代表其在模型分布下的可能性。这些概率用于在聚类过程中对每个续写的贡献进行加权。

2. 双重表示

每个采样的续写由两个互补的视图表示：

语义嵌入 ( $e_n$ )： 捕捉续写在上下文中的语言含义，通常源自预训练的嵌入模型（如 EmbeddingGemma）。
机械嵌入 ( $a_n$ )： 捕捉前缀特征如何影响续写的 logits。这是通过转码器（transcoders）（训练用于近似 MLP 层的稀疏自动编码器）来完成的，旨在将 MLP 计算分解为可解释的稀疏特征。归因向量 $a_n$ 聚合了整个续写跨度内，前缀特征对去均值化后的 logits 的直接线性归因。

3. 通过率失真优化进行联合聚类

其核心创新在于将潜在特征发现建模为一个率失真（rate-distortion）优化问题。目标是找到一种聚类方式，在最小化语义和机械视图中的失真（重构误差）的同时，最小化率（聚类分配的熵）。

目标函数为：
$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$
其中：

$H(C)$ 是聚类先验的熵（率）。
$D(e)$ 和 $D(a)$ 分别是语义（L2）和归因（L1）空间中经过概率加权的失真。
$\beta$ 控制压缩程度（更少的聚类）与保真度（低失真）之间的权衡。
$\gamma$ 平衡语义视图与机械视图之间的权重（ $\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$ ）。

自适应操作： 与预先固定 $K$ 值的 K-means 不同，该框架使用**分裂（Split）和废弃（Junk）**操作来自适应地调整聚类数量：

分裂（Split）： 如果减少失真所带来的收益超过了增加熵（率）的成本，则将异质聚类进行拆分。
废弃（Junk）： 如果重新分配成员可以降低总目标函数，则移除捕捉噪声而非连贯模式的伪聚类。

核心贡献

分布级分析： 本文引入了第一个通过结合语义结构和序列级机械归用来聚类模型续写分布的框架，超越了单目标分析。
联合优化： 研究表明，通过联合优化语义连贯性和机械一致性，可以揭示单视图基准方法（仅语义或仅归因的 K-means）所遗漏的续写模式。
通过转向进行因果验证： 作者通过干预证据证明，发现的聚类特征对应于可操作的机械因素。通过沿着聚类导出的方向进行转向（steering）（使用中心点/medoids），他们展示了模型对该聚类内续写的偏好发生了持续且方向性的偏移。
粒度控制： 该框架允许用户通过退火参数 $\beta$ 来控制发现模式的粒度，从而揭示层次化结构，其中更细粒度的聚类会继承来自粗粒度聚类的机械特征。

实验结果

该方法在 AmbigQA（使用 Qwen3-8B）和 MMLU 上进行了评估，并在 Gemma3 和推理任务（GSM8K, MATH500）上进行了额外实验。

聚类性能： 在率匹配的对比中，所提出的率失真（RD）聚类在 94% 的设置中比 K-means 基准方法（KM-S 为仅语义，KM-A 为仅归因）实现了更低的混合失真（ $D_\gamma$ ）。KM-S 保留了语义连贯性但无法实现机械一致性，而 KM-A 则表现出相反的失效模式。
粒度分析： 改变 $\beta$ 揭示了层次化结构。例如，一个由“格式风格”（如独唱歌手 vs 乐队）定义的粗聚类，随着 $\beta$ 的增加，会分裂成基于具体内容细节（如列出乐队成员 vs 流派描述）的更细粒度聚类。
转向验证： 转向实验证实了因果关系。基于 RD 导出的中心点方向在转向强度（ $\epsilon$ ）与目标聚类 logits 的变化之间产生了强烈的单调相关性。相比之下，仅语义的基准方法（KM-Sem）显示出近乎零的相关性，而单次续写基准方法的表现较弱且缺乏一致性。
推理任务： 在推理基准测试中，该方法成功识别出特定的先前推理步骤如何因果地影响特定的目标步骤聚类，其中在早期源步骤与后期目标之间观察到的效应最为显著。

重要性与主张

本文声称，这种方法通过提供对模型续写分布背后的机制进行可扩展审计，补充了传统的电路分析和行为评估。

互补性： 它减少了对人工选择目标的依赖，能够呈现出由聚类级转向支持的机械假设。用户可以先发现聚类，然后再追踪与所选聚类相关的特定电路。
可操作的机制： 发现的模式不仅是描述性的；它们对应于可操作的机械因素，可以通过操纵这些因素来以可预测的方式改变模型行为。
局限性： 作者承认了存在的局限性，包括计算开销（由于需要进行归因的反向传播）以及缺乏将聚类分配给人类可解释标签的原则性框架。他们指出，干预下的验证并不保证识别出的特征具有唯一性，需要进一步的反事实检查。

总之，这项工作提议将研究重点从分析孤立的输入-输出对转向为分析续写的分布，为理解大语言模型异质内部计算提供了一个更稳健的视角。