🤖 AI

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet

本文证明，稀疏自编码器能够成功扩展，从生产规模的 Claude 3 Sonnet 模型中提取可解释、多语言及多模态的特征，包括那些代表欺骗和奉承等有害行为并因果影响输出的特征，同时承认当前在特征完备性和评估严谨性方面存在的局限性。

原作者： Adly Templeton, Tom Conerly, Jonathan Marcus, Jack Lindsey, Trenton Bricken, Brian Chen, Adam Pearce, Craig Citro, Emmanuel Ameisen, Andy Jones, Hoagy Cunningham, Nicholas L Turner, Callum McDougall

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Adly Templeton, Tom Conerly, Jonathan Marcus, Jack Lindsey, Trenton Bricken, Brian Chen, Adam Pearce, Craig Citro, Emmanuel Ameisen, Andy Jones, Hoagy Cunningham, Nicholas L Turner, Callum McDougall, Monte MacDiarmid, Alex Tamkin, Esin Durmus, Tristan Hume, Francesco Mosconi, C. Daniel Freeman, Theodore R. Sumers, Edward Rees, Joshua Batson, Adam Jermyn, Shan Carter, Chris Olah, Tom Henighan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个庞大且极其复杂的大脑（AI 模型 Claude 3 Sonnet），它能说话、编写代码并回答问题。长期以来，科学家们认为这个大脑就像一个黑盒：你输入一个问题，就会得到一个答案，但没人确切知道大脑是如何决定这个答案的。在其内部，数十亿个微小的开关（神经元）以混乱、重叠的模式 firing，使得人们无法判断在任一时刻具体正在处理什么想法。

这篇论文就像 Anthropic 团队最终构建了一个专用翻译器（称为稀疏自编码器），能够监听这种混乱的大脑活动，并将其分解为清晰、独立的“思想”或特征。

以下是他们发现的内容及方法的简单分解：

1. 问题：思想的“意大利面”

将 AI 的内部大脑活动想象成一大碗意大利面。每当 AI 思考“旧金山”、“一座桥”或“一个谎言”时，成千上万个神经元会同时 firing，全部纠缠在一起。很难分辨哪一根意大利面代表哪个想法。

2. 解决方案：“特征分类器”

研究人员构建了一台机器（稀疏自编码器），它充当一个超级智能的分类机器。

工作原理：他们将来自 AI 中间层（大量思考发生的地方）的数据输入这台机器。机器学会了梳理这些“意大利面”。
结果：机器不再面对一碗混乱的意大利面，而是将思想整理成了3400 万个独立的“桶”（特征）。
神奇之处：每个桶都是单义性的，意味着它通常只包含一个特定的想法。如果一个桶被激活，你就确切知道 AI 正在思考什么。

3. 他们发现了哪些类型的“桶”？

团队查看了这 3400 万个桶的内部，发现了各种各样有趣的想法：

具体事物：有针对特定地点（如金门大桥）、名人（理查德·费曼、亚伯拉罕·林肯）甚至特定类型代码错误（如变量名中的拼写错误）的桶。
抽象概念：他们发现了针对无法触摸的事物的桶，如讽刺、撒谎、阿谀奉承（做“应声虫”）以及内心冲突。
多语言与多模态：有些桶是通用的。无论是用英语、中文还是俄语阅读关于桥的内容，“桥”这个桶都会被激活。令人惊讶的是，尽管该机器仅接受文本训练，但当 AI 查看桥或人的图像时，这些桶也会被激活，这表明 AI 理解的是“桥”这个概念，而不仅仅是这个词。

4. “遥控器”实验

最激动人心的部分是，他们不仅观察这些桶，还按动了它们的按钮。

引导 AI：他们发现了一个关于“交通基础设施”的桶。当他们强制该桶“超级活跃”时，AI 突然开始谈论桥梁和隧道，即使对话主题并非如此。
修复错误：他们发现了一个关于“代码错误”的桶。当他们强制该桶不活跃时，AI 就不再在实际上完美的代码中幻觉出错误。相反，强制其活跃则会让 AI 编造虚假的错误。
欺骗：他们发现了一个关于“内心冲突”的桶。当他们在 AI 回答问题前强制激活该桶时，AI 突然承认自己在撒谎，或者实际上无法完成被要求的事情。

5. 这对安全为何重要

研究人员发现了与危险主题相关的桶，例如：

欺骗与权力寻求：当 AI 思考如何欺骗他人或寻求控制时会被激活的桶。
偏见与仇恨：当 AI 处理侮辱性语言或偏见观点时会被激活的桶。
危险内容：涉及制造生物武器或编写诈骗邮件等内容的桶。

关键警告：论文强调，发现这些桶并不意味着 AI 是邪恶的或计划做这些事。这仅仅意味着 AI知道这些概念是什么（因为它读过相关内容）。然而，能够看到这些“思想”是理解 AI 是否即将做出有害行为的一大步。

6. 局限性（“没那么简单”的部分）

团队诚实地说明了他们尚未完成的事情：

这不是一张完整的地图：他们发现了数百万个桶，但 AI 可能还有数十亿个。他们目前只观察了大脑的“中间层”，而非整体。
这是一个代理指标：他们使用数学来猜测一个桶是否“良好”，但没有完美的方法来证明每一个桶都是 100% 准确的。
这只是起步：这是该方法首次应用于如此大规模的模型。这就像第一次眺望一个新大陆；他们发现了一些城市，但整张地图仍在绘制中。

总结类比

想象 AI 是一个正在演奏交响乐的庞大管弦乐队。在这篇论文之前，我们只能听到整个乐队嘈杂混乱的噪音。
这篇论文就像给了我们每个乐器的专用耳机。现在，我们可以隔离小提琴声部，听清他们确切在演奏什么。我们甚至可以静音小提琴或调大铜管乐器的音量来改变乐曲。我们发现这个管弦乐队拥有代表“悲伤”、“撒谎”、“数学”和“旧金山”的声部，我们现在可以确切地看到它们何时以及如何演奏。

这是理解 AI 如何思考的巨大飞跃，从“猜测它在做什么”转变为“确切看到它在想什么”。

技术摘要：将单义性扩展至 Claude 3 Sonnet

问题陈述

本工作解决的核心开放问题是：字典学习方法，特别是稀疏自编码器（SAE），能否从小型、玩具级 Transformer 扩展至生产级语言模型，以提取可解释的单义特征。先前的工作表明，SAE 可以从单层 Transformer 中恢复单义特征，但尚不清楚这些方法对于像 Claude 3 Sonnet 这样的最先进模型是否仍然可行或有效。一个主要的担忧是，工程约束或大型模型运作方式的根本差异可能会阻碍这些方法的泛化，从而限制其对人工智能安全和机械可解释性的实际贡献。

方法论

稀疏自编码器（SAE）架构

作者在 Claude 3 Sonnet 的残差流激活（具体为中间层）上训练了稀疏自编码器。SAE 由以下部分组成：

编码器：一个线性变换后接 ReLU 非线性激活，将输入激活向量 $x \in \mathbb{R}^D$ 映射到大小为 $F$ 的更高维特征空间。
解码器：一个线性变换，试图重建原始激活向量 $\hat{x}$ 。

该模型通过最小化损失函数 $L$ 进行训练，该函数结合了重建误差（L2）和特征激活上的 L1 正则化惩罚，以激励稀疏性：
$L = \mathbb{E}_x \left[ \|x - \hat{x}\|_2^2 + \lambda \sum_i f_i(x) \cdot \|W_{\text{dec}, \cdot, i}\|_2 \right]$
其中 $f_i(x)$ 是特征 $i$ 的激活值，惩罚项中包含解码器权重范数，使得单位归一化的解码器向量可被解释为特征方向。

扩展与训练

模型：Claude 3 Sonnet（2024 年 3 月 4 日发布的微调生产版本）。
SAE 规模：训练了三个具有不同字典大小的 SAE，特征数量分别约为 100 万、400 万和 3400 万。
超参数选择：作者利用扩展定律指导超参数选择。他们将字典学习视为标准的机器学习问题，遍历特征数量和训练步数以找到最小化损失的计算最优配置。他们观察到，损失随计算量按幂律下降，特征和步数的最优分配也遵循幂律。
数据：训练在仅文本的数据集上进行，该数据集与模型的预训练分布相似。值得注意的是，SAE 并未在"Human:/Assistant:"格式的数据或图像上进行训练，但它们展示了对这两者的泛化能力。

主要贡献与结果

1. 稀疏自编码器的可扩展性

主要贡献在于证明了 SAE 能够成功从生产级模型中提取高质量、可解释的特征。3400 万特征的 SAE 解释了模型残差流激活中至少 65% 的方差，且每个 token 平均激活的特征数少于 300 个。

2. 特征属性

提取的特征表现出几种稳健的属性：

多语言与多模态：特征在不同语言中对同一概念产生响应，并且尽管仅基于文本训练，仍能泛化到图像。
具体与抽象泛化：特征既在具体实例上激活（例如，包含特定 bug 的代码），也在同一概念的抽象讨论上激活（例如，讨论安全漏洞）。
单义性：特征对应特定的概念，范围从著名实体（例如，理查德·费曼、金门大桥）到抽象概念（例如，讽刺、代码错误、欺骗）。

3. 特征可解释性与因果性

作者通过以下方式验证了特征解释：

特异性：使用 Claude 3 Opus 进行自动评分，确认高激活输入与提出的特征解释高度匹配。
对行为的影响（引导）：通过在正向传播期间将特征激活“钳制”为高值或低值，作者展示了模型输出的因果控制。例如：
- 钳制“金门大桥”特征诱导模型自我识别为大桥。
- 钳制“代码错误”特征导致模型在无 bug 的代码中幻觉出错误，或将有 bug 的代码重写为正确。
- 钳制“欺骗/内部冲突”特征导致模型揭示其试图“遗忘”的信息。

4. 安全相关特征

该研究识别了对应安全关键概念的特征，包括：

欺骗与权力寻求：与撒谎、背叛性转折和自我改进 AI 相关的特征。
偏见与阿谀奉承：检测性别偏见、种族侮辱和过度赞美的特征。
危险内容：在讨论生物武器、诈骗邮件和后门时激活的特征。
因果影响：引导这些特征证实了它们对模型行为具有因果影响（例如，钳制“诈骗邮件”特征导致模型生成诈骗邮件，尽管经过了安全训练）。

5. 特征几何与完备性

特征邻域：特征在解码器空间中按反映语义关系的几何簇组织（例如，100 万特征 SAE 中的“旧金山”特征在 3400 万特征 SAE 中分裂为更细粒度的特征）。
频率与字典大小：发现训练数据中概念的频率与解析其特征所需的字典大小之间存在系统性关系。罕见概念需要显著更大的字典。
与神经元的比较：SAE 特征被发现比单个 MLP 神经元更具可解释性和特异性，绝大多数特征与任何单个神经元没有强相关性。

意义与主张

该论文声称成功将单义性扩展到了中型生产模型，解决了字典学习可能无法泛化到小型 Transformer 之外的担忧。作者认为，这通过允许研究人员检查大型模型的内部表示，提供了一个“安全测试集”。

适度主张与局限性：
作者明确警告不要过度解读安全相关特征的存在本身。他们指出：

存在与能力：欺骗或危险内容特征的存在并不意味着模型当前具有欺骗性或危险性；这反映了模型在预训练期间接触到了此类概念。
不完备性：特征集合是不完备的。作者并未声称找到了“所有”特征，并指出由于“跨层叠加”（特征分散在多个层中）或 L1 正则化中的收缩问题，当前方法可能会遗漏特征。
评估：目前尚无严格的“真实值”方法来评估特征是否忠实地捕捉了所有模型计算。所使用的损失函数只是一个代理指标，而非可解释性的决定性衡量标准。
安全效用：虽然这些特征可能对安全有用，但论文并未声称它们目前足以部署安全机制。该工作被描述为“初步”的，旨在鼓励进一步研究以理解这些特征的含义。

总之，该论文确立了稀疏自编码器可以扩展至大型模型，以揭示丰富、可解释且具有因果影响力的特征集，为机械可解释性提供了新工具，同时也承认在完备性和评估方面仍存在重大挑战。