💬 NLP

Scaling Inherently Interpretable Language Models

本文通过证明将可解释性约束集成到训练流水线中可以使像 Steerling-8B 这样的模型在保持竞争性能的同时，实现更有效的扩展并变得更加透明且符合人类概念，从而挑战了“可解释性是以能力为代价”这一观点。

原作者： Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一座巨大的、充满魔力的图书馆是如何运作的。多年来，最聪明的图书管理员（AI研究人员）一直在建造这些规模更大、功能更强大的图书馆，但他们接受了一个奇怪的规则：为了让图书馆真正强大，它必须是一个“黑盒”。你可以向它提问，它会给你一个精彩绝伦的答案，但你完全不知道它是如何找到这个答案的。这就像一位巫师施展了咒语，然后说：“相信我，这行得通，”却不展示其中的成分或咒语细节。因此，如果图书馆犯了错或者说了些奇怪的话，我们无法轻易修复它；我们只能在事后猜测发生了什么。这篇论文提出了一个大胆的问题：如果我们不必接受这种权衡呢？如果我们能建造一座既是超级天才、又是透明的图书馆，让我们能清楚地看到它在写出答案时使用了哪些书，以及它正在思考哪些想法呢？

这篇论文的作者们——一个名为 Guide Labs 的团队——决定测试这个想法。他们构建了一种新型的语言模型，叫做 Steerling-8B。与通常被训练为仅仅预测句子中下一个词的“黑盒”模型不同，Steerling 在设计之初就将一条特殊的规则刻进了大脑：它必须在思考的过程中解释自己的思考过程。他们发现了一个令人惊讶的事实：让模型进行自我解释并没有削弱它的能力。事实上，随着他们扩大模型的规模并赋予其更多的计算能力，它不仅变得更聪明，而且在解释自身方面也变得更好了。模型规模越大，它的内部思维就越清晰，我们也越容易看清它是利用哪些想法来形成答案的。

“黑盒”魔法的问题

长期以来，构建 AI 的标准方式是训练一个模型尽可能好地预测文本，然后在它学习完成后，再尝试窥视其内部运作。研究人员使用诸如“探针”（试图猜测模型内部是否隐藏了某个概念）或“归因”（试图猜测哪些词起到了关键作用）之类的工具。但作者认为，这些工具就像是在汽车引擎已经造好之后，通过听它的噪音来试图弄清楚引擎是如何工作的。引擎在设计时并不是为了被倾听而存在的，所以噪音可能会产生误导。一个探针可能会说：“嘿，‘猫’这个词就在里面！”但这并不意味着模型在做决策时真的使用了“猫”的概念。这可能仅仅是一个巧合。

论文指出，这种“事后修补”的方法从根本上就是有缺陷的。如果你想要一个真正可理解的模型，你不能在完成后才加装手电筒；你必须在制造引擎的同时，就把手电筒内置进去。

配方：构建一个透明的大脑

为了解决这个问题，团队创造了一种新的 AI 训练“配方”。他们不仅仅是教模型预测下一个词，还同时教了它三件事：

输入归因：“你的问题中哪些词最重要？”
概念归因：“你现在正在思考哪些宏大的想法或主题？”
数据归因：“你从你的训练图书馆中学习到了哪些部分？”

为了实现这一点，他们必须建立一个庞大的全新“概念”库。想象一本字典，但它包含的不只是单词，还包含了 33,000 个具体的想法，比如“梯度下降”、“中世纪诗歌”或“讽刺”。他们建立了一个名为 Atlas 的系统，该系统阅读了数百万份文档，并用这些想法对它们进行了标记，从而创建了一张 AI 可以实际使用的知识地图。

然后，他们构建了模型的脑部——Steerling-8B，并在中间设计了一个特殊的“瓶颈”。把普通的 AI 想象成一根水流（信息）从输入流向输出的直管。Steerling 则在中间有一个过滤器。在水流出之前，它必须通过一组贴有标签的“桶”（即概念）。模型必须决定：“好吧，这个句子有 40% 关于‘数学’，20% 关于‘历史’。”因为模型必须利用这些桶来进行预测，所以我们可以准确看到它使用了哪些桶。如果它犯了错，我们可以观察这些桶并说：“啊，它太关注‘历史’而忽略了‘数学’。”

巨大的惊喜：越大越清晰

论文中最令人兴奋的部分是当他们扩大模型规模时所发生的事情。通常情况下，当你让一个复杂的系统变大时，它会变得更难理解。但在这里，情况恰恰相反。

团队测试了从微型模型到庞大的 80 亿参数 Steerling-8B 的各种模型。他们发现，随着模型的增长，其内部的“桶”变得更加有序，并且与人类的想法更加一致。

“税收”迷思：许多人认为，让模型解释自身会以性能为代价，就像是对其智能征收的一种“税”。论文表明这并非事实。实现可解释性的“成本”是一个微小的固定值，就像你支付的一次性小额费用，而不是随着财富增加而不断增长的账单。
规模化：随着他们增加了计算能力（大约 1.35 万亿个单词的训练数据），模型不仅变得更聪明，而且变得更加透明。它学习到的概念变得更加清晰，它对“残差”（大脑中隐藏的、无法解释的部分）的依赖减少，而对标注概念的依赖增加了。

驾驶航船

由于模型是以这种方式构建的，你可以直接“操纵”它，而无需重新训练。想象你在开车。在普通的 AI 中，如果你想避免谈论暴力，你只能寄希望于车不要撞车。但在 Steerling 中，你只需转动旋钮。如果你想让模型更具“学术性”，你可以提升“学术”桶的权重。如果你想阻止它谈论“政治”，你可以抑制那个桶。论文显示，他们可以通过简单地调整模型正在使用的概念，实现瞬间改变模型行为。

结果

团队在 1.2 万亿个 token（海量文本）上训练了 Steerling-8B。他们将其与使用 2 到 16 倍于其计算能力的其它开源模型进行了对比。尽管拥有较小的训练预算，并且背负着可解释性的额外“重量”，Steerling 的表现几乎与那些庞大的、不透明的模型不相上下。

论文总结道，我们不必在智能 AI 和透明 AI 之间做选择。通过从一开始就设计出可理解的模型，我们可以构建出不仅强大而且值得信赖的系统，因为我们可以看清它们的思考方式，并在出错时进行修复。这是一个从建造“黑盒”向建造“玻璃房”的转变，让光线可以穿透其中。

技术摘要：规模化本质可解释语言模型

问题陈述

目前的语言大模型（LLMs）通常被训练为不透明的系统，可解释性被视为一种事后的“能力税”。标准的工作流涉及训练一个高性能模型，然后尝试使用探针、特征归因或稀疏自编码器来逆向工程其行为。作者认为，这种方法存在根本性的结构性限制：模型在训练时从未被要求将解释作为其计算过程的有效接口。因此，事后方法往往无法满足忠实度（解释反映实际推理）和有效性（干预具有意义）的要求。此外，存在一种普遍假设，即强迫模型遵循人类可理解的结构必然会降低性能，从而在能力与可解释性之间产生权衡。

研究方法

1. 本质可解释性配方

作者提出了一个训练流水线，其中可解释性是与语言建模目标一同优化的约束，而非事后的补救措施。该配方修改了标准的训练阶段，以满足五个形式化条件，从而实现本质可解释性：

原生性（Nativeness）： 属性变量必须是生成输出的计算路径的一部分。
一致性（Agreement）： 归因得分必须能在应用干预（如掩码或概念转向）之前，预测干预的效果。
有效性（Validity）： 干预必须符合分布内（模型在训练期间见过这些扰动状态）。
可解释性（Interpretation）： 语义描述（卡片）必须准确代表模型的内部变量。
覆盖率（Coverage）： 可解释组件必须解释预测中的显著部分，使未解释的残差最小化。

2. 数据：Atlas 流水线

一个主要的障碍是缺乏在现代预训练语料库规模下的、人类可理解的概念库。为了解决这个问题，作者构建了 Atlas，一个三阶段自动化流水线：

第一阶段（打标签）： 采样 660 万份文档，将其分块，并使用 LLM 生成高召回率、自由形式的标签。
第二阶段（规范化）： 将标签聚类为一个包含 33,732 个人类可理解概念的连贯库，并进行标注和去重。
第三阶段（标注器）： 训练一个模型，将这些概念分配到 1.5 万亿 token 的任意文本块中。
生成的库涵盖了广泛的领域（科学、代码、法律等），并经过验证，确保概念是人类可理解的，而不仅仅是 LLM 语料流畅的。

3. 架构：Steerling-8B

作者通过具有**加性概念瓶颈（Additive Concept Bottleneck）的因果扩散（Causal Diffusion）**语言模型实现了这一配方，即 Steerling-8B。

因果扩散： 与标准的自回归模型不同，Steerling 使用带有块因果注意力的掩码扩散目标。这允许在块内进行并行去噪，同时在块间保留自回归风格的 KV 缓存，以实现高效推理。至关重要的是，掩码目标在“无信息”基准（[MASK]）上训练模型，从而实现有效的输入归因。
概念模块： 插入在 Transformer 主干与语言建模头之间，该模块将隐藏状态 $h$ 分解为三个加性组件：
$\bar{h} = \hat{k} + \hat{u} + \epsilon$
其中 $\hat{k}$ 是已知概念（来自 Atlas 库）的加权和， $\hat{u}$ 是未知概念（在训练期间学习）的加权和， $\epsilon$ 是残差项。
损失函数： 训练目标结合了：
- 语言建模损失： 基于分解后的状态 $\bar{h}$ 预测 token。
- 概念损失： 将已知概念激活与地面真值（ground-truth）块级标注对齐。
- 重构损失： 确保未知头捕捉到无法由已知概念解释的信息。
- 独立性损失： 鼓励已知表示与未知表示之间的正交性，以防止冗余。

4. 训练动态

作者对已知和未知概念头采用了教师强制调度（teacher forcing schedules）。在训练初期，注入地面真值概念表示以稳定学习，随后逐渐退火至模型自身的预测。这防止了模型在概念头可靠之前依赖残差通道或学习伪相关。

关键结果

1. 规模法则（Scaling Laws）

作者在三个数量级（从 10M 到 8B 参数）的计算量下，针对自回归和因果扩散主干进行了 IsoFLOP 规模扫描。

能力： 添加概念模块引入的是一个小的、固定的每主干偏移量，而不是不断增长的惩罚。不可约损失 ( $L_\infty$ ) 在可解释变体中实际上是降低的。
可解释性： 所有四个可解释性指标（概念损失、独立性损失、贡献度和对齐度）都随规模提升而改善。与“可解释性随规模增大而下降”的假设相反，模型随着规模扩大变得更加解耦，并与人类概念更加对齐。
预测： 小规模拟合能够准确预测 8B Steerling 模型的验证损失（误差在 0.11 nats 以内），并限定了其可解释性指标的范围。

2. Steerling-8B 性能

Steerling-8B 在 1.2 万亿 token 上进行预训练，并在 1500 亿 token 上进行中期训练。

竞争力： 尽管带有可解释性约束，Steerling-8B 的性能仍能达到在 2–16 倍更多计算量下训练的开源同类模型的约 10% 差距以内。
能力： 该模型支持闭环干预：
- 归因： 它可以将输出追溯到输入 token、特定概念以及相似的训练数据。
- 转向： 用户可以在推理时放大或抑制特定概念，直接操纵用于前向传播的概念嵌入，而无需重新训练。

重要性与主张

本文挑战了“可解释性是能力税”这一前提。其主要主张如下：

可解释性可以设计进训练过程： 通过在训练过程中满足忠实度和有效性条件，模型可以提供与其计算过程结构性耦合的解释。
可解释性随能力同步扩展： 并非随着规模增大而变得难以理解，本质可解释的模型在规模扩大时会变得更加解耦，并与人类概念更加对齐。
竞争力是可以实现的： 一个既可解释又具备竞争力的模型可以与使用显著更多计算量的非透明同行抗衡，这表明了一种新的规模化范式，即理解是架构的一个特性，而非事后的成本。

作者总结道，可以通过在整个训练过程中锚定解释接口（概念库、基准、分解），来减轻“拉什罗蒙效应”（Rashomon effect，即多个具有相同性能的模型具有不同的内部机制）。