💬 NLP

Prototype Transformer: Towards Language Model Architectures Interpretable by Design

本文介绍了一种名为原型 Transformer（ProtoT）的新型自回归语言模型架构，该架构利用基于原型的模块取代了具有二次方成本的自注意力机制，以自动捕捉可命名的概念，从而在保持强大性能和可扩展性的同时实现可解释的推理。

原作者： Yordan Yordanov, Matteo Forasassi, Bayar Menzat, Ruizhi Wang, Chang Qi, Markus Kaltenberger, Amine M'Charrak, Tommaso Salvatori, Thomas Lukasiewicz

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yordan Yordanov, Matteo Forasassi, Bayar Menzat, Ruizhi Wang, Chang Qi, Markus Kaltenberger, Amine M'Charrak, Tommaso Salvatori, Thomas Lukasiewicz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 Prototype Transformer (ProtoT) 论文的解释，已将其翻译为中文，保留了原有的通俗语言风格与创意类比。

核心问题：名为“黑盒”的大脑

想象一个超级聪明的机器人，它能写故事、解数学题，还能像人类一样聊天。这个机器人的构造采用了被称为 Transformer 的标准设计（这也是 GPT-4 等模型背后的技术）。

问题在于，这个机器人是一个黑盒。当它给你答案时，它是通过同时观察你句子中的所有单词，并将它们混合成一个复杂且纠缠不清的网络来完成的。即使是制造它的工程师也无法轻易说明：“哦，大脑的这个特定部分之所以决定使用‘苹果’这个词，是因为它正在思考‘水果’。”这只是一团数学上的模糊影像。这使得人们很难信任这个机器人，难以修复它的错误，也难以阻止它产生幻觉（胡编乱造）。

解决方案：“原型 Transformer” (ProtoT)

论文作者构建了一种新型的机器人大脑，叫做 ProtoT。他们没有给机器人一个纠缠的网络，而是给了它一个文件柜系统。

1. 文件柜类比

想象机器人拥有一套 32 个特殊的文件夹（称为“原型”）。

标准 Transformer： 当机器人阅读句子时，它试图同时记住关于每个单词的所有信息。这就像试图在脑海中同时装下一整个图书馆。
ProtoT： 当机器人读到一个词时，它会问自己：“这个词属于哪个文件夹？”
- 如果它看到“女人”这个词，它可能会把这条信息放入 7 号文件夹。
- 如果它看到“新西兰”，它会把它放入 12 号文件夹。
- 如果它看到一个逗号，它可能会把它放入 3 号文件夹。

这些文件夹充当了通信渠道。机器人不仅仅是在混合信息，它还将信息路由到特定的、有名称的类别中。

2. 它是如何学习的（“可命名”的概念）

最酷的部分在于，机器人是自学成才，弄清楚哪些内容该进哪些文件夹的。并没有人告诉它：“把‘女性’放入 7 号文件夹。”相反，在训练过程中，机器人意识到：“嘿，每当我看到关于‘女性’或‘女孩’的词时，它们最适合放在这个特定的文件夹里。”

因此，7 号文件夹自然而然地成为了**“女性概念”文件夹**。12 号文件夹成为了**“地理”文件夹**。

为什么这很重要： 因为文件夹是独立的，我们实际上可以观察 7 号文件夹并说：“啊，这就是机器人存储关于女性知识的地方。”我们甚至可以伸手去调整那个文件夹，从而改变机器人谈论女性的方式，而不会破坏它谈论地理的能力。

3. “预测与整合”的舞蹈

论文描述了机器人使用的一种有趣的节奏：

阅读（预测）： 在机器人写下下一个词之前，它会检查文件夹，看看它预期会看到什么。这就像图书管理员看着“小说”书架，猜测道：“噢，下一本书可能是一部悬疑小说。”
写入（整合）： 一旦单词出现，机器人就会用新的信息更新正确的文件夹。

这个过程在瞬间完成，但这意味着机器人在阅读时，始终在将自己的思想整理成整齐、贴有标签的盒子。

性能表现：快速、强大且安全

作者将这种新设计与标准模型（如 LLaMA）以及一些其他快速模型（如 Mamba 和 DeltaNet）进行了对比测试。

速度： 标准模型会随着文本变长而变得越来越慢（就像在一个不断增长的图书馆里找书）。ProtoT 则保持了快速和高效，就像一位图书管理员，无论故事有多长，她只需要检查 32 个特定的书架。
智能： ProtoT 在撰写文本和理解语言方面表现非常出色。虽然它不像那些规模极大的标准模型那样近乎完美，但它击败了其他“快速型”模型。
鲁棒性： 如果你稍微改变一个词（比如使用同义词或拼写错误），ProtoT 依然能保持冷静而不至于混乱。这就像一个人理解的是句子的意思，而不仅仅是精确的拼写。

“外科手术式”编辑

由于机器人将其思想组织进这些特定的文件夹，研究人员可以对机器人的大脑进行**“外科手术”**。

他们找到了“女性”文件夹。
他们暂时“关闭”了它（或将其数据打乱）。
结果： 机器人突然无法正确预测像“女性”或“女孩”这样的词。
至关重要的一点是： 机器人仍然可以完美地谈论“新西兰”或“数学”。手术非常精准。它没有破坏整个大脑，只是改变了其中一个特定的主题。

总结

Prototype Transformer 是一种构建 AI 的新方式，它用一点点“神秘感”换取了大量的清晰度。

旧方式： 一个巨大的、混乱的信息汤，你无法分辨哪部分起到了什么作用。
新方式 (ProtoT)： 一个整洁的文件系统，AI 将其思想分类存入贴有标签的文件夹。

这使得 AI 更易于理解、更易于修复且更可靠，同时也足够聪明，能够创作出精彩的故事并回答问题。它证明了你可以构建出一种强大的、在设计上即具备可解释性的 AI，而不仅仅是一个我们只能寄希望于它正常工作的黑盒。

技术摘要：原型 Transformer (ProtoT)

问题陈述

最先进的自回归语言模型（LM），如 GPT-4 和 LLaMA，在不同领域都取得了卓越的表现，但其推理过程缺乏透明度。它们的内部计算路径在很大程度上是不透明的，导致在理解输出生成方式、应对幻觉风险以及进行针对性行为编辑方面存在挑战。目前的解释性方法主要是事后的（例如，注意力可视化、探测、稀疏自编码器），且这些方法运行在并非以可解释性为主要约束设计的架构之上。此外，标准的自注意力机制相对于序列长度会产生二次方计算成本，限制了可扩展性。

方法论：原型 Transformer (ProtoT)

作者引入了 ProtoT，这是一种自回归语言模型架构，它使用基于原型的、具有线性成本的通信模块取代了标准的二次方成本自注意力机制。ProtoT 保持了 LLaMA-3 的整体结构（包括 SwiGLU 前馈网络和 RMS 前层归一化），但从根本上改变了“混合器”（mixer）层。

核心架构

基于原型的混合器： ProtoT 不使用自注意力，而是利用 $R$ 个可学习的参数向量，称为原型（prototypes）。这些原型充当定义 $R$ 个独立通信通道的过滤器。
写入与读取门控：
- 写入门（Write Gate）： 将过去标记（ $x_{j}, j < i$ ）的信息聚合到 $R$ 个通道中。它计算输入标记与原型之间的相似度得分，通过对原型进行 softmax 处理，将信息路由到特定的通道中。这创造了一个“语义路由瓶颈”，即多个含义被迫在每个通道的表示中达成一种折衷，从而鼓励语义专业化。
- 读取门（Read Gate）： 根据当前标记与原型之间的相似度，从 $R$ 个通道中检索信息。
前缀均值 (PM) 与时间折扣： 每个通道中聚合的信息以过去激活的前缀均值形式进行维护。一个可学习的时间折扣参数 ( $\beta_k$ ) 对前缀均值应用指数移动平均（EMA），允许不同的原型在不同的时间尺度（短期 vs 长期依赖）上运行。
线性复杂度： 该架构实现了相对于序列长度的线性计算复杂度 ( $O(R)$ )，因为原型之间互不交互（不像 Perceiver 式潜在空间的 $O(R^2)$ 交互），且由于递归特性，通过缓存可以实现常数时间 ( $O(1)$ ) 的标记生成。
Alpha 门： 在每个混合器模块的输出端应用一个类似 ReZero 的标量门，用于调试训练稳定性并确保混合器对预测有贡献。

核心贡献

架构创新： 引入了 ProtoT，这是一种新型语言模型架构，通过用基于原型的多通道通信取代自注意力，实现了线性计算复杂度，同时保持了具有竞争力的性能。
涌现的可解释性： 证明了原型在训练过程中能够自动学习解耦且可命名的概念（例如，“女性”、“新西兰”、“COVID-19”），涵盖各种抽象层级。这是在没有显式监督的情况下发生的，是由架构压力驱动的通道专业化所促成的。
针对性行为编辑： 证据表明，可以通过干预特定原型（例如，重新初始化或屏蔽“女性”原型）来对模型的推理进行外科手术式的编辑。这些干预显著改变了相关标记的概率（例如，使“女性/women”的概率降低约 16%），同时对模型整体困惑度的损害微乎其微（在大多数情况下 < 1%）。
鲁棒性分析： 展示了 ProtoT 对保持意义不变的词汇扰动（同义词、拼写错误）具有鲁棒性，并且这种鲁棒性是通过原型路由机制实现的。

实验结果

作者将 ProtoT 与三个基准模型进行了评估：LLaMA（标准自注意力）、Mamba（状态空间模型）和 DeltaNet（线性注意力），使用固定的骨干网络（6 层，256 隐藏维度），并在 FineWeb-Edu 上使用 250M 个标记进行训练。

可扩展性： ProtoT 随模型大小和数据量的增加而良好扩展。在大型设置（512 隐藏维度，12 层）下，ProtoT 的困惑度为 29.5，优于 DeltaNet (31.5) 和 Mamba (26.5)，尽管略逊于 LLaMA (25.8)。
文本生成： 在成对人类偏好评估（LLM 作为评委）中，ProtoT 优于 LLaMA 和 DeltaNet，排名接近 Mamba。
下游任务： 在 GLUE 基准测试中，ProtoT 与密集型基准模型保持竞争水平，通常能达到或超过 Mamba 和 DeltaNet，并展示了强大的跨领域鲁棒性。
吞吐量： 由于其线性计算特性，ProtoT 随上下文长度增加的扩展性优于 LLaMA，在 32k 个标记处超越了 LLaMA，不过 DeltaNet 在极长上下文中保持着最高的吞吐量。
可解释性指标： 与 LLaMA 的注意力头和稀疏自编码器（SAE）特征相比，ProtoT 的原型在解耦性和主题覆盖率方面得分更高。
干预有效性： 打断特定原型（例如 L9 P7 代表“女性”）会导致目标标记概率显著下降（例如，“women”下降 16.60%），而对序列连贯性的副作用极小。

意义与主张

论文声称 ProtoT 代表了迈向设计即可解释的自回归语言模型的重要一步。通过将可解释性直接集成到架构中，该模型：

能够自动捕捉连贯且可命名的概念。
能够对模型行为进行针对性的、外科手术式的编辑，而不会导致整个系统失稳。
提供了一种具有线性计算成本且对扰动具有鲁棒性的自注意力替代方案。

作者承认了局限性，指出虽然在性能上与线性基准模型相当，但在原始困惑度方面目前仍逊于成熟的自注意力模型（如 LLaMA）。他们还提醒，应将原型标签视为近似值而非地面真值，因为某些原型仍然具有多义性。然而，这项工作表明，平衡能力与透明度是可行的，为开发更安全、更可控的语言模型提供了路径。