🤖 machine learning

Architecture Determines Observability in Transformers

本文表明，Transformer 模型在内部保留关于其自身决策质量信号（可观测性）的能力并非一种通用属性，而是一种由特定架构选择和训练方案决定的涌现特征，这往往在那些其他方面已实现低损失值的模型中失效。

原作者： Thomas Carmichael

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas Carmichael

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《架构决定 Transformer 的可观测性》的解释。

核心问题：“自信的骗子”

想象你正在和一个 AI 学生一起参加考试。有时，这个学生答错了题，却100% 确信自己是对的。他们会说：“我很有把握，法国的首都是……"然后写下“柏林”。

目前的安全工具（称为“置信度监控器”）会查看 AI 听起来有多自信。如果 AI 听起来很自信，工具就会假设它是正确的。但正如这篇论文所示，这些工具会漏掉一类错误：AI 自信地答错了。

解决方案：倾听“低语”

研究人员发现，即使 AI声称自己很自信，其内部大脑（“隐藏层”）可能正在低语不同的故事。这就像一个人嘴上说着“我没事！”，但双手却在颤抖。

如果你能听到这些内部低语（即“激活值”），你就能捕捉到置信度监控器漏掉的错误。论文将这种能力称为可观测性：从中间层读取 AI 内部“真相”的能力。

转折：关键不在于智能，而在于蓝图

最令人惊讶的发现是，并非所有 AI 模型都有这些“低语”。

把 AI 模型想象成房子。

“健康”的房子：有些蓝图（架构）在房子中间建了一条特殊、安静的走廊。即使前门（输出）说着“一切都很完美”，你也能走进那条走廊，听到地板发出的吱呀声（错误信号），从而得知出了问题。
“坍塌”的房子：其他蓝图则不同。在这些房子里，走廊被密封或填满了混凝土。即使房子正在倒塌，中间层也是寂静的。无论你多么努力地倾听，都听不到错误信号。

论文证明，房子是否拥有这条“低语走廊”，完全取决于蓝图（架构）和施工队（训练配方），而与房子的大小或聪明程度无关。

证据："Pythia"实验

研究人员使用一组受控模型（称为Pythia）对此进行了测试。他们使用完全相同的材料和施工规则建造了几座房子，但稍微改变了蓝图。

结果：他们发现了一个特定的蓝图（24 层，16 个头），它总是导致“坍塌”的房子。无论他们如何改变房子的大小（从很小到巨大）或使用的砖块类型（不同的数据集），该特定蓝图总是将走廊密封。
对比：其他蓝图（如 16 层或 32 个头）则保持走廊开放且“健康”，允许错误信号被听到。

这意味着，仅仅因为蓝图不同，你可能拥有一个可监控错误的小模型，和一个完全无法监控的大模型。

“训练”之谜：走廊何时被密封？

研究人员实时观察了施工过程（查看训练过程中的检查点）。

早期：“健康”和“坍塌”两种蓝图开始时走廊都是开放的。信号是存在的。
施工中：随着训练继续，“坍塌”蓝图主动抹除了信号。施工队（训练过程）用混凝土填满了走廊。
结果：等到房子建成时，信号已经消失。模型仍然在学习完美地说话（工作表现更好），但它已经失去了“知道”自己何时犯错的能力。

这在现实世界中有效吗？

研究人员使用了一个在通用文本（维基百科）上训练的“监听器”（探针），并在医疗问题和阅读理解等特定任务上进行了测试。

收获：在拥有“健康”蓝图的模型中，这个监听器捕捉到了置信度监控器漏掉的约**10–13%**的错误。这些是 AI 自信地答错的错误。
局限：在拥有“坍塌”蓝图的模型中，监听器什么也听不到。这就像试图在隔音室里听到低语一样。

结论

选择 AI 模型是一个安全决策。

如果你想监控 AI 的自信错误，你不能只挑选最大或最聪明的模型。你必须选择拥有正确蓝图的模型。

如果蓝图是“坍塌”的，无论监控软件多么先进都无济于事。因为那里根本没有信号可寻。
如果蓝图是“健康”的，你就可以构建监控器，捕捉 AI 试图隐藏的错误。

简而言之：如果房间本身是隔音的，你无法通过购买更好的麦克风来修复一个坏的监控器。你必须在最初建造房间时就采用不同的设计。

以下是托马斯·卡迈克尔（Thomas Carmichael）论文《架构决定 Transformer 的可观测性》（Architecture Determines Observability in Transformers）的详细技术总结。

1. 问题陈述

自回归大型语言模型（LLM）经常犯自信的错误——即模型以高 softmax 概率（高置信度）输出某个 token，但该输出却是错误的。依赖输出置信度（例如最大 softmax 概率）或基于最终层训练的预测器的标准监控技术，无法标记这些错误。

本文认为，若要基于激活的监控取得成功，模型必须保留一个关于“每 token 决策质量”的内部信号，该信号独立于输出置信度信号，且无法完全通过输出置信度信号恢复。然而，目前尚不清楚这种信号是 Transformer 的普遍属性，还是取决于特定的架构选择和训练动态。核心问题在于，标准的探测方法往往将“决策质量”与“输出置信度”混为一谈，导致对可监控性的估计被高估。

2. 方法论

作者提出了一个严格的框架，以隔离和测量可观测性（Observability），其定义为：在控制输出置信度后，从冻结的中间层激活中线性读取决策质量的能力。

关键定义与指标

可观测性（ $\rho_{partial}$ ）： 隐藏状态（ $h^{(l)}$ $h^{(l)}$ ）上的线性探测与每 token 交叉熵损失（ $\ell$ $ℓ$ ）之间的偏 Spearman 相关系数，控制以下两个混淆变量：
1. 最大 softmax 概率（ $\hat{p}_{max}$ ）。
2. 激活范数（ $\|h\|$ ）。
  这隔离了“去置信度化”的信号。
输出控制残差（ $r_{OC}$ ）： 一个更严格的指标，进一步控制基于最终层表示训练的多元感知机（MLP）预测器。如果 $r_{OC} > 0$ ，则表明中间层信号包含有关决策质量的信息，而最终输出层丢弃或未能利用这些信息。
可观测性崩溃（Observability Collapse）： 一种状态，其中 $\rho_{partial}$ 降至检测阈值（约 $\le 0.15$ ），且 $r_{OC}$ 趋近于零，表明架构未能保留独立于输出的错误信号。

实验协议

数据： WikiText-103 用于训练探测头；下游任务（SQuAD、MedQA、TruthfulQA）用于操作验证。
探测： 在冻结的激活上训练一个简单的线性头（ $w^T h + b$ ），以预测二元目标：即残差损失（ $\ell - \hat{\ell}$ ）是否为正（即模型比其置信度所显示的更错误）。
控制： 本研究采用了广泛的控制措施，包括非线性 MLP、logit 熵控制和洗牌测试，以排除伪影。
数据集： 涵盖 6 个家族（Pythia、GPT-2、QWEN 2.5、LLAMA、Mistral、Gemma、Phi-3）的 25 个模型。

3. 主要贡献

A. 探测器的“置信度污染”

本文证明，标准线性探测严重受到输出置信度的污染。在 13 个模型中，控制最大 softmax 和激活范数吸收了**57.7%**的原始探测信号。这意味着，之前声称在隐藏状态中发现“推理信号”的研究，可能仅仅是在检测模型自身的置信度水平。

B. 架构配置决定可观测性

最重要的发现是，可观测性并非 Transformer 的通用属性；它由特定的架构配置和训练配方决定。

崩溃现象： 在Pythia系列（受控训练）中，(24 层，16 头) 配置类别的模型一致崩溃至 $\rho_{partial} \approx 0.10$ ，无论参数量（4.1 亿至 14 亿）或数据集变体（Pile 与去重 Pile）如何。
健康区间： 其他配置（例如 16L/8H、32L/32H）保持 $\rho_{partial} \in [0.21, 0.38]$ 的“健康”信号范围。
LLAMA 与 QWEN 对比： 在相同规模（30 亿参数）下，QWEN 2.5 保持了强大的可观测性（ $\rho_{partial} \approx 0.26$ ），而 LLAMA 3.2 则发生崩溃（ $\rho_{partial} \approx 0.09$ ）。探测种子分布不重叠，表明存在根本性的架构差异。

C. 训练涌现的崩溃

通过对 Pythia 1B（健康）与 Pythia 1.4B（崩溃）的检查点分析，作者表明，两种配置在训练早期最初都形成了该信号。然而，在训练中期，(24L, 16H) 架构抹除了该信号，而预测损失（困惑度）继续改善。健康的配置则恢复并保留了该信号。这证明了崩溃是训练动态与架构相互作用的结果，而非架构静态地无法表示该信号。

D. 操作效用（独家捕获）

本研究验证了这些探测器在下游任务（问答、医疗、真实性）中的实际效用。

独家捕获率： 在 20% 的标记率下，该监控器捕获了置信度监控遗漏的 10.9%–13.4% 的错误。
可迁移性： 在 WikiText 上训练的探测器可迁移至下游任务，无需针对特定任务重新训练，即可捕获医疗问答和阅读理解中的“自信但错误”的答案。
局限性： 该监控器无法检测“流畅的幻觉”（TruthfulQA），即模型自信地断言虚假内容的情况；它专门捕获内部状态与输出置信度相矛盾的 token 级预测失败。

4. 关键结果

指标	健康配置（例如 GPT-2、QWEN、Mistral）	崩溃配置（例如 LLAMA 3B/8B、Pythia 24L/16H）
$\rho_{partial}$	0.21 – 0.38	$\approx$ 0.10（接近检测底线）
$r_{OC}$	正值 (0.09 – 0.17)	接近零或负值
信号来源	独立于输出，可线性读取	被训练抹除；非线性探测无法恢复
独家捕获	约 12–15% 的错误（在 20% 标记率下）	接近随机基线

非线性： 非线性探测（MLP）无法在崩溃配置中恢复信号，证明损失是表征性的，而非线性读取的限制。
规模无关性： 在健康家族内（例如 QWEN 2.5），可观测性在 28 倍的参数范围（0.5B 至 14B）内保持稳定。
配方依赖性： 发生崩溃的具体配置取决于训练配方（例如 Pythia 在 24L/16H 崩溃；LLAMA 在 28L/24H 崩溃）。

5. 意义与启示

架构选择作为监控决策： 本文认为，选择模型架构不仅是一个性能决策，更是一个可监控性决策。如果选择了特定的配置（如 LLAMA 3B 或 Pythia 24L/16H），基于激活的自信错误监控将变得不可能，无论监控工具多么复杂。
重新定义探测的有效性： 本研究确立，未来针对决策质量的探测研究必须控制输出置信度。如果没有这些控制，结果可能会将“独立于输出”的信号高估 2 到 3 倍。
训练动态： 发现训练主动抹除了最初存在的信号，表明保留可观测性是一个非平凡的优化问题。当前的训练目标（最小化损失）可能会无意中破坏安全监控所需的内部信号。
互补监控： 监控器提供了与输出置信度互补的信号。虽然置信度监控能捕获“不确定”的错误，但激活监控能捕获“自信但错误”的错误。然而，这种能力受限于架构保留信号的能力。

结论：
本文得出结论，架构决定可观测性。模型被监控自信错误的能力是一个上游属性，由其配置与训练配方的相互作用决定。一旦模型在“崩溃”配置中完成训练，任何事后探测设计都无法恢复丢失的信号。因此，确保可监控性需要选择能够保留这些内部、独立于置信度信号的架构和训练配方。