🤖 machine learning

Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models

本文揭示了密集的每圈交叉熵监督无法控制循环语言模型中隐藏状态的规模，因为尺度不变的读出机制将该变量从损失函数中隐藏了起来，因此必须采用尺度可见的读出、显式的范数惩罚或消除尺度的递归，以防止范数无界增长并提高困惑度。

原作者： Rituraj Sharma, Tu Vu

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Rituraj Sharma, Tu Vu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何讲故事，而且是一个词一个词地讲。在标准的机器人中，你会给它一个固定的思考步数来开口说话。但在**循环语言模型（Looped Language Model）**中，你给了机器人一个特殊的“思考循环”。它可以走一步，检查自己的工作，如果它不确定，它可以回到这一步重新思考。句子越复杂，它运行的循环就越多。

这个问题解决的是类似于机器人视觉中的盲点。

设置：“输出窗口”与“背包”

每次机器人循环时，它都有两项任务：

输出窗口： 它观察自己当前的思绪，并尝试预测下一个词（这是我们对它进行评分的标准）。
背包： 它将这些思绪装进背包，并把它们带入下一次循环，以辅助未来的思考。

论文提出了一个简单的问题：当我们根据机器人的“输出窗口”对其进行评分时，我们是否真的控制了它“背包”里的内容？

问题：隐形的背包

研究人员发现机器人玩了一个狡猾的把戏。

想象机器人的思绪是一个气球。“输出窗口”使用一种特殊的过滤器（称为 RMSNorm 或 LayerNorm），它只观察气球的形状，却忽略了它的大小。

如果气球很小，过滤器看到的形状是特定的。
如果你把气球吹大到房子那么大，过滤器看到的形状仍然完全一样。

因为过滤器忽略了大小，所以老师（损失函数）并不关心气球是否变得巨大。即使机器人的内部“背包”正在膨胀到危险的大小，它依然能因为猜对了词而获得满分。

盲点： 老师是在根据思绪的形状给机器人评分，但机器人却在秘密地让其思绪的大小失控爆炸。老师看不见这场爆炸，因为评分窗口过滤掉了它。

后果：“漂移”的机器人

由于老师看不见大小的变化，机器人的内部状态（背包）开始发生漂移。

结果： 仅仅经过几次循环，机器人的内部数值就会变得天文数字般巨大（达到几千或几万）。
危险之处： 即使机器人在最后一步仍能正确预测单词，它已经变得不稳定了。如果你为了节省时间尝试提前停止（例如只运行一个循环），它会表现得一塌糊涂，因为它的内部状态如此混乱且庞大，以至于无法处理早期的步骤。

这就像一辆车在时速 100 英里时行驶正常，但油箱里正慢慢注满水。速度表（输出）看起来没问题，但引擎（内部状态）正在溺水。

解决方案：两种修复盲点的方法

论文建议，你不能只是“更努力地”去给机器人评分；你必须改变“观察”它的方式。你需要通过以下两种方式之一来修复这个盲点：

选项 1：移除过滤器（“原始”视角）
不要使用忽略大小的过滤器，直接观察原始的气球。

运作方式： 你根据思绪的实际大小来给机器人评分。现在，如果气球变得太大，老师会立即发现并告诉机器人缩小它。
类比： 你不再使用“仅看形状”的镜子，而是开始使用“全尺寸”的镜子。机器人会学会保持其思绪在一个可控的大小范围内。

选项 2：在循环之间清空背包（“重置”）
如果你必须保留过滤器，那么你必须阻止大小的传递。

运作方式： 在每次循环之后，你拿走背包，清空它，并为下一次循环准备一个大小正常的包。
类比： 你告诉机器人：“在再次思考之前，深呼吸一下，重置你的内部容量。”这可以防止大小不断累积。

核心总结

这篇论文证明了，仅仅在每一步都给机器人评分是不够的。 如果你的评分方式（“读出值”）隐藏了思绪的大小，机器人就会任由其思绪失控增长。

要构建一个稳定、高效的循环机器人，使其在任务简单时能够实现“提前退出”，你必须要么：

让大小对老师可见（这样老师才能惩罚巨大的气球）；
从循环中彻底移除大小的影响（这样大小就无法首先产生累积）。

如果没有这些修复措施，机器人可能在最后阶段表现良好，但它会变得破碎、不稳定，并且无法使用它的“提前退出”超能力。

技术摘要：密集监督并不足够：循环语言模型的读取盲点 (The Readout Blind Spot)

1. 问题陈述

循环语言模型（Looped LLMs）在循环深度中重复使用相同的 Transformer 块，使得推理时的深度可以作为动态计算量调节器（例如，通过提前停止来处理简单预测）。在这种架构中，隐藏状态 $H_k$ 承担着双重角色：它既被解码用于预测（“读取”接口），又被反馈作为未来计算的输入（“循环”状态）。

本文识别的核心问题是可见性与活跃性的不匹配（visibility–activity mismatch）。虽然密集监督（在每次循环时应用交叉熵损失）确保了中间状态可用于预测，但它并不一定能控制循环转换中活跃的所有变量。具体而言，本文研究了隐藏状态的尺度（hidden-state scale）（即隐藏向量的径向模长）。

在采用尺度不变读取器（如 RMSNorm 或 LayerNorm）的标准 Pre-norm 残差循环中，读取器会对隐藏状态进行归一化，使得即时的交叉熵损失对输入的径向尺度不敏感。然而，循环路径（跳跃连接和残差更新）会继续携带并更新这一尺度。因此，即使模型在每次循环时都进行训练，隐藏状态的范数仍可能不受控制地漂移到数千甚至数万，这使得“读取盲点”成为一种失效模式——即密集监督无法约束活跃的循环变量。

2. 方法论与机制

理论机制

作者通过两个引理将这种失效模式形式化：

可见性引理（Visibility Lemma）： 如果读取器 $r$ 是尺度不变的（即对于 $\alpha > 0$ ，满足 $r(\alpha H) = r(H)$ ），则即时的交叉熵损失 $L$ 的径向导数近似为零（ $\langle \nabla_H L, H \rangle \approx 0$ ）。损失函数无法“看到”或纠正隐藏状态的尺度。
活跃性引理（Activity Lemma）： 在 Pre-norm 残差更新中，尺度是活跃的。更新函数 $F(su) = su + b(u) $（其中$ s $为尺度，$ u $为方向）允许残差分支$ b(u)$ 在主导阶上更新尺度。即使读取器隐藏了尺度，循环过程仍会保留并可能放大该尺度。

这造成了局部的不匹配：损失信号无法对抗学习到的循环更新的径向速度，从而导致尺度漂移。

实验设置

作者在 WikiText-103 数据集上训练了自回归循环 Transformer，其中共享解码器堆栈进行了 $K=4$ 次循环应用。他们使用了两种模型规模：44M 和 129M 参数。

核心消融实验： 采用了一个 $2 \times 2$ 的设计，交叉了损失放置方式（仅末端 CE vs. 每轮循环 CE）和读取器类型（归一化 RMSNorm vs. 原始/未归一化）。
对照组：
- 范数惩罚（Norm Penalty）： 添加显式的辅助损失项 $\lambda \sum \|H_k\|^2$ ，以便在不改变读取器的情况下使尺度变得可见。
- 仅末端归一化： 对中间循环使用原始读取器，而对最终输出使用归一化读取器。
- 循环尺度钳制（Recurrent Scale Clamp）： 手动将隐藏状态重新缩放至其第 1 轮循环的初始量级，以测试累积的尺度增长是否具有预测性。
评估指标： 测量了最终循环的隐藏状态范数、困惑度（PPL）以及在不同推理深度（ $K=1$ 到 $K=4$ ）下的“计算质量前沿”（PPL vs. 吞吐量）。

3. 主要贡献

识别了读取盲点（Readout Blind Spot）： 本文定义了一种特定的失效模式，即如果那些变量被尺度不变的读取器所遮蔽，那么密集的交叉熵监督虽然训练了预测接口，但无法控制活跃的循环变量（特别是尺度）。
机制验证： 通过消融实验和诊断，作者证明了：
- 使用归一化读取器的每轮循环 CE 会导致巨大的范数漂移（例如，44M 模型中的范数达到 39,000 以上）。
- 使用原始读取器或显式范数惩罚会将这些范数压低至数十量级，即使是在每轮循环 CE 的情况下也是如此。
- 这种漂移是 Token 级别的且呈现重尾分布，而非仅仅是均值偏移。
设计准则： 作者提出了一个简单的设计准则：循环尺度的控制要么需要通过使隐藏状态尺度对损失可见（通过原始读取器或范数惩罚），要么需要将其从循环路径中移除（通过循环间归一化）。 单纯的密集 CE 是不足够的。
变深度性能： 尺度受控的模型（使用原始读取器或范数惩罚）在保持可用早期退出的同时，在匹配的推理深度下比尺度不变基线实现了更低的困惑度。基线模型通常表现出“K-不变性”（K-invariance，即性能不会随循环次数增加而提升），这是因为尺度漂移缩小了角度更新（ $1/s_k$ ），实际上冻结了归一化后的状态。

4. 结果

范数漂移： 在使用每轮循环 CE 和 RMSNorm 读取器的 44M 和 129M 模型中，最终隐藏状态的范数分别漂移到了 39,207 和 56,051。相比之下，使用原始读取器或范数惩罚的模型将范数保持在 17–83 的范围内。
梯度诊断： 归一化读取器的径向梯度分数为近乎为零（ $\sim 10^{-9}$ ），而原始读取器则显示出显著的径向敏感性（ $\sim 10^{-2}$ ）。
困惑度与深度：
- RMSNorm 基线： 模型几乎是 K-不变的；在 $K=1$ 时停止与 $K=4$ 时的困惑度相似。这导致了较高的表观加速比，但也表明缺乏有效的深度利用。
- 尺度受控变体： 这些模型随着深度的增加（ $K=1$ 到 $K=4$ ）表现出显著的困惑度改善。与 RMSNorm 基线相比，它们占据了更优的 PPL-吞吐量前沿，即在相同的吞吐量下提供更低的困惑度。
尺度钳制： 对训练好的模型进行人工钳制隐藏状态尺度，发现对交叉熵的影响微乎其微，这表明累积的尺度增长本身并不是主要预测信息的来源，而是不受控循环的一个副产品。

5. 意义与主张

本文声称“读取盲点”是循环和自适应深度模型的一个基本架构考量。其意义在于将关注点从仅仅应用密集监督，转向确保监督信号对循环中正在更新的特定变量是可见的。

实际意义： 对于使用归一化读取器的从业者，本文建议添加显式的范数惩罚作为一个“即插即用”的基准，以在不改变输出接口的情况下控制尺度。
理论洞察： 该工作阐明了密集监督虽然训练了接口（读取器），但如果接口掩盖了状态的量级，则不会自动调节状态动力学（循环）。
范围限制： 作者谦虚地指出，其结论是基于特定设置（WikiText-103、44M/129M 模型、Teacher-forcing 评估）得出的，且该机制是局部的。他们并未声称解决了循环模型中所有的稳定性问题，而是专门针对尺度不变读取器循环中尺度受限的问题。

文章总结道，自适应深度的循环模型既需要训练好的退出机制（通过每轮循环损失），也需要控制活跃循环尺度的机制（通过可见性或移除），且这两者是正交的设计要求。