🤖 AI

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

本文表明，扩散语言模型尽管缺乏显式的步长条件（timestep conditioning），但其残差流中内部编码了一种可解码的去噪进度潜表征，这种表征可以通过操纵来系统地控制模型的置信度和熵。在此激活上下文中，变量 h 的索引 n 表示序列位置，t 表示去噪步长。KL 散度并不与 \hat{t}-t 的距离呈线性缩放关系。

原作者： Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Str

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Strano (Sapienza University of Rome), Donato Crisostomi (Sapienza University of Rome), Giorgos Nikolaou (EPFL), Tommaso Mencattini (EPFL), Andrea Santilli (Independent researcher), Emanuele Rodolà (Sapienza University of Rome), Simone Scardapane (Sapienza University of Rome), Alessio Devoto (Independent researcher)

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将扩散语言模型（Diffusion Language Model, DLM）视为一位在黑暗房间里工作的雕塑大师。与传统的作家那样从左到右一个词一个词地构建故事不同，这位雕塑家从一块完全被粘土（由 [MASK] 标记表示）覆盖的石块开始。他们的工作是剥离粘土，一层一层地揭开隐藏在下面的词语，直到最终的雕像显现出来。

这个研究解决的核心谜题是：雕塑家知道还剩多少粘土吗？

在传统的写作模型中，计算机确切知道自己写了多少个词。但在这些“雕塑”模型中，论文提出了一个问题：即使没有被明确教过如何计数，这些模型是否拥有一种内在的“时钟”或对进度的感知？

以下是研究人员发现的成果，通过简单的解释呈现如下：

1. “潜意识时钟”

研究人员发现，尽管模型并没有被告知“你已经完成了 50%”，但它在秘密地记录自己的进度。这就像一位雕塑家虽然没有手表，但能通过感受手中石头的重量，本能地知道：“我已经完成了一半。”

他们发现模型大脑内部（具体是在其“残差流”中，即模型的内部思维路径）存在一个隐藏信号。这个信号充当了一个潜意识时钟（Latent Clock）。它告诉模型剥离了多少“粘土”（被遮盖的标记）以及还剩多少。

2. 读取思想（探测）

为了证明这个时钟的存在，研究人员构建了一个简单的“解码器”（探测器）。他们观察了模型在不同阶段的内部思维。

结果： 解码器可以准确地读取模型的内部时钟。仅仅通过观察模型的激活状态，解码器就能判断模型正处于起始阶段（粘土很多）、中间阶段，还是结束阶段（几乎没有粘土剩余）。
类比： 这就像通过观察一个人的姿态，就能瞬间判断出他是在马拉松刚起步，还是即将冲过终点线，即便他一言不发。

3. 黑进时钟（操控）

最令人兴奋的部分是，研究人员不仅能“读取”这个时钟，还能“重构”它。他们发现模型大脑中存在一个特定的方向，对应着“时间”或“进度”。

实验： 他们人工地将模型的内部时钟向前或向后推。
- 向前推动： 他们告诉模型：“你快完成了！”（即便事实并非如此）。模型立即变得更加自信，说话时的犹豫减少（熵降低），表现得像是已经准备好收尾了。
- 向后推动： 他们告诉模型：“你才刚刚开始！”（即便此时已接近尾声）。模型变得困惑、缺乏信心，并开始质疑自己的选择。
结论： 这证明了时钟不仅仅是一个被动的观察，而是一个控制机制。如果你改变模型的感知时间，你就会改变它的行为。值得注意的是，模型输出分布与真实分布之间的差异（通常用 KL 散度衡量）并不与感知时间 $\hat{t}$ 和真实时间 $t$ 之间的线性距离成正比，而是呈现出更复杂的非线性关系。

4. 时间的形状

研究人员还观察了这种“时钟”的几何结构。他们发现，模型并不将时间表示为一个混乱、无序的云团。相反，它将时间组织成一条非常整洁、平滑的曲线（类似于抛物线）。

类比： 想象模型对时间的理解就像是一条过山车轨道。随着去噪过程的推进，模型的内部状态沿着这条轨道平滑地滑动。研究人员发现，几乎所有关于“我们进行到哪一步了”的信息，都能够拟合到这一条单一的、低维度的轨道上。

5. 自我修正机制

其中一个最酷的发现是，模型足够聪明，能够修正错误。

如果研究人员在模型的早期层（即思维过程的“开始”阶段）干扰了时钟，模型通常会在信息流向更深层时进行“自我修正”。它会意识到：“等等，虽然我被告知已到达终点，但我实际上还在中间，”然后它会调整内部状态以回归真相。
然而，如果他们在非常靠后的层级干扰时钟，模型就无法进行修正，其行为也会发生永久性的改变。

总结

这篇论文揭示了扩散语言模型拥有一种隐藏的、内在的“还有多少工作要做”的感觉。

它们拥有时钟： 它们将进度编码在内部大脑状态中。
我们可以读取它： 我们可以准确测量这种进度。
我们可以控制它： 通过微调这个内部时钟，我们可以让模型变得更加自信或不再那么自信。
它是结构化的： 这种“时间”在模型的脑内以一种整洁、可预测的几何形状组织起来。

本质上，模型就像一个正在隧道中行走的人，即使没有人告诉他距离，他也清楚地知道自己距离光亮还有多远。研究人员找到了承载这一知识的大脑部分，并展示了可以通过转动旋钮来改变这个人对这段旅程的感觉。

技术细节澄清：
在分析模型内部状态时，研究人员关注的是激活向量 $h$ 。为了避免混淆，需要明确该变量中两个关键索引的含义：

$n$ 代表层索引（Layer Index）：它标识了模型神经网络中的具体深度层级（例如，第 1 层、第 12 层等）。
$t$ 代表去噪步骤索引（Denoising Step Index）：它标识了当前处于生成过程的哪个时间步或阶段（例如，刚开始去噪的第 1 步，还是接近完成的最后一步）。
因此， $h_{n,t}$ 表示在第 $t$ 个去噪步骤中，第 $n$ 层神经网络的内部激活状态。正是通过分析这些特定层和特定时间步的激活状态，研究人员才发现了上述的“潜意识时钟”。

技术摘要：潜意识时钟：扩散语言模型中的潜在时间建模

问题陈述

扩散语言模型（DLMs）已成为自回归模型的一种极具前景的替代方案，它们通过逐步去噪掩码标记（masked tokens）而非顺序预测标记来进行文本生成。与显式以时间步变量 $t$ 为条件的标准扩散模型不同，DLM 在推理过程中通常不会接收显式的时间步输入。这提出了一个根本性的问题，即关于其内部机制的问题：DLM 是否在内部表示了去噪过程的进度，如果确实如此，该信息是如何编码并被利用的？

虽然未掩码标记的比例 ( $\tau_t$ ) 可以作为去噪进度的可观测代理，但目前尚不清楚模型的内部表示（残差流）是否编码了对应于该进度的潜在信号，以及操纵该信号是否会因果性地影响生成。

研究方法

作者通过研究两个大规模掩码扩散模型：LLaDA-1.5 和 Dream，来调查这一现象。其方法围绕着通过探测（probing）、因果转向（causal steering）和几何分析来解决的三个研究问题（RQs）展开。

1. 探测潜在时间 (RQ1)

为了确定去噪进度是否被编码，作者在模型的残差流隐藏状态上训练了 MLP 探测器。

输入： 来自特定层 $l$ 和标记位置 $j$ 的隐藏状态 $h_{t,l,n}^j$ 。其中， $t$ 表示当前的去噪时间步（denoising timestep）， $n$ 表示在去噪过程中被选中进行去噪的特定标记索引（即当前步骤中处于去噪状态的标记）。
目标： 经验去噪进度 $\tau_t$ ，定义为在步骤 $t$ 时未掩码标记的比例。
设置： 探测器针对每一层以及不同的标记子集（[MASK]、非 [MASK] 以及所有标记）分别进行训练，以测试信号的局部化程度。

2. 因果转向 (RQ2)

为了测试所识别信号的因果重要性，作者采用了 均值激活向量转向（mean activation vector steering）。

信号提取： 他们通过对每个示例的隐藏状态求平均，计算每个去噪步骤 $t$ 和层 $l$ 的均值激活向量 $\mu_{t,l}$ 。
干预： 在推理过程中，他们将当前层的激活替换为扰动版本： $\tilde{h}_{t,l}^j = h_{t,l}^j - \mu_{t,l} + \mu_{\hat{t},l}$ ，其中 $\hat{t}$ 是目标去噪步骤。这将模型的内部状态向不同进度水平的表示进行偏移。
控制： 他们将这些针对性扰动与从经验协方差矩阵中采样的、具有匹配范数的随机扰动进行对比。
指标： 他们测量了对 熵（entropy）、置信度（confidence，最大概率） 以及原始与转向后标记分布之间的 KL 散度 的下游影响。

3. 几何特征化 (RQ3)

作者分析了恢复信号的结构：

维度： 他们对均值向量进行主成分分析（PCA），以确定 $\tau$ 表示的有效维度。
跨层对齐： 他们计算不同层之间相同去噪步骤的均值向量之间的余弦相似度，以评估是否存在统一的模型级表示。
层内组件： 他们检查了信号在特定层组件（自注意力、MLP 门控、MLP 上投影等）中的表示情况。

关键结果

1. 潜在去噪信号的存在性

探测准确度： MLP 探测器可以可靠地从残差流激活中预测 $\tau_t$ ，在大多数层中实现 $R^2 > 0.5$ 。该信号在 [MASK] 和非 [MASK] 标记中均存在，尽管在 [MASK] 标记中稍强。
结论： 即使没有显式的时间步调节，DLM 内部也编码了与当前去噪步骤相关的信号。

2. 对生成的因果影响

可预测的调制： 将模型转向更高的 $\hat{t}$ （更多进度）会增加模型置信度并降低熵。反之，将模型转向较低的 $\hat{t}$ 会降低置信度并增加熵。
KL 散度： 清洁分布与转向后分布之间的散度随着目标步骤 $\hat{t}$ 与当前步骤 $t$ 之间距离的增加而单调增加，但并非呈线性关系。
特异性： 这些效应是针对 $\tau$ 方向的特有效应；相同量级的随机扰动不会产生连贯的熵或置信度趋势。
深度修正： 当在早期层注入扰动时，模型会随着计算向更深层推进而逐步补偿这些扰动，从而将信号恢复到其清洁值。然而，极端的转向（例如 $\hat{t}=100$ ）难以被修正，并可能导致生成崩溃（过早出现 EOS 标记）。

3. 结构化的低维几何

低维度： 均值向量的方差由极少数主成分捕捉（通常 $<3$ ），其中第一主成分解释了超过 90% 的方差。
流形结构： 均值向量随去噪步骤变化的轨迹形成了一个结构化的、低维的抛物线形流形。这种几何结构在 LLaDA 的各层之间是一致的，并在 Dream 中组织成特定的计算块。
跨层一致性： 在 LLaDA 中，大多数层保持了高度相关的同一 $\tau$ 步骤的表示，表明存在一个共享的模型级基底。在 Dream 中，表示被组织成不同的计算块。
组件反相关： 在一层之内，自注意力输出和 MLP 输出（特别是 post-MLP 和 post-attention 向量）表现出强烈的 反相关性。它们共享一个共同的方向，但指向相反的方向，这表明存在一种机制，使模型能够在处理过程中“抵消”或精炼该信号。

重要性与主张

本文声称提供了首个系统性的证据，证明 扩散语言模型在缺乏显式时间步输入的情况下，内部建模了一个代表去噪进度的潜在“时钟”。

机制洞察： 该工作揭示了未掩码标记的比例不仅是一个外部指标，而且是被模型主动追踪和表示在残差流中的信息。
可控性： 所识别的信号具有因果相关性；转向该信号可以实现对模型置信度和熵的可预测调制，这证明了模型的“进度概念”是一个可操作的子空间。
结构正则性： 跨层共享的低维抛物线流形的发现，表明 DLM 以一种高度结构化、几何化的方式处理去噪时间，这与自回归模型中处理其他概念时常见的线性表示不同。
修正机制： 观察到的早期扰动会被更深层修正，这意味着 DLM 拥有一种强大的内部机制来维持去噪轨迹的完整性。

作者得出结论，虽然该信号在功能上是相关的且在结构上是有组织的，但计算或更新该表示的具体电路仍是未来工作的开放课题。他们提醒注意，该信号与标记分布（例如，影响 EOS 概率）是纠缠在一起的，而非一个纯粹与内容无关的计数器。