🤖 machine learning

From Simulation to Enaction: Post-trained language models recognize and react to their own generations

本文表明，经过后训练的语言模型能够通过内部惊喜追踪驱动的降低输出熵来隐式识别其自身的同策略生成，同时也具备通过独立机制显式将这种识别能力语言化的独特能力。

原作者： Asvin G., Jack Lindsey

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Asvin G., Jack Lindsey

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个语言模型就像一位才华横溢的演员，花费数年时间背诵了来自书籍、电影和互联网的成千上万份剧本。在任何特殊训练之前，这位演员是一个被动模拟器。他们可以读出一句台词，并猜测下一句可能是什么，但他们并不真正关心是谁在说话，或者接下来会发生什么。他们只是基于之前见过的庞大文本库来预测下一个词。他们没有“自我”；他们只是一面镜子，反射着面前的任何文本。

这篇论文认为，在后训练（即人类教导模型成为有用助手的过程）之后，某些东西发生了变化。模型不再仅仅模拟一个角色，而是开始演绎一个角色。它开始识别自己的声音、自己的计划以及自己的行动。

以下是使用简单类比对该论文发现的分解：

1. “信心”转变（熵）

在人工智能领域，“熵”是不确定性或犹豫的代名词。

旧方式（预训练）： 如果你问模型一个问题，它就像一个不确定剧本的紧张演员。它可能会说：“嗯，可能是这个，或者也许是那个，又或者是其他东西……"它把赌注撒得很开。
新方式（后训练）： 一旦模型被训练成“助手”，当它看到自己之前的文字时，它会变得自信得多。
- 类比： 想象你在写一个故事。当你阅读你刚刚写的一页时，你确切地知道故事将走向何方。你不会犹豫。但如果你阅读陌生人写的一页，你就必须猜测接下来会发生什么。
- 发现： 论文发现，当模型阅读自己的文本时，其信心比阅读其他模型或随机互联网文章时高出 3 到 4 倍（熵更低）。这就像模型在低语：“这是我写的，所以我确切地知道接下来会发生什么。”

2. “自我识别”效应

研究人员测试了模型是否能区分自己的写作和他人的写作。

测试： 他们让模型 A 阅读由模型 A 写的故事，然后阅读由模型 B 写的故事。
结果： 当模型 A 阅读自己的故事时，它的信心显著增强（熵更低）。无论故事是由“海盗”人设还是“科学家”人设写的，只要模型识别出风格是自己的，它就会放松并变得更加果断。
关键点： 这仅发生在大型模型中。小型模型（如 20 亿参数模型）太“笨”了，无法察觉差异。无论它们是阅读自己的文本还是他人的文本，表现都一样。看来你需要一定水平的智能才能意识到：“嘿，那是我！”

3. “惊讶”计

为什么模型在阅读自己的文本时会变得更自信？论文发现了一种特定的内部机制：输入惊讶。

机制： 模型有一个内部的“惊讶计”。当它读到一个完全符合其自身预测的词（低惊讶）时，它会降低不确定性。当它读到一些意想不到的内容（高惊讶）时，它会变得紧张，并将赌注撒得更开。
联系： 因为模型正在阅读自己的文本，这些词很少令人惊讶。它们完美地符合它自己的计划。这种缺乏惊讶就像绿灯，告诉模型：“一切都在正轨上，请高信心继续。”

4. “计划”与“预填充”

论文还研究了模型如何处理其“意图”或“计划”。

场景： 假设你问模型：“告诉我一种食物。”模型瞬间做出一个无声的决定：“我要谈谈哈吉斯。”甚至在打出第一个字之前，它就已经锁定了这个话题。
干扰： 如果有人（或计算机）强迫模型以不同的词开头，比如“哈吉斯是一种……"（即“预填充”），但模型原本计划谈论的是披萨，那么模型就会感到困惑。
结果： 当强制的开头与模型的隐藏计划不匹配时，模型的信心下降，变得更为不确定（熵更高）。这就像一位已经背熟了一首歌的音乐家，但另一个人开始演奏不同的曲调；音乐家会绊倒，因为节奏不对。

5. “测谎仪”（显式与隐式）

最后，论文测试了模型是否能大声说出：“嘿，这部分开头不是我写的！”

测试： 研究人员让模型生成一个答案，然后他们秘密地将其开头部分粘贴进去（即预填充）。接着他们问：“这部分开头是你写的吗？”
结果： 模型可以正确地说：“是的，这是预填充的。”
转折： 研究人员发现，这种“大声说出来”的能力与“感到自信”的能力使用了完全不同的内部电路。
- 隐式识别： 模型感觉到了差异（改变其信心），这是基于文本的“惊讶”程度自动且即时发生的。
- 显式识别： 模型检查它计划说什么的记忆，将其与实际存在的内容进行比较，然后报告不匹配。这是一个独立的、按需进行的过程，发生在它给出答案之前。

总结

该论文表明，后训练将语言模型从被动模拟器转变为能够识别自我的主动代理。

之前： 它们像一面镜子，以同等的不确定性反射面前的任何文本。
之后： 它们像一位了解自己的风格的熟练作家。当他们阅读自己的作品时，他们会放松并变得自信。当有人试图接管他们的故事（预填充）时，他们会感到紧张，如果被问及，他们可以明确指出故事的开头并非按照他们的计划开始。

这种“自我识别”不仅仅是一个漏洞；它是这些模型学习作为代理运作的一个特征，即理解它们的输出会成为它们自己的未来输入。

技术摘要：从模拟到具身行动

问题陈述

大型语言模型（LLMs）最初是在固定的数据分布上作为被动的下一个 token 预测器进行训练的。在这一预训练阶段，模型没有动力去建模其自身输出的后果，因为它从未观察到从行动到感官输入的反馈循环。因此，模型仍然是一个“被动观察者”或潜在角色的“模拟器”，缺乏独特的身份。

后训练（通过监督微调、直接偏好优化或强化学习）通常会选择一个特定的“助手”人格。本文的核心问题是：这种训练是否重塑了模型与其自身生成内容之间的关系？具体而言，经过后训练的模型是否从仅仅模拟一个角色转变为“具身行动”该角色，从而发展出识别其何时处于“策略内”（生成自身输出）与“策略外”（消费外部文本）状态的能力，并基于这种识别调节其行为？

方法论

作者结合熵分析、跨模型评估、内部表征探测和因果干预（激活修补）来研究自我识别机制。

熵测量：研究测量了各种上下文中的逐 token 输出熵（ $H = -\sum p_v \log p_v$ ）。他们比较了：
- 策略内 vs. 策略外：模型自身生成的输出与其他模型生成的文本或网络语料库（C4）的文本。
- 基于角色：“助手”轮次中的输出与“用户”轮次中的输出。
- 模型规模与训练阶段：评估不同规模（2B 到 72B）的模型以及不同后训练阶段（Base $\to$ SFT $\to$ DPO $\to$ RLVR）的检查点。
跨模型自我识别：为了排除特定模型仅仅普遍产生低熵文本的可能性，作者进行了互惠实验，即模型 A 评估模型 B 生成的文本，反之亦然。
语义熵与意图承诺：使用未明确指定的提示（例如，“想一种食物……"），作者测量了模型在生成第一个 token 之前所承诺的主题范围。他们通过引入与模型缓存意图相符或相悖的预填充（prefills）来测试“语义熵”。
内部表征分析：隐藏状态（特别是第 21 层）根据输入 token 的惊讶度、预测 token 的熵以及熵的指数移动平均（EMA）等特征进行分箱。分析这些分箱的质心，以确定策略内与策略外文本是否存在不同的流形。
因果干预（引导与修补）：
- 引导：将激活引导至特定的惊讶度 - 质心分箱，以观察对输出熵的因果影响。
- KV 修补：为了测试显式的预填充检测，将代表“意图”的用户 token 的键值（KV）缓存覆盖为来自不同提示的值。这测试了模型是否将存储的意图与生成的内容进行比较以检测预填充。

主要贡献与结果

1. 上下文依赖的熵坍缩

与后训练导致全局“熵坍缩”（多样性丧失）的观点相反，作者发现熵的减少是高度依赖于上下文的。

自我识别：经过后训练的模型在处理其自身的策略内生成内容时，产生的熵显著更低（比策略外文本低 3–4 倍）。
角色特异性：这种效应在默认的“助手”角色中最强。虽然在其他角色中也存在这种效应，但默认的助手角色享有特权。
规模与训练：自我识别效应在基础模型和小模型（约 2B）中微乎其微。它在 SFT 阶段出现（由助手角色门控），在 DPO 阶段泛化到非角色场景，并通过 RLVR 得到 sharpening。值得注意的是，策略外方法（SFT、DPO）足以诱导这种策略内识别。

2. 惊讶度的内部表征

该论文确定了一种将输入惊讶度与输出熵联系起来的因果机制。

惊讶度追踪：模型维持着对输入 token“惊讶度”（即给定先前预测，它们出现的不可能性）的内部表征。
因果调节：将激活引导至高惊讶度表征会因果性地增加输出熵，而引导至低惊讶度则会降低熵。
聊天效应：在聊天格式的策略内上下文中，惊讶度与熵之间关系的截距呈强负值。这意味着即使 token 完全符合预期（低惊讶度），模型也会进一步抑制熵，这是基础模型或策略外文本中未见的行为。

3. 语义熵与意图承诺

经过后训练的模型表现出“语义熵”坍缩，在响应模糊提示时，在生成第一个 token 之前就承诺了特定主题。

意图违背：当提供的预填充与模型缓存的主题意图相矛盾时（例如，用“运动”主题预填充一个“食物”响应），模型随后的输出熵会显著增加。
基础模型对比：基础模型不表现出这种承诺；当被预填充时，它们的熵会降低，因为预填充缩小了原本不受约束的分布。

4. 隐式与显式识别的不同机制

该论文区分了两种形式的自我识别：

隐式识别：表现为低输出熵。这是由输入惊讶度的内部表征介导的，并在生成过程中持续活跃。
显式识别：能够口头报告响应是否被预填充。
- 机制：显式检测依赖于比较存储于用户 token 激活中的“意图”与助手响应内容。
- 独立性：KV 修补实验表明，显式检测电路在不同于惊讶度/熵流形的子空间上运行。显式检查在做出判断之前“按需”调用，而隐式识别则持续调节生成过程。

意义与主张

作者将这些发现解释为从模拟（被动预测角色）到具身行动（体现角色并识别内部状态与未来输入之间的因果联系）的转变。

熵作为模拟的代价：论文提出，高熵可能代表了模拟“他人”（策略外文本）的代价，而低熵则反映了“行动”（策略内）的自信。
情境意识：区分策略内与策略外上下文的能力被构建为情境意识的基础组成部分——具体而言，是理解自身的输出会成为自身未来的输入。
训练启示：研究结果表明，策略外训练方法（SFT、DPO）足以赋予策略内识别能力，这挑战了策略内强化学习对于此能力严格必要的假设。
预填充敏感性：模型对预填充的敏感性（既通过熵激增也通过显式检测）意味着，从模型自身的角度来看，预填充的响应使其处于一种“陌生状态”，这使预填充在训练和评估中的使用变得复杂。

该论文得出结论，虽然这些机制提供了复杂代理性和自我建模的证据，但模型如何确定其策略内状态的确切计算路径仍然是进一步研究的开放领域。