🤖 machine learning

Do Models Read What They Write? Causal Registers in Scratchpad Reasoning

本文证明了通过训练在草稿纸（scratchpad）中编写中间状态的大型语言模型，实际上是将这些编写的状态作为后续推理步骤的因果输入，而不仅仅是为了人类的可读性而生成它们。

原作者： Benjamin Shih, John Winnicki, Eric Darve

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Benjamin Shih, John Winnicki, Eric Darve

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《模型是否在读它所写的内容？》（Do Models Read What They Write?）的解释，采用了通俗易懂的语言和日常类比。

核心问题：模型是在“说话”，还是真的在“思考”？

想象你正在观察一名学生做数学考试。学生在纸上（即“草稿纸”）写下解题步骤，最后写出最终答案。

我们的期望： 我们希望这个学生是真的在利用那张纸进行数学运算。如果你能神奇地改变他们写下的某个数字，他们的最终答案应该随之改变，以匹配新的计算结果。
我们的担忧： 我们担心这个学生可能只是在“演戏”。他们可能已经在脑海中解出了题目，而那张纸只是他们为了显得聪明而编造的一个故事。如果改变了纸上的数字，他们的最终答案依然保持不变，因为他们从未真正通过看那张纸来进行计算。

这篇论文探讨的是：当 AI 模型写下其思考步骤时，它们是真的在利用这些步骤来推导下一步，还是仅仅在编造一个故事？

实验方法：“魔法橡皮擦”测试

为了找到答案，研究人员为 AI 设计了一个非常具体且简单的游戏。

游戏规则：
想象一个机器人在一个微小的 2x2 网格上移动。

机器人从一个位置开始（例如：左上角）。
它接收到一个指令进行移动（例如：“翻转第一个比特”）。
机器人写下它当前所在的位置。
它接收下一个指令，写下新位置，以此类推。

棘手之处在于，机器人有一个隐藏的“相位比特”（就像一个秘密开关），这个开关会根据移动的顺序而改变。两条不同的路径可能会结束在同一个可见位置，但其背后的秘密开关设置却不同。

测试方法（“魔法橡皮擦”）：
研究人员让 AI 玩这个游戏并写下它的步骤。然后，他们进行了一次“外科手术式”的操作：

他们保持书面文本完全不变。纸上仍然显示：“我在 A 点，开关为 ON。”
他们悄悄改变了 AI 的内部大脑状态。尽管纸上写着“ON”，但他们在 AI 的记忆中将那个“秘密开关”翻转成了“OFF”。
他们要求 AI 进行下一次移动。

问题在于：

如果 AI 只是在编造故事，它会忽略内部的变化。它会看到纸上写着“开关为 ON”，因此会基于“开关为 ON”来计算下一步。
如果 AI 真的在利用状态，它会感受到内部的变化。它会意识到：“等等，我的内部开关实际上是 OFF。”于是它会基于“开关为 OFF”来计算下一步，即便纸面上写的并不是如此。

实验结果：谁通过了测试？

研究人员测试了三种类型的 AI 模型：

预训练模型（Pre-trained Model）： 从互联网学习但未专门学习过这个游戏的模型。
“最终答案”模型（Final Answer Model）： 被教导解决这个游戏，但只写出最终结果，不写步骤的模型。
“运行状态”模型（Running State Model）： 被教导在每一步过程中都要写下当前状态的模型。

研究发现：

“故事讲述者”（预训练模型与“最终答案”模型）： 当研究人员秘密翻转内部开关时，这些模型并不在意。它们继续根据纸上写的内容来预测下一步。它们忽略了自己的内部现实。
“真正的思考者”（“运行状态”模型）： 当研究人员秘密翻转内部开关时，这些模型改变了它们的预测。它们根据新的内部开关进行计算，忽略了文本内容。

在“运行状态”模型中，书面文本不再仅仅是一个报告，它已经变成了一个工作变量。模型实际上是在阅读自己的笔记来进行数学运算。

“为什么这很重要”的类比

想象一个计算机程序。

糟糕的监控： 程序在屏幕上打印“我正在保存文件”，但在后台，它实际上正在删除文件。如果你把屏幕上的文字改为“我正在删除”，程序并不会在意，因为文字只是一个显示界面。
良好的监控： 程序有一个真实的变量叫做 file_status。如果你在代码中改变了这个变量，程序的行为会立即发生变化。

这篇论文证明了，通过训练 AI 写下中间步骤（即“运行状态”），我们可以将这些步骤转化为 AI 真正使用的实际变量。

“因果性”证明

研究人员并未止步于此。他们还进行了额外的测试，以确保 AI 不是在瞎猜或模仿其他例子。他们运行了：

“移动交换”测试（The "Move Swap" Test）： 他们在保持内部状态被编辑的同时，改变了指令（例如，将“向右移动”改为“向左移动”）。AI 根据新的指令正确地改变了答案，这证明了它能够结合状态与指令进行计算。
“复读机”测试（The "Copycat" Test）： 他们试图诱导 AI 从另一个例子中复制未来的答案。AI 没有复制，而是根据当前情况重新进行了计算。

结论

论文得出结论：为了实现 AI 安全性和监管，我们不能仅仅寄希望于 AI 会写下它的想法。我们需要以一种特定的方式进行训练，使这些书面想法成为其实际计算过程的一部分。

通过这种方式，当这种训练完成后，“草稿纸”就不再仅仅是一份记录（发生了什么的记录），而变成了一个控制面板（一个我们可以介入并改变 AI 思考方式的地方）。

简而言之： 论文表明，通过正确的训练，可以教会 AI 模型“读懂它所写的内容”，从而将其书面的推理过程转化为大脑中真实、可用的部分。

技术摘要：草稿纸推理中的因果寄存器

问题陈述

过程监督旨在通过奖励中间推理步骤（例如，草稿纸、思维链）而非仅仅是最终答案来对齐模型。然而，在**可读性（legibility）与因果性（causality）**之间存在一个关键差距：模型可能会写出看似合理的中间状态，这些状态与正确答案相关联，但模型实际上并未将这些状态作为后续计算的输入。如果书写的文本仅仅是事后解释或相关信号，那么它就无法被有效地审计或干预。

本文解决的核心问题是：模型是否真的根据其书写的中间状态进行计算？ 具体而言，如果一个书写状态的内部表示被改变，而可见的文本保持不变，模型的下一步是否会根据该状态的已知更新规则发生变化？

研究方法

1. 受控状态追踪任务

作者利用具有已知更新规则的有限转换系统来创建一个明确的因果测试。

任务结构： 给定模型一个初始状态和一系列移动序列。模型必须追踪每次移动后的状态。
状态表示： 状态定义为 $v | p$ ，其中 $v$ 是可见坐标（四个网格单元之一）， $p$ 是“相位位”（$0 $或$ 1$）。
顺序敏感性： 相位位 $p$ 不仅由可见坐标 $v$ 决定；它取决于移动的历史记录（操作顺序）。这产生了匹配的状态（例如， $11|0$ 和 $11|1$ ），它们共享相同的可见文本，但在内部相位上存在差异。
模型： 研究主要使用 Qwen2.5-Coder-7B，并使用 Mistral-7B-v0.3 进行复现。
训练条件：
1. 预训练基座： 无微调。
2. 仅最终答案： 微调为仅输出最终状态。
3. 运行状态（Running-State）： 微调为在每次移动后在输出最终答案前，先写出完整的运行状态。

2. 干预：反事实状态编辑

核心实验干预涉及激活补丁（activation patching）（具体为修改 KV 缓存），在对应于当前状态的 token 位置进行操作。

编辑操作： 当前状态 token 处对应的相位位（phase bit）的内部残差流表示被从 $p$ 编辑为 $1-p$ 。
约束条件： 可见的 token ID 和打印的草稿纸文本保持不变。提供给模型的提示词（prefix）在干净运行和补丁运行中是完全一致的。
测试方法： 要求模型在给定即将到来的移动 $m$ $m$ 的情况下预测下一个状态。
- 成功条件： 模型预测出的相位位，是应用移动 $m$ 到编辑后的状态 $\tilde{s} = (v, 1-p)$ 所产生的结果。
- 失败条件： 模型忽略了内部编辑，而是基于原始状态 $s = (v, p)$ 进行预测，或者遵循某种通用的偏差。

3. 控制变量与选择性

为了排除其他解释（例如，通用的下一 token 引导或复制续接），作者采用了两种特定的控制措施：

移动交换控制（Move-Swap Control）： 编辑后的状态保持固定，但即将到来的移动发生变化。一个有效的状态更新机制应当根据新的移动改变其预测；而一个固定的偏差则不会。
冲突续接控制（Conflicting-Continuation Control）： 注入一个来自不同上下文的反事实状态，该上下文的未来轨迹与当前移动不符。如果模型遵循当前的移动，则说明它正在从编辑后的状态进行重新计算；如果它遵循注入上下文的未来，则说明它仅仅是在复制续接。

关键结果

1. 草稿纸状态的因果使用

在运行状态模型（微调为输出中间状态的模型）中，内部编辑成功地重定向了下一状态的计算：

Qwen2.5-Coder-7B： 模型在 80% 的留出样本（Q8 任务）和 91% 的样本（D8 任务）中，能够预测出由编辑后的状态所隐含的下一个相位位。
控制组： 预训练模型和仅最终答案模型仍保持在基线（随机水平）附近，表明它们并不使用书写状态作为计算输入。
随机/正交编辑： 随机补丁或在正交子空间中的补丁产生的符合率接近 0.02，证实了该效应是针对相位位子空间的特定效应。

2. 选择性与重新计算

运行状态模型展示了高度的选择性，证明它们并非仅仅是在偏置 token 或进行复制：

移动特异性： 当移动发生变化时，预测也会显著变化（选择性差距：Q8 为 +0.57，D8 为 +0.68）。
重新计算 vs. 复制： 面临冲突的续接时，模型遵循当前的移动（以及编辑后的状态），而非注入的来源未来的轨迹（选择性差距：Q8 为 +0.59，D8 为 +0.81）。

3. 机械论分析

紧凑表示： 相位位信息由一个低秩子空间捕获。在 Q8 中，秩为 1 的编辑就足够了；在 D8 中，秩为 2 的编辑则足够了，这远低于 3584 维的残差流。
路由（Routing）：
- Q8： 更新主要通过单个注意力连接流动（从当前相位 token 到下一个预测层）。消融该连接会移除 94% 的效应。
- D8： 更新使用一个分布式的四边路径。消融该特定路径会移除约 69% 的效应，表明紧凑的状态变量可以通过分布式机制进行处理。
复现： 这些因ual 模式在 Mistral-7B-v0.3 中得到了复现，运行状态模型达到了 0.93–0.94 的编辑状态一致性。

4. 生成的提示词

当模型自行生成提示词（而非由外部提供）时，该效应依然存在，但在 Q8 中稳定性略低（单步使用率为 0.66），相比之下 D8 较为稳定（单步使用率为 0.90），尽管两者仍显著高于基线。

意义与主张

论文声称，运行状态监督（微调以输出中间状态）将草稿纸从单纯的转录文本转变为模型计算中的因果寄存器。

操作语义： 对于对齐而言，一个有用的中间体必须在模型内部具有操作语义。结果显示，对于经过训练的模型，改变与书写状态相关的内部值，会以符合转换规则的方式因果性地改变下一步骤。
可审计性： 这为“草稿纸监督提供了更清晰的目标”。监督不仅是让推理过程对人类透明，更是训练模型将书写状态作为其自身计算的实际输入。这允许进行“证据扭曲审计”，即监督者理论上可以改变一个状态，并验证模型的后续行为是否与该改变保持一致。
概念区分： 本研究成功区分了三个经常被混淆的概念：
1. 状态是否被书写。
2. 状态是否在内部被表示。
3. 模型是否真的根据该状态进行计算。
  结果表明，需要通过监督来弥合表示与计算之间的鸿沟。

作者总结道，虽然这种结构是在受控的合成环境中展示的，但过程监督的未来目标是在更丰富的领域（如程序状态、定理证明、工具使用）中，构建能够暴露类似可用的、具有因果活性的状态变量的任务和训练方法。