Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries

想象一下，你有一位非常聪明的学生，他背诵了一份包含60位虚构作者及其传记的机密清单。你想要测试是否能成功“遗忘”（使其忘记）这些特定事实。

在过去，你只需向学生提问并检查他们是否给出了正确答案。如果他们答错了，你就认为他们已经忘记了。但现在，这些人工智能模型养成了一种新习惯：在给出答案之前，它们会在一个特殊的框（类似于草稿纸）中写下自己的“思考过程”。

问题所在：“绕过”错觉

研究人员注意到一种奇怪的模式。在尝试让AI遗忘之后：

1. 答案：AI不再给出正确答案。（看起来它似乎忘记了！）
2. 思考：但在其“思考框”内部，AI仍然持续写下它本应被要求遗忘的机密传记。

标准的结论是：“啊哈！AI并没有真正忘记。尽管它不会口头说出来，但它将秘密隐藏在了思考过程中。”这被称为“绕过模式”。

调查：思考框是秘密金库，还是仅仅是一份脚本？

本文的作者决定审查这一结论。他们问道：AI 是否真的在其大脑（权重）中记住了秘密，还是仅仅在遵循一份脚本？

可以将“思考框”想象成 AI 被训练使用的一种填空练习纸。这份练习纸总是以相同的句子开头：“以下是关于 [作者姓名] 的一个事实：”随后附上传记。

当研究人员尝试让 AI 遗忘时，他们只告诉它停止撰写答案。他们从未告诉它停止撰写练习纸模板。因此，AI 继续撰写练习纸（即思考痕迹），因为指令的这一部分从未改变，尽管它已停止撰写最终答案。

实验：“预填充”替换

为了证明他们的观点，研究人员做了一个巧妙的 trick。他们拿走了那个已经“忘记”了答案（但仍会撰写思考痕迹）的 AI，并进行了以下操作：

1. 测试：他们要求 AI 续写一个句子。
2. 替换：他们没有让 AI 自行撰写思考痕迹，而是用完全不同的、与机密作者毫无关系的简短句子替换了思考痕迹。
   • 示例：与其让 AI 撰写“以下是关于泽菲尔的一个事实……"，他们强制它从“我正在思考天气……"开始。

结果：

• 当他们让 AI 自行撰写其“脚本化”的思考痕迹时，它仍然泄露了机密信息。
• 当他们将思考痕迹替换为其他内容时，AI 突然完全停止了泄露机密信息。其回答问题能力下降到了与“泄露”相同的低水平。

这意味着：机密信息实际上并没有“隐藏”在 AI 的大脑中等待被发现。“泄露”仅仅是 AI 遵循其旧有训练脚本的结果。如果你更改脚本，泄露就会消失。

“解析器”故障

该论文还发现，这种“绕过”测量非常脆弱。

• 在一种类型的 AI 模型上，“绕过”得分为正（暗示存在隐藏记忆）。
• 在另一种略有不同的模型上，完全相同的测试却给出了负分（暗示相反的情况），这并不是因为 AI 记住的内容更少，而是因为 AI 不再正确地使用“思考框”标签。检查答案的计算机程序感到困惑，误以为思考框是空的，而实际上并非如此。

结论

该论文认为，目前我们衡量这些思考型 AI 模型“遗忘”效果的方法存在缺陷。

• 旧观点：“如果思考痕迹中包含秘密，那么 AI 就没有忘记。”
• 新观点：“思考痕迹可能仅仅是一种模板回声。‘绕过’差距为正并不能证明 AI 记得；它可能仅仅意味着 AI 在遵循一份从未被要求删除的脚本。”

建议：
在我们惊慌失措地宣称 AI 在秘密记住某些事情之前，我们应该进行一项简单且廉价的检查：替换思考痕迹。如果你更改思考文本后“泄露”消失了，那么这就不是秘密记忆；它仅仅是一份脚本。如果泄露依然存在，那么你才知道 AI 实际上确实在保留这些信息。

简而言之：不要仅仅因为思考痕迹看起来像是在回忆就轻信它。它可能只是在复述一首被要求写下的诗，即使它已经忘记了这些词语的含义。