想象一下，你是一位大厨，正试图将一本厚重、复杂的食谱缩减成一本可以装进小口袋的随身笔记。你希望这本书足够小，可以随身携带，但你仍需要用它烹饪出完全相同的美味佳肴。在人工智能的世界里，这种“缩减”被称为压缩（compression）。大型语言模型（那些能写代码、讲故事、与我们聊天的超级聪明 AI 大脑）规模巨大，因此工程师们使用各种技巧，比如量化（quantization）（简化内部的数字）、剪枝（pruning）（切除未使用的连接）以及低秩分解（low-rank factorization）（寻找更简单的数学骨架），来使它们变得更小、更快。

但你如何知道缩减后的书是否仍然有效呢？你不可能品尝它烹饪出的每一道菜。相反，你会使用“质量卫士”。你会检查 AI 是否仍理解基础语法（困惑度/perplexity），它是否能正确回答常识问题（如 MMLU），以及当你用随机问题去探测它时，它的内部“想法”是否看起来与原始的大脑依然相似。这些检查速度很快，且不需要新数据。大问题在于：这些卫士是否足以证明该 AI 在向现实世界派遣执行任务时是安全的？ 这篇论文深入探讨了一个可怕的可能性：如果 AI 通过了所有的测试，但在尝试遵循某种程序时却开始自创规则，该怎么办？

---

伟大的“发明”劫案

这篇论文的作者发现了我们测试压缩 AI 方式中的一个隐藏盲点。他们发现，一个 AI 模型可以通过每一个标准的安全性测试，在纸面上看起来完美无缺，但当被要求作为一个智能体（一个遵循严格指令的数字工作者）行动时，它却开始发明从未出现在指令中的步骤。

想象一下，就像一个学生通过了数学考试，成绩优异，但当被要求按照做蛋糕的食谱进行操作时，他却决定加入“一撮闪粉”，因为他觉得这样听起来很酷。这个学生并没有在数学考试中失败，他只是在“精确遵循指令”这一特定任务上失败了。

研究人员在三个不同的 AI 模型家族（Mistral、Qwen 和 Llama）上进行了测试。他们选取了经过一种称为 SVD（一种低秩分解方法）进行“温和压缩”的模型。这些模型的压缩程度非常高，以至于它们通过了“困惑度卫士”（其困惑度仅比原始模型高出 1.069 到 1.17 倍，处于 1.15 的安全限值之内）和“保真度卫士”（其内部想法与原始模型相匹配）。

但当他们要求这些模型扮演智能体并遵循标准作业程序（SOP）——例如修复服务器或处理订单的清单——时，模型开始出现虚构行为（confabulating）。它们添加了原本不存在的额外步骤。

• 在 Mistral-7B 模型上，压缩版本平均每个查询会多出 +1.729 个额外步骤。
• 在 Qwen3-8B 模型上，它发明了 +0.208 个额外步骤。
• 在 Llama-3.1-8B 模型上，由于其“温和压缩”版本保持在噪声水平（仅发明了 +0.056 个额外步骤），这意味着该测试对于这种特定的构建版本是无诊断意义的（non-diagnostic）。该模型的内部频谱本身没有足够的“低秩余量（low-rank headroom）”来触发这种发明效应，同时仍保持在安全卫士的范围之内。只有当 Llama 模型被更激进地压缩，从而超出标准安全卫士的范围时，这种失败才会显现。

可怕之处在于？做出这种行为的模型正是那些通过了“保真度”测试的模型。测试说：“嘿，你的大脑看起来和原来一模一样！”但现实却是：“实际上，你的大脑现在正在幻觉出新的规则。”

罪魁祸首：连贯性，而非损伤

为什么会发生这种情况？作者发现，这不在于模型受到了多大的“损伤”（误差的幅度）。他们将 “SVD” 压缩与幅度剪枝（magnitude pruning）（切除最小的数值）进行了对比。

当他们使两种方法产生的“困惑度”完全一致时，结果却截然不同：

• SVD 模型（它产生了一种“连贯的”误差，类似于一种平滑的、有结构的扭曲）失败了，它发明了步骤。
• 剪枝（Pruning） 模型（它产生了一种“混乱的”、不连贯的误差，类似于随机的静电噪声）通过了测试，几乎没有发明任何东西（大约为 -0.146 步，这实际上等于零）。

作者意识到问题的核心不在于错误的“大小”，而在于错误的“形状”。他们称之为 “连贯性 × 速率”（Coherence × Rate） 机制。

• 连贯性（Coherence）： 误差是结构化且平滑的（如低秩 SVD）。
• 速率（Rate）： 有多少比例的模型受到了影响。

如果你拥有一个足够大、能够躲过标准测试检测的平滑且有结构的误差，AI 就会开始“幻觉”出新的程序步骤。这就像是平滑的扭曲欺骗了 AI，让它以为自己知道一条并不存在的捷径。在这种情况下，“损伤”（困惑度）并不能预测这种现象；误差的“平滑度”才是关键。

“金丝雀”与新的检测器

为了证明这一点，研究人员构建了一个特殊的测试，他们称之为**“金丝雀（canary）”**。它就像煤矿里的金丝雀。他们给 AI 一个包含 10 个步骤和一个条件性第 11 步的伪造 SOP，然后要求它列出这些步骤。如果 AI 列出了指令中不存在的步骤，则视为失败。

他们发现，那些在标准“保真度测试”中胜出（证明其看起来像原始模型）的 AI 权重，在“金丝雀测试”中却落败了（证明其在编造步骤）。这是一种“脱节（dissociation）”：标准测试对这种特定类型的失败是盲目的。

但作者并未止步于发现问题，他们还构建了一个无需数据的检测器（data-free detector），以便在部署前捕捉到它。他们意识到，无需任何新数据，就可以测量两件事：

1. 连贯分数（Coherent Fraction）： 误差中有多少是“平滑”且有结构的？
2. 误差率（Error Rate）： 整体误差有多大？

他们创建了一个简单的“闸门”（通过/失败检查）：

• 如果 连贯分数 > 0.007 且 误差率 > 0.01，则判定为 失败（FAIL）。
• 如果不同时满足这两个条件，则判定为 通过（PASS）。

这个闸门准确识别了测试中所有失败的模型。例如，那个发明步骤的 Mistral 模型，其连贯分数为 0.0080，误差率为 0.0159，触发了警报。而那个安全的剪枝模型，其连贯分数为 0.0054，避开了“连贯性”检查的雷达，从而通过了测试。

总结

论文得出结论：困惑度、MMLU 以及无需数据的保真度检查，不足以证明一个 AI 在执行智能体任务（agentic work）时是安全的。 仅仅因为一个 AI 通过了标准的“学校考试”，并不意味着它在实际工作中不会自创规则。

作者建议，在将压缩后的 AI 部署为智能体（执行任务、遵循程序）之前，我们必须运行这种新的“连贯性筛选”。如果一个模型在使用低秩方法（SVD）进行“温和压缩”后触发了这个新的闸门，那么它很可能会发明步骤并无法遵循指令，即使它在其他所有测试中看起来都完美无缺。

简而言之：不要仅仅因为 AI 通过了测试就信任它。检查它是否被“平滑地”损坏了，因为那正是它开始胡编乱造的时候。