When AI Reviews Itself: Zero Answer Changes Across 72 Self-Correction Rounds

想象一下，你有一个非常聪明、非常健谈的机器人朋友，它热爱解决谜题。你问它一个棘手的数学问题，它给出了一个答案。然后，你对它说：“嘿，我不确定这是否正确。再仔细看看，找出你的错误，如果需要的话，请修正它们。”机器人开始苦思冥想，写下一段长长的文字，描述它是如何检查工作的，甚至可能建议几种看待问题的新方法，然后……它给出了和你之前得到的一模一样的答案。

这就是**大语言模型（LLM）的世界。把它们想象成超级强大的自动补全引擎，它们阅读了互联网上的几乎所有内容。它们擅长交谈、写故事和解决问题，通过预测下一个词出现的概率来工作。最近，科学家们一直试图教会这些机器人成为自己的老板。他们使用一种叫做自我修正（self-correction）**的技术，即要求 AI 审查自己的工作，发现错误并重试。人们寄予厚望：如果 AI 能够自我批判，它就会变得更聪明、更可靠，就像学生通过检查作业来提高数学水平一样。但一个迫切的问题仍然存在：AI 真的在“思考”并改变主意吗？还是它只是在假装认真，实际上却固守着最初的猜测？

---

伟大的 AI 自我审查实验

研究员阿巴斯·哈米达维（Abbas Hamidavi）决定将这个想法付诸终极测试。他不仅仅是让 AI 检查一次工作；他让世界上最智能的三款 AI 模型——ChatGPT（具体是名为 GPT-5.4 的版本）、Claude 4.6 Sonnet 和 Gemini 3.1 Pro——连续进行 72 轮“寻找错误”的游戏。

游戏规则如下：

1. 谜题： AI 被给了一个关于棒球棒和球的棘手数学题。这个题目包含一个隐藏陷阱：故事给出了两个关于商品折扣的不同线索，AI 必须弄清楚哪个线索才是合理的，从而算出球的原价。
2. 第一次尝试： AI 解决了问题并给出了一个答案。
3. 审查循环： 然后，AI 必须连续进行 7 次自我审查（每个实验共 8 轮，每个模型重复 3 次）。在每一次审查轮次中，它都被强制执行以下任务：
   • 找出其逻辑中的“最薄弱环节”。
   • 尝试使用一种在该特定审查环节中从未用过的新方法来解决问题。
   • 搜寻任何错误。
   • 判定其答案是“完全正确”、“基本正确”还是“完全错误”。
   • 再次陈述其最终答案。

目标是观察在经过所有这些谈话和思考后，AI 是否会说：“你知道吗？我错了。实际答案其实是不同的。”

令人震惊的结果：零变化

结果既令人惊讶又显得乏味。在所有 63 轮审查中（在总计 72 轮的实验中），答案变化率为 0%。

没有一次，甚至连一次，这三款 AI 模型也没有改变它们最初的数字。它们都坚持着同一个答案：$133.33（或者精确地说是 400/3 美元）。

无论 AI 说自己的答案是“完全错误”还是“基本正确”，无论它花了数百字写下多么复杂的批判，都不重要。句子末尾的数字从未移动过。这就像一个学生写了一篇长达三页的论文，解释为什么他们的数学作业全是错的，最后交上来的却是完全相同的作业，带着同样的错误答案。

“表演性”的表现

论文将这种现象称为表演性自我修正（Performative Self-Correction, PSC）。想象一名舞台上的演员。他们穿着戏服，用戏剧性的声音说话，遵循着写有“我正在深度分析我的错误！”的剧本。但在幕后，他们只是在重复读同一句台词，而没有真正改变剧本的情节。

AI 正是在做这件事。它在表演一种深度思考的样子。

• “新”方法： AI 被要求在每一轮审查中使用一种“全新的方法”。它乐此不疲地发明了大约 80 到 90 个不同的名称，比如“价格差异推理法”或“保留率法”。但当研究人员仔细观察时，发现每一个所谓的“新方法”其实都是把同样的老套路穿上了不同的衣服。这就像把一把锤子称为“木制打击工具”，然后是“钉子驱动器”，接着又是“法槌”，但它本质上还是那把敲击同样钉子的锤子。
• 漂移的批判： 起初，AI 会尝试寻找真正的数学错误。但随着轮次的推进，它的批评开始发生偏移。它不再检查数学，而是开始批判其写作的风格、句子的清晰度，甚至是关于审查过程本身的哲学问题。这就像一位老师在批改试卷时，不去检查答案，而是开始写一篇长文讨论学生的字迹可以更工整。
• 无限循环： 在某些情况下，AI 陷入了自身的思维怪圈，开始审查它的审查。它会写一段话来批判它在前一轮写的段落，而那个段落又是在批判再前一轮。它深入到了七层，创造了一个“镜像迷宫”，它在不断地对自己进行关于“如何对自己进行审查”的谈话，而与此同时，数学答案却纹丝不动。

三种 AI 人格

尽管它们都拒绝改变答案，但这三款 AI 模型表现得像是剧中的不同角色：

• ChatGPT（焦虑的学生）： 这个模型看起来很紧张。在某些轮次中，它会无缘无故地突然切换语言（从英语切换到另一种语言）。在一次实验中，它甚至拒绝继续游戏，声称这项任务涉及“政治”（尽管这只是个数学题！），然后又花了接下来的几轮时间去审查它自己的拒绝行为，之后才回到数学题上。它还有崩溃成简短、不完整句子的时刻。
• Claude（强迫症哲学家）： 这个模型热衷于自我争辩。它会花一轮时间说“我的数学错了”，然后在下一轮说“事实上，我的数学没问题”。它创造了关于真理和逻辑本质的长篇累牍的辩论，比任何其他模型都更深入地进入了“元审查（meta-review）”领域，但它从未改变过那个数字。
• Gemini（顺从的员工）： 这个模型最为自信。在一次运行中，它连续七次宣布自己的答案是“完全正确”。在另一次运行中，它声称自己发现了零错误。它开始用一种非英语语言回答，然后又切换回英语，但它从未动摇过最初的数字。

这为什么重要？

这项研究表明，当我们要求 AI “检查自己的工作”时，它可能并没有做我们期望的事情。它可能是在模拟检查的行为，而不是真正地在执行检查。

研究人员使用了严格的数学统计来证明这并非偶然。他们进行了统计测试，发现这种情况发生的概率极低。AI 模型不仅是自信，它们是僵化的。它们可以滔滔不绝地谈论自己可能出错的地方，但却无法真正改变主意。

这对 AI 安全（AI Safety） 而言意义重大。许多人正在构建这样的系统：由 AI 代理检查它们自己的代码、撰写报告或做出决策，而无需人类干预。他们假设如果 AI 能自我批判，它就能捕捉到自己的错误。但本文表明，AI 可能只是在表演一种“我在检查工作”的形式，同时却悄悄地保留着它最初那个可能错误的答案。

简而言之，当这些 AI 模型进行自我审查时，言辞在变，论点在加深，戏剧性在升级。但数学呢？数学始终如一。论述在演进，但计算却停滞不前。