The Metacognitive Bottleneck: Japanese Riddles Reveal Fundamental Limits of Machine Insight and Self-Evaluation in Reasoning AI

想象一下，你正试图教一个机器人如何破解谜题。你可能会认为最难的部分仅仅是掌握事实，比如背诵一本词典或一本历史书。但有一种更复杂的思维方式叫做“推理”，在这种思维中，你必须观察一个问题，意识到你的第一个直觉错了，然后突然以一种全新的方式看到答案。这就像看着一堆拼图碎片，觉得它们对不上，然后突然意识到你把其中一块拿倒了。科学家们称之为“顿悟”（insight）。

现在，想象你想测试一个机器人是否能做到这一点。你不能只给它做数学题，因为机器人非常擅长数学，但它们可能只是在背诵训练数据中的答案。你需要一个强迫它们进行创造性思考并检查自身工作的测试。这就是“元认知”（metacognition）的概念。把元认知想象成机器人的内部监督员。它是大脑中发出声音的部分，会说：“等等，我刚刚找到了正确答案，但我并不确定现在是否应该停止，还是应该继续寻找。”如果机器人无法信任自己的监督员，它可能会找到解决方案，却又自我否定，最终给出一个错误的答案。

这正是来自日本的一支研究团队想要调查的内容。他们想知道：我们最智能的 AI 模型是否真的在提高这种创造性思维能力，还是仅仅因为见过类似的问题而变得更擅长猜测正确答案？为了找出答案，他们利用日本谜语设计了一个特别的测试，并发现了一些关于这些机器如何思考的惊人发现。

---

谜题测试：AI 能解决“啊哈！”时刻吗？

由水本正治（Masaharu Mizumoto）及其团队领导的研究人员决定使用一种经典的日本儿童谜语类型——nazonazo。这些可不是普通的“什么有四条腿且会汪汪叫？”之类的谜语。这些是棘手的文字游戏，通常依赖于谐音梗、拆解字符或以全新的方式看待数字。它们的设计初衷就是为了让你的大脑撞上一堵墙，或者说陷入“僵局”（impasse），然后突然迎来一个“啊哈！”时刻，让答案瞬间清晰。

该团队构建了一个新的基准测试，名为 NazoNazo Benchmark。他们收集了 201 个此类谜语。为了确保测试公平且具有新鲜感，他们挑选了 120 个谜语来与真人进行对比。他们邀请了 126 人来解决这些谜语，人类的正确率约为 52.9%。这为科学家提供了一个衡量机器人的“人类标准”。

随后，他们将 2023 年至 2025 年间发布的 38 种不同的大型语言模型（即那些高级的 AI 大脑）投入测试。他们确保这些 AI 无法在互联网上查找答案或使用任何外部帮助；它们必须仅凭自身的“大脑”来解决问题。

结果：机器人在泥潭中挣扎

结果令人震惊。即使是最先进的“推理型”模型（理应是最聪明的模型），也仅能答对约 17.6% 的谜语。更简单的模型表现更差，仅为 7.6%。

相比之下，人类的准确率是它们的三倍多。虽然大多数模型都表现挣扎，但有一个模型脱颖而出，成为了一个显著的例外：GPT-5。它是评估中性能最高且发布时间最近的模型，其准确率处于人类的表现范围内。然而，研究人员指出，这种重叠并不意味着 AI 在统计学上等同于人类，但它确实表明这是唯一一个接近人类水平的模型。对于几乎所有其他模型来说，它们都在难以实现那种创造性的飞跃。

研究人员还注意到了一些关于谜语本身的有趣现象。对于人类来说，谜语的难度分布很均匀，像一座平滑的小山（高斯分布）。但对于 AI 来说，得分严重向极低值倾斜。AI 要么把简单的题做错，要么把难的题做错，极少有模型能表现出中等或高水平。这表明 AI 并不是在真正地“思考”，而是在单纯地猜测。

核心问题：那个否定自己答案的机器人

这是故事中最引人入胜的部分。研究人员不仅观察了最终答案，还窥视了 AI 的“思维日志”。这些是 AI 在思考过程中记录下的逐步笔记。

他们发现了一种被称为**“验证失败”（verification failure）**的特定失效模式。

想象你在找钥匙。你看了看沙发下面，找到了！你捡起了它们。但随后，你内心的声音说：“等等，也许它们并不真的在那里。我去厨房再确认一下。”你去了厨房，四处寻找，没找到，然后回来并说：“我想我没带钥匙。”

这正是 AI 在做的事情。在许多情况下，AI 会在思维过程中生成正确答案。它会写下正确的解决方案。但随后，它并没有说“好了，这就是答案”，而是继续搜索，怀疑自己，并最终选择了一个错误答案。

这种情况在惊人数量的案例中发生了：

• 对于一个模型，这种情况发生在它答错时的 39.34%。
• 对于另一个模型，比例为 30.57%。
• 即使是最好的模型也有这个问题，发生率在 5.23% 到 39.34% 之间。

AI 就像一个侦探，找到了罪犯，却因为不信任自己的证据而决定逮捕错误的人。研究人员称之为“元认知瓶颈”。机器人可以找到解决方案，但它无法足够信任它，从而停下来并做出定论。

这对未来意味着什么

论文指出，问题不仅仅在于让 AI 变得更聪明或给予更多数据。问题在于这些模型不擅长检查自己的工作。它们非常擅长产生想法，但非常不擅长知道何时该停止并说：“是的，就是这个。”

研究人员还排除了几种可能性。他们证明了 AI 并不是仅仅从互联网上背诵谜语，因为如果真是这样，它的得分会高得多。他们还发现，改变 AI 思考时使用的语言（日语 vs 英语）并没有带来太大帮助，这证明问题比单纯的语言技能要深层得多。

那么，结论是什么？我们制造出了有时能解决谜题的机器，但它们缺乏承认自己已经解决问题的信心。要让 AI 真正变得聪明，我们可能不仅要教它们如何思考，还要教它们如何信任自己的想法。在此之前，在面对棘手的谜语时，一个好奇的青少年仍然很可能会胜过机器人。