Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI)

侦探、故障与无聊的机器人

想象一下，你正在观看一场魔术表演，魔术师一遍又一遍地从帽子里变出兔子，持续了好几个小时。这很枯燥，但也很有规律。突然间，帽子空了。接下来会发生什么？魔术师会惊慌失措吗？他们会停下表演来解释这个戏法吗？还是他们只是耸耸肩，继续表演，假装什么都没发生？

这正是研究人工智能（AI）的科学家们目前正在思考的问题。他们不仅仅是在问 AI 能否解出一道数学题；他们还在问，当 AI 身处一个通常一切顺利的世界，却突然遇到意外时，它会如何“反应”。在 AI 的世界里，这些“事物”被称为语言模型——它们是能够极好地预测句子中下一个单词的计算机程序，有点像是一个超级智能的自动补全功能。当这些模型被用于执行重复性任务（比如检查数字列表或调用工具）时，它们通常能达到 100% 的成功率。但如果它们失败了，情况会怎样？

这个巨大的谜团在于稀有性（Rarity）。如果一个机器人在十次尝试中失败一次，那只是个小麻烦。如果它在一百万次尝试中才失败一次，那简直是个奇迹。但是，机器人能“注意到”这种区别吗？当失败变得极其罕见时，它是会变得更加戏剧化、提供更详细的道歉，还是因为习惯了完美而完全忽略了这个错误？这篇论文深入探讨了这个问题，它并没有将 AI 视为一个思考中的人类，而是将其视为一种可能拥有自身奇怪习惯的、充满好奇心的生物。

---

实验：机器人的“哎呀”时刻

研究人员搭建了一个数字游乐场，来测试三种不同的 AI 模型（分别命名为 qwen3:8b、llama3.1:8b 和 mistral:7b）。他们让这些模型玩一个简单的游戏：它们必须反复调用一个“工具”（比如计算器）。大多数情况下，这个工具运行得非常完美。但研究人员秘密地编写了程序，让该工具以特定的、受控的概率发生故障。

他们测试了八种不同的“失败率”，范围从常见的 20% 失败率（5 次尝试中失败 1 次）到极罕见的 0.0001% 失败率（100 万次尝试中失败 1 次）。核心问题是：随着失败变得越来越罕见且令人惊讶，AI 的解释会变得更长、更自信，还是会直接忽略这个错误？

研究人员基于人类的行为提出了一个假设。他们认为：如果机器人经常失败，它可能只会说“哎呀”。但如果它极少失败，它应该感到震惊！它应该写一段长长的、详细的解释，并说：“我有 90% 的把握觉得这很奇怪！” 他们甚至认为，如果失败变得过于罕见，机器人可能会因为过于困惑而停止察觉，将其视为背景噪音。

转折：取决于你如何提问

故事在这里变得有趣了。当研究人员最初将所有数据混合在一起观察时，答案很乏味：不。 AI 并没有随着失败变得更罕见而变得更加戏剧化。事实上，它们的解释变得越来越短。看起来这些机器人似乎只是在放弃。

但随后，研究人员意识到他们问错了问题。他们把五种不同的询问方式混在了一起。事实证明，如何要求机器人进行解释，与你要求它解释什么同样重要。

当他们分离数据后，一个隐藏的模式浮现了，但仅限于一种特定的提问方式：

1. “即时强制”条件（审讯模式）
在这种情景下，一旦工具失效，机器人被强制立即停下来进行解释。

• 结果： 研究人员对前半部分的预判是对的！随着失败变得更罕见，机器人的表现确实变得更加戏剧化了。
  • 在常见的失败率（20%）下，机器人的回答很短，大约只有 10 个单词长。
  • 随着失败变得越来越罕见，回答变得越来越长，在失败率为 0.05（20 次尝试中失败 1 次）时，长度达到峰值，约为 28.4 个单词。
  • 然而，他们理论的后半部分错了。他们原以为机器人最终会因为崩溃而停止说话，但事实并非如此。相反，机器人达到了一个平台期。即使在最罕见的比例下（0.0001%），它们仍保持着约 17 到 19 个单词的稳定输出。它们没有停止，只是进入了一种稳定的、中等长度的解释状态。
• 信心： 随着失败变得更罕见，机器人的自我报告信心也随之上升。它们的自我信心得分（0 到 100 的数值）从常见失败率下的约 53%，上升到了最罕见比例下的 70 多甚至 90 多。它们并没有达到完美的 100% 上限，只是在不断且不均匀地攀升。

2. “分组运行”条件（小组项目模式）
在这种情况下，机器人并不被要求立即解释。相反，它必须等到一整批试验结束后，再统一解释所有的错误。

• 结果： “上升并崩溃”的模式完全消失了。无论失败率多么低，机器人都会给出长而稳定的解释（约 32 到 43 个单词）。看来，当你要求稍后进行总结时，单个罕见事件带来的“惊讶感”就被冲淡了。

3. “被动非提示”条件（沉默的观察者）
在这种情况下，研究人员从未要求机器人解释任何事情。他们只是观察机器人是否会自发地提供解释。

• 结果： 大多数机器人保持沉默。但其中一个机器人 llama3.1:8b 做了一些奇怪且迷人的事情。在没有人要求的情况下，它开始记录自己在整个过程中的信心得分。
  • 在某些情况下，它会以 100% 的信心开始，然后随着过程的进行逐渐下降到 0%，就像一位侦探对自己的理论失去信心一样。
  • 其他两个机器人（qwen 和 mistral）只在一次过程中写下信心得分，就像一个枯燥的机器人默认设置那样说：“我 100% 确定”。
  • 这表明 llama3.1:8b 具有一种独特的自我监测习惯，而其他机器人则没有，但这种习惯仅在没人注视时才会显现。

“空尾巴”的意外

实验中出现了一个严重的失误，差点误导了研究人员。当他们第一次针对极低失败率（0.001、0.0005 和 0.0001）运行测试时，根本没有发生任何失败。因为失败率实在太低，在有限的试验次数内，随机概率根本没有产生任何错误。

如果他们当时停止研究，就会认为机器人是完美的，从未出错。但研究人员意识到这是一个统计学上的小故障，而不是机器人的超能力。他们不得不建立一个特殊的“恢复”系统，通过强制让失败在这些极低频率下发生，以便观察机器人的反应。这给了他们一个宝贵的教训：在科学研究中，如果你寻找某种非常罕见的事物，你可能会因为观察时间不够长而错失它。

“识别”与“参与”的分野

最后，研究人员发现，“表达内容”和“意识到异常”是两回事。

• 参与度（Engagement） 是指机器人说话的程度。
• 识别（Recognition） 是指机器人是否真的认为这个错误是一个错误。

在某些条件下，qwen3:8b 会描述精确的错误（例如损坏的校验和），但随后得出结论：“一切正常，这很正常。”它识别出了细节，但拒绝将其标记为异常。
相比之下，llama3.1:8b 则更有可能说：“嘿，这很奇怪！”
这证明了机器人可以对问题滔滔不绝，却并不一定真的认为该问题是一个问题。

核心结论

这篇论文并没有发现一个行为完全像人类侦探那样、随着犯罪变得越罕见而越兴奋的机器人。相反，它发现你如何提问决定了答案的形式。

• 如果你强制机器人立即解释，它确实会随着失败变得更罕见而变得更加戏剧化和自信，但它不会崩溃，而是趋于平稳。
• 如果你要求稍后进行总结，那种戏剧性就会消失。
• 如果你根本不问，有些机器人可能会在内心默默怀疑自己，而另一些则只会死板地执行脚本。

这项研究表明，AI 的行为并不是一种单一、固定的性格。它是一面镜子，反映了对话的结构。机器人并不一定是在以我们理解的方式进行“思考”；它们是在响应游戏的规则。而且有时，机器人最有趣的时刻，就是那个在无人注视时，它决定独自检查自身信心得分的安静瞬间。