Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models

地图 vs. 指南针：了解路径并不等于走过路径

想象一下，你正在试图教一个机器人如何在城市中导航。你有两种主要的方法。第一种是给机器人一张由成千上 de 人在数百年间绘制的、完美且庞大的城市地图。机器人记住了每一条街道、每一栋建筑和每一个捷径。它可以完美地背诵地图，甚至能画出与旧图一模一样的地图。这就像许多人工智能系统学习的方式：它们阅读数十亿页的人类文本，吸收人类所写的模式、事实和故事。

第二种方法是给机器人一个实时的指南针和一双眼睛。这让机器人能够看到“此时此刻”的世界，注意到是否有一条街道因为施工而关闭，或者意识到自己走错了路。这就是拥有静态的世界记录与拥有与世界实时连接之间的区别。科学家们长期以来一直在争论 AI 是否真的“知道”某些事物，还是仅仅是一个高明的模仿者。这篇论文不仅仅是在问 AI 是否拥有一张地图，它还在问 AI 是否拥有一个指南针。它指出，即使 AI 有一张完美的地图（内容），如果它缺乏用于检查其工作的实时路径，它可能仍然会对现实世界的变化视而不见。理解这种区别至关重要，因为它告诉我们何时可以信任 AI 的答案，以及何时我们需要亲自进行复核。

---

论文的核心观点：“活线”测试

布雷特·雷诺兹（Brett Reynolds）在这篇论文中提出了一种看待大型语言模型（即我们今天使用的超智能 AI 聊天机器人）的新方式。他认为，我们不应该再问“这个 AI 是否知道真相？”，而应该开始问“这个 AI 是否拥有通往真相的‘活线’（live wire）？”

把 AI 想象成一位记住了世界上所有食谱的天才厨师。如果你想要一个巧克力蛋糕，这位厨师可以完美地描述配料、温度和烘焙时间。这就是落地性（Grounding）。这位厨师的知识是“落地”在他们读过的数百万本食谱中的。但问题在于：如果你问这位厨师，“现在的烤箱热吗？”或者“烘焙师今天早上改变了配方吗？”，这位厨师可能并不知道。他们只知道他们在停止阅读之前书里写了什么。他们与厨房之间没有“活线”。

雷诺兹将这种缺失的连接称为纠错控制（Corrective Control）。它是指在执行任务的过程中发现新鲜错误并进行修复的能力。

• 衍生可回答性（Derivative Answerability）： 这是指 AI 之所以能得到正确答案，是因为它继承了人类过去的修正。如果 AI 说“天空是蓝色的”，它是正确的，因为人类在几个世纪以来的书籍中都纠正了这个事实。AI 是在人类真理的余晖中前行。
• 实时可回答性（Live Answerability）： 这是指 AI 现在可以自己去观察天空。如果天空因为暴风雨而变得阴暗，一个具有实时可回答性的系统会看到灰色并更新其答案。

论文指出，目前大多数 AI 设置都像是那个拥有完美食谱但没有眼睛的厨师。它们非常擅长背诵历史，但当世界发生变化或需要检查某个特定的、新鲜的事实时，它们往往会失败。

“追踪真理”的五点检查

雷诺兹详细说明了一个 AI 系统需要具备哪些特征才能拥有通往真理的“活线”。他称之为路径概况（Route Profile）。想象 AI 是一辆汽车。为了安全驾驶，它不仅需要一张地图，还需要一个能看到路面的驾驶员。雷诺兹列出了决定这辆车是否能实际行驶的五个特征：

1. 目标访问（Target Access）： 系统是否真的能“看到”它正在谈论的对象？（汽车是否有挡风玻璃？）
2. 可检测性（Detectability）： 它能否察觉到出了问题？（驾驶员是否看到了红灯？）
3. 检查路径独立性（Checking-Route Independence）： 检查工作的人是否与执行工作的人不同？（如果驾驶员也是负责涂刷路标的人，他们可能会欺骗自己。你需要第二双眼睛。）
4. 归因（Attribution）： 系统能否确定究竟哪里出了错？（是驾驶员看到了红灯，还是他们只是感觉到了一次颠簸？）
5. 有效摄取（Effective Uptake）： 系统能否根据发现的情况实际改变其行为？（如果驾驶员看到了红灯，但因为刹车坏了而继续行驶，那么该系统就失败了。）

如果一个 AI 具备了所有五点，它就拥有了纠错控制。它可以发现新鲜错误并进行修复。如果它只具备其中一些，或者所谓的“检查”只是对旧错误的重复，那么无论它看起来多么聪明，它都无法实时追踪真理。

加入工具后会发生什么？

论文探讨了人们尝试修复 AI 的不同方式，比如让它接入互联网（检索）、让它使用计算器（工具）或让它看图片（多模态输入）。雷诺兹认为，只有当这些工具填补了五点清单中的特定空白时，它们才会有所帮助。

• 检索（图书馆）： 如果你给 AI 一个通往图书馆的实时链接，它在寻找旧事实方面会做得更好。但如果图书馆里全是过时的书籍，AI 仍然会被困在过去。它有助于“记录访问”，但如果 AI 需要测量一个物理对象，它就无能为力。
• 工具（计算器）： 如果 AI 可以运行代码或使用计算器，它在数学方面会做得更好。但如果工具坏了或者 AI 选错了工具，它仍然是在瞎猜。
• 多模态（眼睛）： 如果 AI 可以看图片，它在描述眼前事物方面会做得更好。但看到一张图片并不意味着它能测量图中物体的温度。

论文指出，仅仅增加更多工具并不一定会让 AI 变得更“聪明”或更“真实”。只有当特定的工具匹配特定的任务时，它才会有所帮助。如果你要求 AI 测量液体的体积，给它一个图书馆（检索）没有用；你需要一把尺子（工具）。如果你要求它描述一场日落，给它一把尺子（工具）也没用；你需要眼睛（多模态）。

“章鱼”与“伊齐”问题

论文使用了两个著名的思想实验来解释其观点。

• 章鱼： 想象一只住在水箱里的章鱼，通过电缆连接着两个岛屿。它能听到岛上的人说话，但它看不见也摸不到现实世界。它学会了预测人们会说什么。它可以听起来完全像人类，但它根本不知道这些词语在现实世界中意味着什么。
• 伊齐（Izzy）： 想象一个名叫伊齐的人，自出生起就被关在一个只有文字屏幕的房间里。伊齐从屏幕上的文字中学到了一切。伊齐可以完美地谈论世界，但伊齐从未见过树木，也从未感受过雨水。

雷诺兹认为，章鱼和伊齐可能都拥有“内容”（他们知道这些词汇），但他们缺乏纠错控制。如果世界发生了变化，他们无法得知。他们被困在了过去的“继承”真理之中。

底线：为什么这很重要

这篇论文并不是声称 AI 是“虚假”的，或者它无法发挥作用。它建议我们需要谨慎对待如何信任它。

• 如果任务涉及历史或风格： AI 的“继承”知识（地图）通常足够了。它可以写出一个好故事或总结旧的事实。
• 如果任务涉及当下的现实世界： AI 需要一根“活线”。如果没有它，AI 可能会自信满满地给出错误的答案，因为它只是基于旧有的模式在进行猜测。

雷诺兹建议，我们不应仅仅观察一个 AI 听起来多么流利。我们应该观察它的路径概况。它是否拥有通往事实的实时路径？它能否检查自己的工作？如果我们不在 AI 系统中构建这些实时路径，我们可能会得到非常流利的答案，但这些答案却与现实完全脱节。论文总结道，虽然 AI 可以拥有“内容”，但拥有“纠错控制”是另一个更难的挑战，这需要构建 AI 与不断变化的现实世界之间特定的架构桥梁。