Grounded Continuation: A Linear-Time Runtime Verifier for LLM Conversations
本文介绍了 Grounded Continuation，这是一种线性时间运行时验证器，它利用符号逻辑和由大语言模型分类的更新操作构建显式依赖图，以检测并撤回长对话中缺乏支持的断言，从而在提供形式化可靠性保证的同时，在准确性上超越了检索增强基线方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正与一位非常聪明但略显健忘的同事（即人工智能）进行一场漫长而复杂的会议。你们讨论了一个问题，提出了一项解决方案，随后你意识到最初的想法是错误的。于是你纠正道：“实际上，那个最初的想法有缺陷；让我们尝试这个新角度。”
本文要解决的问题是：人工智能虽然听起来非常自信且流畅，却常常忘记你已经放弃了最初的想法。它可能会提出一个依赖那个已被废弃的旧想法的计划，从而制造出一种听起来合理、实则脱离你们对话现实的“幻觉”。
作者将这一问题称为“有根基的延续”（Grounded Continuation）问题。为解决它，他们构建了一个“运行时验证器”（Runtime Verifier）。
以下是其工作原理，通过简单的类比来说明：
1. “依赖地图”（白板）
该系统并非像阅读书籍那样从头到尾每次只阅读对话，而是维护一个实时的、结构化的“依赖地图”（如同动态流程图或白板）。
- 旧方式：如果你问“我们为什么要做 X？”，人工智能必须扫描整个聊天历史来寻找答案。如果聊天内容长达 1000 页，这不仅缓慢，还容易遗漏细节。
- 新方式：系统维护一张地图，标明：“决策 X 依赖于证据 Y，而证据 Y 又依赖于观察 Z。”
- 神奇之处：当人工智能提出新步骤时，验证器无需通读整个聊天记录。它只需沿着这张地图的连线行走。如果某条线通向死胡同（因为相关证据此前已被撤回），系统会立即将该人工智能的建议标记为“无根基”。
2. “八种步法”（游戏规则）
为了构建这张地图，系统将对话视为一场具有特定规则的游戏。每当有人发言时，一个“解释器”（一个较小的人工智能）会将该句子归类为以下八种特定步法之一，例如：
- 观察：“我看到红灯。”（添加事实）
- 假设：“也许灯坏了。”（做出猜测）
- 驳斥：“等等，灯其实是绿的，不是红的。”（攻击之前的猜测）
- 解决：“好的，我们同意灯是绿的。”（锁定决策）
通过将杂乱的人类语言转化为这些清晰的“步法”，系统能够以数学方式追踪哪些想法仍然有效，哪些已被淘汰出局。
3. “撤回涟漪”（多米诺效应）
这是系统的超能力。想象你推倒了多米诺骨牌序列中的第一张牌（撤回一个前提）。
- 没有验证器：人工智能可能会继续扶起序列中更远处的多米诺骨牌，而没有意识到第一张牌已经不见了。
- 有了验证器：一旦某个前提被撤回，系统会立即确切知道哪些结论（其他多米诺骨牌）失去了支撑。它会立即发出标记。即使在很长的对话中，这一过程也仅需微秒级时间。
4. 结果：识破“虚假”建议
作者在多种场景下测试了该系统：
- “过时前提”测试：他们构建了一个场景，要求人工智能基于一个在 10 轮对话前已被证明错误的“事实”提供建议。
- 标准人工智能：往往仍然给出建议，听起来自信但却是错误的。
- 验证器：100% 地识破了这一点。它表示：“我无法支持这一结论，因为其基础已被移除。”
- “长记忆”测试：在针对长对话的标准基准测试中，验证器的表现与那些试图搜索整个聊天历史以寻找答案的系统相当，甚至更优。
核心结论
该论文声称，通过构建对话的结构地图（谁说了什么、什么支持什么、什么已被撤回），我们可以为人工智能建立一道“护栏”。这道护栏确保人工智能的下一句话真正与对话中的事实相连接，防止它自信地论证那些团队已决定摒弃的想法。
这并不会让人工智能在知识层面变得更“聪明”，而是让它对自己所知道的内容以及已遗忘的内容变得更加诚实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。