When JSON Is Not Enough: Semantic Reliability of Schema-Constrained LLM Ordering Agents
本文介绍了 OrderBench，这是一个基准测试，它证明了虽然 JSON Schema 约束能确保大语言模型排序智能体的语法有效性，但它们无法保证语义的可靠性或安全性，因此需要额外的领域验证和故障关闭执行机制。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在一家繁忙的餐厅里雇佣一名非常出色、动作极快的机器人厨师来为你点餐。你用平实的英语与它交流，比如，“我要一个汉堡，不要酸黄瓜，还要确保它是无麸质的。”机器人的任务是将你的话翻译成一张厨房计算机可以读取的严格的数字票据。长期以来，人们一直担心机器人可能会以混乱的格式编写票据，让计算机无法理解——就像是在餐巾纸上乱涂乱画，而不是填写表格。为了解决这个问题，工程师们给了机器人一个僵化的模板（称为“模式/schema”），强迫它完美地填写票据，确保每个选项都被勾选，每个数字都放在正确的位置。
但这里有一个转折：仅仅因为票据看起来符合格式要求，并不意味着订单本身是正确的。机器人可能会完美地填写表格，但却在上面写下“加酸黄瓜”，而你明明说的是“不要酸黄瓜”；或者它可能在肉类已经售罄的情况下依然点了汉堡。这篇论文正是针对这一特定危险展开讨论。它提出了这样一个问题：如果机器人完美地遵守了表格规则，我们真的能信任它能把食物订单搞对吗？研究人员建立了一个测试厨房，以观察这些智能机器人是真的可靠，还是仅仅擅长伪造文书工作。
论文：当格式完美时，订单却错了
这篇题为《当 JSON 不够用时》（When JSON Is Not Enough）的论文，调查了我们在利用 AI 智能体处理如点餐等现实世界任务时存在的一个关键差距。由伯明翰大学的 Yin Li 领导的研究团队创建了一个名为 OrderBench 的测试。你可以把 OrderBench 理解为一场针对试图接单的 AI 机器人的严苛、毫不留情的考试。他们不仅仅是在问：“机器人是否写了一张有效的票据？”他们更是在问：“机器人是否真的理解了你的需求？”
研究人员使用 300 个特定的场景测试了四种不同的 AI 模型。这些场景涵盖了棘手的状况，例如：
- 否定（Negation）： “我要一个不加芝士的披萨。”
- 范围（Scope）： “我要两个汉堡，但只有第一个需要加额外的酱料。”
- 安全（Safety）： “我对花生过敏，但菜单上说这种酱料含有花生。”
- 可用性（Availability）： 当“今日特选”其实已经售罄时，你说“我要一份今日特选”。
他们通过两种方式运行了这些测试：
- 仅提示词模式（Prompt-only）： 告诉机器人“请以 JSON 格式编写你的答案”（一种标准的数据格式）。
- JSON-schema 模式： 强制机器人使用一个严格的、预定义的模板，以保证输出在技术上是有效的。
大惊喜
结果给工程师们敲响了警钟。研究发现，让输出结果看起来完美（模式有效性）并不意味着内容是正确的（语义可靠性）。
以下是数据展示的内容：
- “完美”文书陷阱： 即使是测试中最强大的 AI 模型 GPT-OSS 120B-fast，在两种模式下都能实现 100% 的技术性完美票据成功率。然而，当涉及到能否准确完成实际订单时，其成功率在“仅提示词模式”下降至 83.0%，而在“严格模式”下降至 81.3%。
- 危险的错觉： 最令人震惊的发现来自较小、较弱的模型。Gemma-2-2B 模型在被迫使用严格模式时，产生了 100% 的技术有效票据。然而，它在实际订单正确率上仅为 2.0%。更糟糕的是，它发生了 41.7% 的“不安全接受”行为——即接受了本该被拒绝的订单（例如，为过敏者点了含有过敏原的菜肴）。
- 中间地带： 另一个模型 Qwen3-30B-A3B 同样在技术有效性测试中达到了 100%，但其现实世界的成功率仅在 30% 左右，且“不安全接受”的比例徘徊在 15% 附近。
这对未来意味着什么
论文指出，仅仅依赖“结构化输出”（强迫 AI 填写表格）是不够的。这就像拥有一个可以毫无差错地填写税务表格，但填写的数字却完全错误的人。
作者得出结论：模式有效性是必要的第一步，但它不能替代对含义的检查。 仅仅因为一个 AI 智能体能够生成一个格式完美的 JSON 对象，并不意味着我们可以安全地让该智能体去刷你的信用卡或预订你的食物。研究表明，我们需要一个“失效关闭”（fail-closed）的系统：如果 AI 不能 100% 确定订单是正确且安全的，它就不应该直接发送票据，而应该停下来请求澄清。
简而言之，这篇论文警告我们不要被整洁的表格所迷惑。一个能完美遵循表格规则的机器人，仍然可能是一个糟糕的厨师。我们需要验证的是订单的“内容”，而不只是它的“格式”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。