VeriTrip: A Verifiable Benchmark for Travel Planning Agents over Unstructured Web Corpora
本文介绍了 VeriTrip，这是一个可验证的基准，通过建立同步知识库来量化事实可靠性，并揭示自主检索认知负荷与指令保持之间的关键权衡，从而在非结构化多模态网络语料上评估旅行规划智能体。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在聘请一位旅行代理来规划一次完美的假期。过去，你给这位代理一份整洁、预先打印好的选项菜单（如航班时刻表或酒店列表），并让他们从中挑选最佳选项。他们只需擅长数学和逻辑，就能制定出不错的计划。
但在现实世界中，并没有这样整洁的菜单。只有混乱、杂乱的互联网：成千上万的旅行博客、社交媒体上模糊的照片、相互矛盾的评论以及过时的网站。
VeriTrip 是一项专为 AI 旅行代理设计的新型“试驾”，旨在检验它们能否应对这种现实世界的混乱。以下是论文如何用简单的类比来解释它：
1. 问题：“洁净室”与“丛林”
大多数针对 AI 代理的先前测试，就像把它们放进一个洁净的白色房间，所有事实都以完美的笔迹写在墙上。AI 只需阅读墙面并写下计划即可。
作者表示，这并不能真正测试 AI 是否聪明。现实生活是一片丛林。
- 噪音：互联网充满了“噪音”——虚假广告、令人困惑的拼写错误，以及人们争论某家餐厅好坏的嘈杂声。
- 视觉谜题：有时用户会发送一张地标（如雕像）的模糊、裁剪照片，并说：“我想去这里。”AI 必须在没有名称标签的情况下，准确判断出究竟是哪座雕像。
- 幻觉陷阱：如果 AI 找不到答案，它可能会因为“记得”训练数据中的某些内容而凭空捏造一个答案。在旅行领域，编造航班号是一场灾难。
2. 解决方案："VeriTrip"测试
研究人员构建了一个名为VeriTrip的特殊沙盒来测试这些代理。你可以把它想象成互联网的冻结快照。
- 图书馆（MRB）：他们从真实的旅行网站收集了超过 8,000 份文档和 4,000 张图片。这是 AI 被允许搜索的“图书馆”。它杂乱无章，就像真实的网络一样。
- 答案密钥（VKB）：隐藏在 AI 视线之外的是一个“黄金标准”答案密钥。其中包含了从那个杂乱图书馆中提取出的真实事实。
- 测试：AI 会收到一个用户请求（例如：“规划一次为期 3 天的长沙之旅，预算 500 美元，这是一张青铜器文物的模糊照片”）。AI 必须：
- 查看模糊照片并判断它是什么。
- 在杂乱的图书馆中搜索以找到正确的信息。
- 制定计划。
- 关键点：研究人员会将每一个细节（航班号、酒店名称、价格）与隐藏的答案密钥进行核对。如果 AI 编造了事实，该部分得分即为零。
3. 发现：“大脑过载”的惊喜
研究人员测试了可用的最智能的 AI 模型（如 GPT-4o、Claude 和 Gemini）。结果如下：
- “懒惰”与“艰苦”工作：在简单任务中，AI 表现得“懒惰”。它们搜索不足，仅凭记忆进行猜测，从而导致错误。在困难任务中，它们被迫进行更多搜索，这反而使它们更准确。
- 权衡（“杂耍”）：这是最有趣的发现。
- 当 AI 必须动用“眼睛”来解决模糊照片的谜题时，它在寻找事实方面变得更擅长（它不再编造虚假名称）。
- 但是，由于解决照片谜题消耗了过多的“脑力”，它忘记了用户的其他偏好。它可能找到了正确的酒店，却忘记了用户想要素食餐或特定预算的要求。
- 类比：这就像一个学生全神贯注于解决一道难题，却忘了在试卷上写自己的名字。他们算对了数学题，但整个作业却不及格。
4. 结论：“看见”不等于“规划”
论文总结道，当前的 AI 代理擅长两件独立的事情，但不擅长将它们结合起来：
- 看见：它们可以查看图片并找到正确的地点。
- 规划：它们可以安排日程。
但当它们必须在混乱的环境中同时做这两件事时，就会陷入困境。它们往往能搞对事实但计划出错，或者计划正确但事实是编造的。
简而言之：VeriTrip 向我们表明，要构建一个真正可靠的 AI 旅行代理，我们需要教会它如何在混乱的世界中寻找事实，同时不丢失用户的具体愿望。目前，AI 正在掉球。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。