K-BrowseComp: A Web Browsing Agent Benchmark Grounded in Korean Contexts
本文介绍了 K-BrowseComp，这是一个基于韩国语境的新型网页浏览智能体基准测试，包含 400 个经过人工验证和合成的问题，该研究表明，即使是前沿模型和针对韩国特定场景的大型语言模型在处理这些任务时也表现得十分吃力，准确率仅在 0% 到 45.67% 之间。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一位非常聪明、速度极快的图书管理员，他读过世界上几乎所有的书。当你问他一个简单的问题时，他能瞬间回答。但当你问他一个棘手的问题，需要他走遍特定的街区、敲开特定的门、检查几本不同的账簿，并拼凑出只存在于那个局部区域的线索时，会发生什么呢？
这正是这篇名为 K-BROWSECOMP 的论文所探讨的内容。
问题所在：“局部邻里”的差距
长期以来，我们通过让 AI 解决逻辑谜题或遵循指令来测试它。AI 在这些方面已经变得非常出色。但现实世界不仅仅关乎逻辑，更关乎语境（Context）。
作者认为，虽然 AI 在处理“全球性”互联网（主要是英语）方面表现出色，但在需要导航韩国互联网时却显得力不从心。这就像是给一位才华横溢的大厨一份用他们不懂的语言编写的食谱，且使用的食材仅在某个特定的村庄集市上才能找到。即使大厨精通烹饪，他们在寻找特定食材或理解当地指令时也可能会迷失方向。
目前，还没有一个标准的“测试”来衡量 AI 处理这些特定的、局部的韩国网络搜索的能力。现有的测试要么太简单，要么并不要求 AI 必须通过实际“浏览”网页来寻找答案。
解决方案：一个新的“障碍赛场”
研究人员构建了一个名为 K-BROWSECOMP 的新基准测试。你可以把它看作是一个专门为 AI 智能体（能够浏览网页的机器人）设计的障碍赛场。
- 赛场内容： 它包含 400 个棘手的题目。
- 规则： 为了回答问题，AI 不能仅仅靠猜测或依赖记忆。它必须：
- 进入韩国网络。
- 搜索特定的、难以发现的事实（例如：“某位特定诗人第十本书中第十三首诗的标题是什么？”）。
- 将来自不同网站的线索联系起来。
- 给出一个唯一的、正确的答案。
他们将测试分为两个部分：
- 验证集（300 道题）： 这些题目由真实人类编写并核实，以确保答案正确，且线索确实存在于公开的韩国网站上。
- 合成集（100 道题）： 这是聪明之处。研究人员利用 AI 通过观察其他 AI 在哪里失败，从而创造出新的、难度更高的题目。这就像是一个游戏设计师在观察玩家在哪里卡关，然后专门设计一个能让玩家以同样方式被困住的新关卡。
结果：AI 迷路了
结果令人惊讶。即使是世界上最先进的 AI 模型（即那些“明星级”模型）也表现得非常吃力。
- 全球巨头： 最好的模型（如 GPT-5.5）仅答对了约 45% 的验证题目。这意味着它们有一半以上的时间都在失败。
- 本土英雄： 本应是韩国文化专家的韩国 AI 模型表现得更糟，得分在 0% 到 10% 之间。
- 合成陷阱： 在 AI 生成的“陷阱”题目中，最好的模型也仅答对了 26%。
为什么会失败？（“交通堵塞”类比）
论文并不仅仅说“它们失败了”，而是解释了“它们是如何失败的”。想象一下 AI 是一名正在试图破案的侦探。
- 拿到线索，却丢了思路： AI 经常能找到正确的网站（正确的线索），但随后它会忘记自己正在寻找的具体规则。这就像是找到了正确的房子，却忘了去检查信箱里那封特定的信件。
- 选错了门： AI 找到了一个候选名单（比如一个 K-pop 组合名单），但它会随便挑选第一个看起来还不错的选项，而没有检查它是否符合所有的规则。
- “我不知道”时刻： 有时 AI 找到了信息，但在尝试写下最终答案时感到困惑，于是它就放弃了或者开始瞎猜。
作者发现，问题不在于 AI 是否能找到信息，而在于它无法在搜索过程中保持对所有不同信息的追踪。这就像是在玩拼图时，有人一直在不停地打乱拼图块；你能找到正确的碎片，但你无法将它们按正确的顺序组合在一起。
总结
这篇论文是一个警钟。它表明，仅仅因为一个 AI 很聪明且知道很多事实，并不意味着它能在特定的局部环境中像一个得力的助手一样行动。
研究人员免费发布了这个测试和代码，希望开发者们能利用它来构建更好的“韩国网络智能体”，让它们不仅能进行搜索，还能真正理解如何在韩国数字世界中进行导航、记忆并串联起所有的线索。
简而言之： 我们为 AI 构建了一个在韩国语境下的困难迷宫。即使是最快的选手也迷路了，不是因为他们看不清路径，而是因为他们无法保持方向感。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。