💬 NLP

MARCA: A Checklist-Based Benchmark for Multilingual Web Search

本文提出了名为 MARCA 的双语（英语和葡萄牙语）基准测试，该基准通过人工编写的多实体问题及验证清单，评估了大型语言模型在不同交互设置下进行网络信息检索、证据选择及答案合成的能力，并揭示了模型在葡萄牙语环境下的表现差异与不确定性。

原作者： Thales Sales Almeida, Giovana Kerche Bonás, Ramon Pires, Celio Larcher, Hugo Abonizio, Marcos Piau, Roseval Malaquias Junior, Rodrigo Nogueira, Thiago Laitz

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thales Sales Almeida, Giovana Kerche Bonás, Ramon Pires, Celio Larcher, Hugo Abonizio, Marcos Piau, Roseval Malaquias Junior, Rodrigo Nogueira, Thiago Laitz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 MARCA 的新工具，它就像是一个专门用来“考试”的双语（英语和葡萄牙语）搜索引擎能力测试。

想象一下，现在的超级人工智能（大语言模型）就像是一个无所不知的超级学霸。以前，我们只考它“背下来的知识”（比如历史年代、数学公式）。但现在，我们更想知道：当它遇到不知道的问题时，它能不能像侦探一样上网查资料，把找到的碎片信息拼凑起来，给你一个既准确又完整的答案？

这篇论文就是为了解决这个问题而诞生的。以下是用大白话和比喻对论文核心内容的解读：

1. 为什么要搞这个考试？（背景）

现在的 AI 很火，大家喜欢让它查新闻、做对比、写报告。但是，目前的考试大多是用英语出的。
这就好比：你让一个只会说英语的侦探去巴西破案，他可能因为语言不通、找不到当地报纸，或者看不懂当地的网站而抓瞎。
虽然葡萄牙语是世界上使用人数非常多的语言（超过 2.5 亿人），但专门针对“用葡萄牙语上网查资料”的考试却很少。这篇论文就是为了填补这个空白，看看 AI 在英语和葡萄牙语两种环境下，查资料的能力到底有没有“水土不服”。

2. MARCA 是怎么考试的？（核心设计）

MARCA 不像传统的考试只问“谁赢了比赛”，它问的是更复杂的问题，比如：

“请列出第 82 届金球奖电影类的所有获奖者，并说明他们分别得了什么奖。”

这种问题需要 AI 同时处理多个实体（很多部电影、很多人）。

出题方式：人工编写了 52 道难题，涵盖 9 个领域（如电影、体育、政治等）。
评分标准（核心亮点）：这是最聪明的地方。每道题都配了一张**“检查清单”（Checklist）**。
- 这就好比老师批改作文时，手里拿着一张单子：
  - 提到了电影《The Brutalist》吗？
  - 提到了演员 Adrien Brody 吗？
  - 导演名字对了吗？
- AI 的回答必须清单上的每一项都打勾，才算满分。如果漏了一个人，或者编造了一个人（幻觉），分数就会扣光。这比单纯看“像不像”要精准得多。

3. 两种“解题模式”的比拼（实验设置）

为了看看 AI 怎么思考，研究者设计了两种“考试模式”：

模式一：单兵作战（Basic）
- 比喻：就像让一个侦探独自去查案。他既要负责上网搜索，又要负责打开网页看内容，还要在脑子里把所有信息记下来，最后自己写报告。
- 特点：所有活儿一个人干，容易顾此失彼，特别是任务复杂时，容易漏掉细节。
模式二：团队指挥（Orchestrator）
- 比喻：就像有一个总指挥（大脑），他手下有几个小侦探（子代理）。
- 过程：总指挥把大任务拆成小任务（比如：“你去找电影名单”，“你去找演员名单”），分派给小侦探。小侦探查完回来汇报，总指挥再把大家的成果拼成一份完整的报告。
- 特点：分工明确，不容易漏掉细节，但沟通成本可能变高。

4. 考试结果告诉我们什么？（主要发现）

结果差异巨大：
有的 AI 学霸（如 Gemini-3-pro, GPT-5.2）能拿到 90% 的分数，几乎完美；而有的“学渣”（如 Gemini-2.5-Flash-Lite）只能拿到 26% 的分数，漏掉了一大半信息。这说明现在的 AI 在“查资料”这项技能上，水平参差不齐。
“团队作战”通常更好：
对于大多数 AI 来说，模式二（团队指挥） 的成绩比模式一（单兵作战）要好。
- 比喻：就像让一个人同时背 10 个电话号码很难，但让 10 个人每人背 1 个，最后拼起来就容易多了。把复杂问题拆碎了，AI 就不容易“脑子打结”或漏掉信息。
- 例外：有些特别强的 AI，单兵作战也能拿高分，强行拆分工反而可能因为沟通不畅导致分数微降。
语言转换的“坑”：
这是论文最有趣的部分。很多 AI 在英语里表现很好，一切换到葡萄牙语，成绩就“跳水”了。
- 比喻：就像有些侦探在英语报纸上找线索很厉害，但到了巴西，他可能因为看不懂当地的小字报，或者习惯性地用英语去搜巴西的本地新闻，结果搜不到关键信息。
- 有些模型（如 GPT-4.1）在两种语言下表现都很稳；但有些模型（如 Qwen-3-235B）在葡萄牙语下表现明显变差。这说明多语言能力不仅仅是翻译问题，还涉及到“怎么在当地网络上找东西”的策略问题。
花钱与能力的权衡：
论文还画了一张图，显示“成绩”和“成本”的关系。
- 比喻：就像买车，有的车（便宜模型）只能跑 60 码，有的车（昂贵模型）能跑 200 码。但有趣的是，有些中间档次的车，性价比很高，花稍微多一点钱，性能提升很大。这给企业选择 AI 模型提供了参考：不需要盲目追求最贵的，要看你的需求。

总结

这篇论文就像给 AI 界发了一张**“双语侦探能力体检报告”**。它告诉我们：

现在的 AI 查资料能力参差不齐，有的很稳，有的容易漏题。
把大任务拆成小任务（团队指挥）通常能让 AI 表现更好。
语言环境很重要，很多 AI 在英语世界是“神”，到了葡萄牙语世界可能就“晕”了，这提醒开发者不能只盯着英语数据训练。
未来用 AI 查资料，不仅要选聪明的模型，还要选适合你预算且懂当地语言的模型。

这个测试（MARCA）现在已经开源了，就像把考卷和答案都公开了，让全球的开发者都能来检验和提升自己的 AI“侦探”能力。

MARCA 论文技术总结：多语言网络搜索的基于清单的基准测试

1. 研究背景与问题 (Problem)

大型语言模型（LLM）正日益被用作信息源，用户期望模型不仅能检索证据，还能综合生成可靠的答案。然而，现有的评估基准大多集中在英语环境下的网络浏览和智能体（Agent）工具使用能力上。

尽管葡萄牙语是全球使用人数最多的语言之一（超过 2.5 亿母语者），但在评估多语言网络搜索和基于证据的回答能力方面，相关基准和研究非常匮乏。现有的多语言检索资源（如 mMARCO）主要关注段落检索，缺乏对端到端网络交互智能体的评估。此外，直接翻译英语基准往往无法捕捉特定语言环境下的文化差异、内容可用性及查询策略的不同，导致模型在非英语环境下的表现评估失真。

核心问题：如何构建一个能够公平、细致地评估 LLM 在英语和葡萄牙语环境下，进行多实体网络信息检索、证据整合及答案生成的基准？

2. 方法论 (Methodology)

2.1 数据集构建 (Dataset Construction)

MARCA (Maritaca AI Research Checklist evAluation)：这是一个双语（英语和葡萄牙语）基准测试。
问题设计：包含 52 个 人工编写的问题，涵盖 9 个不同领域。问题设计为**多实体（Multi-entity）**查询，要求模型从多个网页中收集证据，并生成结构化的完整答案（例如：“列出第 82 届金球奖电影类的所有获奖者”）。
评估标准（Rubrics）：每个问题都配有一个人工编写的清单式评分标准（Checklist）。
- 清单明确列出了预期包含的实体及其属性。
- 部分问题使用动态清单，在评估时实时抓取网页数据（如 Google Scholar 引用数），以确保评估反映当前网络状态而非静态快照。
- 这种设计使得评估能够细粒度地衡量答案的正确性（Correctness）和完整性（Completeness）。

2.2 评估框架 (Evaluation Frameworks)

为了研究交互设计对性能的影响，论文评估了两种框架：

Basic Framework（基础框架）：
- 单个模型直接调用工具：web_search（搜索）和 web_scrape（抓取网页内容）。
- 模型负责整个信息检索过程，包括查询、抓取、整合上下文并生成最终答案。
- 限制：每个问题最多允许 40 次工具调用迭代。
Orchestrator Framework（编排框架）：
- 采用分层多智能体架构。顶层模型（Orchestrator）负责将复杂问题分解为子问题，并委托给子智能体（Subagents）。
- 子智能体拥有与基础框架相同的工具访问权限，负责具体的证据收集。
- 顶层模型不直接访问网络，仅接收子智能体的输出并进行综合。
- 旨在测试任务分解（Task Decomposition）和委托（Delegation）是否能提升多实体查询的表现。

2.3 评估协议 (Evaluation Protocol)

执行：每个问题在每种语言和框架下运行 3 次（k=3），以捕捉随机性并计算不确定性。
评分：使用 LLM（GPT-4.1）作为裁判，根据清单对模型生成的答案进行二元判定（满足/不满足）。
指标：清单准确率（Checklist Accuracy） = 满足的清单项数量 / 总清单项数量。
不确定性量化：报告均值（ $\mu$ ）和运行级标准差（ $\sigma$ ），以反映模型在多次运行中的稳定性。

3. 关键贡献 (Key Contributions)

双语基准：发布了首个针对葡萄牙语和英语的并行网络搜索基准，包含 52 个多实体问题和人工验证的清单，填补了该领域的空白。
基于清单的评估：引入了人工编写的清单式评分标准，能够比传统的生成式评估更精确地衡量多实体回答的覆盖率和事实准确性。
框架对比研究：系统性地比较了“直接工具使用”与“多智能体编排”两种交互模式，揭示了任务分解在不同模型上的效果差异。
多语言性能分析：深入分析了模型从英语到葡萄牙语的性能迁移情况，揭示了语言特定检索动态对模型表现的影响。

4. 实验结果 (Results)

4.1 模型性能差异

在 14 个被评估的模型中，性能差异巨大。表现最好的系统（如 Gemini-3-pro, GPT-5.2）在最佳配置下清单覆盖率接近 0.90，而表现最差的配置（Gemini-2.5-Flash-Lite, 英语基础模式）仅为 0.26。
这表明模型在可靠地枚举和归因多个实体方面存在显著的能力差异。

4.2 编排框架的影响 (Impact of Orchestration)

总体趋势：对于大多数模型，Orchestrator 框架比 Basic 框架表现更好，表明任务分解有助于处理多实体查询。
模型依赖性：提升幅度因模型而异。
- 对于难以在单一上下文中管理多实体检索的模型（如 GPT-4.1-mini, Sabia-4），编排框架带来了显著提升（例如 GPT-4.1-mini 从 0.640 提升至 0.719）。
- 对于本身处理复杂查询能力极强的模型（如 GPT-4.1），编排框架甚至可能因分解开销或上下文丢失而导致性能持平或略降。

4.3 语言影响 (Impact of Language)

性能迁移的不一致性：模型从英语切换到葡萄牙语的表现差异很大。
- 部分模型（如 GPT-4.1, Sabiazinho-4）在葡萄牙语上的表现甚至略优于英语。
- 部分模型（如 Qwen-3-235B, Gemini-2.5-Pro）在葡萄牙语上出现了显著的性能下降（清单准确率差距超过 5%）。
原因分析：这种差异表明多语言网络搜索不仅依赖语言理解，还依赖于非英语查询的构建能力、对外语网页的解读能力以及跨源证据整合能力。某些模型可能隐式地将葡萄牙语查询翻译为英语进行搜索，这在需要葡萄牙语特有内容（如巴西政府职位）时会失效。

4.4 性能与成本权衡

高清单覆盖率通常伴随着更高的推理成本（Token 消耗）。
然而，不同模型在“准确率 - 成本”比率上存在显著差异，存在明显的帕累托前沿（Pareto frontier），用户可以根据预算和精度需求选择性价比更高的模型。

5. 意义与结论 (Significance & Conclusion)

填补空白：MARCA 为评估多语言（特别是葡萄牙语）环境下的 LLM 网络搜索能力提供了首个标准化的基准，强调了直接翻译英语基准的局限性。
设计启示：研究表明，**任务分解（Orchestration）**是提升多实体信息检索有效性的关键策略，尤其是对于中等能力的模型。
多语言挑战：多语言网络交互的难点不仅在于语言理解，更在于特定语言环境下的检索行为和证据整合。模型在低资源或特定文化语境下的表现仍需大幅改进。
实践指导：该基准为开发者和研究人员提供了细粒度的诊断工具，帮助识别模型在特定语言和任务类型下的失败模式，并指导在成本约束下选择最优模型。

MARCA 代码和基准已开源，地址为：https://github.com/maritaca-ai/MARCA。