💬 NLP

LakeQA: An Exploratory QA Benchmark over a Million-Scale Data Lake

该论文介绍了 LakeQA，这是一个基于 9.5 TB 异构数据构建的综合基准测试，它通过将文档检索与复杂的多跳推理相结合，挑战大语言模型执行以搜索为核心的问答任务，并揭示了即使在顶尖模型中也存在的显著性能差距。

原作者： Haonan Wang, Jiaxiang Liu, Yurong Liu, Austin Senna Wijaya, Tianle Zhou, Eden Wu, Yijia Chen, Wanting You, Reya Vir, Daniela Pinto, Grace Fan, Yusen Zhang, Juliana Freire, Eugene Wu

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haonan Wang, Jiaxiang Liu, Yurong Liu, Austin Senna Wijaya, Tianle Zhou, Eden Wu, Yijia Chen, Wanting You, Reya Vir, Daniela Pinto, Grace Fan, Yusen Zhang, Juliana Freire, Eugene Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解一个非常特定谜题的侦探。在大多数侦探故事（或标准的 AI 测试）中，作者会递给你一叠文件并说：“答案就在这三页纸里。”你的任务仅仅是阅读它们并找到线索。

LAKEQA 是另一种不同的测试。在这里，作者给了你一个问题，但没有提供任何文件。相反，你被丢进了一个规模如小城市般庞大且混乱的仓库，里面装满了 4000 万份不同的文档。有些是整齐有序的电子表格，有些是杂乱的 PDF，有些是旧的文本文件，还有一些是政府报告。

你的任务是通过搜索这些文件并连接其中的点滴信息来解决问题。

以下是该论文内容的详细拆解，使用了简单的类比：

1. 问题所在：“大海捞针”实际上是“在无数个干草堆组成的群山中捞针”

目前的 AI 模型（大语言模型）非常擅长阅读一本书并回答关于它的问题。但在现实世界中，数据并不是整齐包装好的。它们散落在数百万个文件中，分布在“数据湖”中。

旧方式： AI 被给了一本书，并被问到：“汽车是什么颜色的？”AI 阅读书本并给出答案。
LAKEQA 的方式： AI 被问到：“寻找纽约市哪所小学在 2008 年至 2011 年期间班级规模较小且暴力事件最少？”
- AI 不知道哪个文件包含学校名称。
- 它不知道哪个文件包含班级规模。
- 它不知道哪个文件包含犯罪报告。
- 它必须搜索正确的文件夹，下载它们，阅读它们，然后整合所有这些信息来解开谜题。

2. 基准测试：一场“多跳式”寻宝游戏

论文介绍了一个名为 LAKEQA 的新测试，旨在测试 AI 在这种特定类型的侦探工作方面的表现。

把 LAKEQA 中的任务想象成一场有 8 个线索的寻宝游戏：

线索 1： 你需要找到一个社区。（你在维基百科中进行搜索）
线索 2： 该社区紧邻另一个社区。（你在地图数据库中进行搜索）
线索 3： 你需要在这两个社区中寻找学校。（你在政府名单中进行搜索）
线索 4： 你需要根据班级规模对这些学校进行筛选。（你打开了一个电子表格）
线索 5： 你需要检查剩余学校的犯罪统计数据。（你打开了另一份报告）
……以此类推。

如果 AI 在线索 2 处卡住了，它就永远无法解决线索 8。论文将这种现象称为**“多跳推理”（Multi-hop reasoning）**。AI 必须迈出一步，找到一个新的信息点，并利用该信息来决定下一步该去哪里寻找。

3. 规模：一座“巴别图书馆”

该论文使用了一个庞大的数据集构建了这个测试：

9.5 TB 的数据（想象一个拥有数百万本书籍的图书馆）。
4000 万份文档（混合了像 Excel 表格这样的结构化数据和像文本文章这样的非结构化数据）。
来源： 维基百科（用于通用知识）和 Data.gov（用于真实的、杂乱的政府数据）。

这很重要，因为之前的测试仅使用小型、干净的文本集合。LAKEQA 迫使 AI 去应对现实世界的“混乱”。

4. 结果：AI 迷路了

研究人员在这一挑战中测试了七种目前最智能的 AI 模型（包括 GPT-5.2 和 Claude）。

得分： 最优秀的 AI 也仅能答对约 18% 到 33% 的问题。
主要失败原因： AI 的失败并非因为它无法阅读或推理。它失败是因为它找不到正确的文件。
- 类比： 想象一位才华横溢的侦探，他可以破解任何罪案，但他在一个巨大的仓库里被蒙上了眼睛。他找不到证据，因为他不知道该看哪个货架。
“长链”问题： 随着步骤（跳数）的增加，AI 的表现急剧下降。它需要执行的步骤越多，迷路或忘记之前线索的可能性就越大。

5. 结论：搜索是瓶颈

论文得出结论，虽然 AI 在“思考”（推理）方面变得越来越强，但在庞大、无序的数据湖中进行“寻找”（搜索与发现）时，它仍然表现得很糟糕。

目前的 AI： “我可以完美地读完一本书，但如果把这本书藏在 4000 万本书堆里，我就找不到了。”
目标： 我们需要的不只是聪明的阅读者，更是专家级的探索者，他们能够穿梭于庞大、混乱的数据仓库，找到解决问题所需的特定证据。

简而言之，LAKEQA 是一项压力测试，它表明即使当前的 AI 拥有理解“针”的智能，但在面对巨大的、混乱的干草堆时，它们在寻找那根“针”时依然表现得很差。

技术摘要：LAKEQA —— 一个针对百万级规模数据湖的探索性问答基准测试

问题定义

近期的大语言模型（LLMs）在基于阅读的问答（QA）方面取得了显著进展，这类任务中的证据要么是明确提供的，要么是从狭窄且经过人工筛选的语料库中可以轻易检索到的。然而，现实世界的场景通常涉及对异构数据湖进行探索性问答（Exploratory Questioning, EQA）。在这些场景中，证据并非预先提供，而是散落在海量的结构化（如 CSV、JSON）和非结构化（如 PDF、HTML）文档之中。解决此类问题需要智能体能够迭代地搜索相关文件、发现中间实体，并在形成最终答案之前，跨越多个依赖步骤进行推理。

目前的基准测试无法同时捕捉到这种复杂性。现有的数据集要么具有高搜索强度（大规模文档集）但低推理深度（少跳数），要么具有高推理深度但运行在较小的、经过筛选的搜索空间之上。目前缺乏一个既要求高搜索强度（扫描数百万份文档）又要求高推理强度（具有隐式中间步骤的长程多跳推理）的综合性基准测试。

方法论

1. 基准测试构建 (LAKEQA)

作者引入了 LAKEQA，这是一个旨在评估在海量异构数据湖上进行 EQA 能力的基准测试。

数据湖规模： 该基准测试构建于约 9.5 TB 的数据集合之上，包含大约 4000 万份唯一文档。
来源： 数据聚合自两个互补的开放数据源：
- 维基百科 (Wikipedia)： 从最新的英文转储文件中解析而成，作为规范的文本语料库。
- Data.gov： 采集自 Harvard LIL data.gov 存档，提供多样化、弱标准化的公共政府制品（结构化表格、元数据、报告）。
任务设计： 每个任务都是一个复杂的自然语言问题，要求智能体执行以下操作：
1. 从 4000 万个集合中识别相关文档。
2. 提取支持性事实。
3. 进行链式推理步骤，其中一步的输出作为下一步的输入条件。
标注过程： 任务通过涉及博士级专家和高年级本科生的“人机协同”过程构建。该过程包括：
- 子问题构建： 标注员从文档中推导事实并制定子问题，并将它们串联起来，使得 $Answer_i$ 是 $Question_{i+1}$ 的前提条件。
- 问题重写： 将链条重写为一个单一的、听起来自然的提问，并隐藏文档标识符，以防止进行平凡的发现。
- 质量控制： 每个任务都经过独立标注员的多阶段审查，以确保逻辑有效性、自然度以及最终答案能由证据唯一确定。

2. 实验设置

评估模型： 测试了七种前沿 LLM，包括闭源模型（OpenAI GPT-5.2, GPT-5-mini, Anthropic Claude Haiku/Sonnet/Opus 4.5）和开源模型（DeepSeek-R1, Llama-3.3-70B）。
智能体环境： 为模型配备了一套模拟真实数据分析工作流的工具集，包括：
- search(query)：在数据湖上进行关键词和语义搜索。
- list_files, download, inspect：文件管理与预览。
- execute_code：用于本地数据分析（过滤、聚合）的 Python 执行环境。
基线模型： 使用 BM25 和混合搜索（BM25 + 向量）在采样的数据湖子集（10k–50k 文档）上测试了检索增强生成（RAG）基线。
指标： 使用精确匹配（Exact Match, EM）衡量端到端准确性，同时使用文档级精确率（Precision）、召回率（Recall）和 F1 值来衡量搜索有效性。

关键结果

1. 性能差距

即使可以使用搜索和检查工具，最先进的 LLM 在 LAKEQA 上仍然表现挣扎：

低准确率： 表现最好的模型 Claude-sonnet-4.5 在完整基准测试（LAKEQA-full）上的精确匹配度仅为 32.87%。GPT-5.2 得分为 18.37%，开源模型的表现甚至更低。
成本-准确度权衡： 虽然较大的模型（如 Claude Opus）在小型集合（mini-set）上显示出更高的准确率（45.93%），但它们也产生了显著更高的成本和运行时间。较小、较便宜的模型往往由于低效的代码生成或推理能力不足而失败。

2. 失败分析

轨迹分析表明，主要的瓶颈在于文档发现，而非对已找到证据的推理：

搜索失败： 模型经常无法检索到回答问题所需的“黄金”文档。检索集合（ $D_{ret}$ ）的召回率较低，表明智能体无法浮现出相关的文件。
探索失败： 即使检索到了相关文档，智能体也经常无法对其进行检查或分析。例如，在 LAKEQA-full 上，Claude-sonnet-4.5 在检索到的文档上的召回率为 42.36%，但在已访问文档（ $D_{acc}$ ）上的召回率仅为 13.04%，这表明检索与有效探索之间存在脱节。
误差累积： 随着推理跳数的增加，性能急剧下降。需要 >18 跳的任务准确率大幅下降，这表明长程探索会放大来自不完美检索和遗漏约束条件的复合误差。

3. RAG 基线

向缩减后的文档子集（10k–50k）添加检索工具虽略微提升了性能，但并未解决问题。结果表明，EQA 不是一个单次检索任务；智能体必须迭代地推断缺失信息、制定新的查询，并决定何时证据已足够，而当前的 RAG 系统缺乏这种能力。

意义与主张

本文将 LAKEQA 定位为开发能够操作现代数据湖环境的 LLM 智能体的现实测试场。其重要性在于：

弥合差距： 它是第一个同时扩展了搜索强度（4000 万文档）和推理强度（多跳链条）的基准测试，解决了先前工作（如 OTT-QA：高搜索、低推理；以及 MuSique：高推理、低搜索）的局限性。
识别瓶颈： 实验证明，当前的 LLM 智能体尚不具备有效的迭代搜索与探索能力。主要的失败模式是无法发现并打开正确的证据文档，而不是在找到证据后无法进行推理。
现实相关性： 通过利用异构的政府和维基百科数据，LAKEQA 反映了现实世界数据湖中混乱、非结构化的现状，超越了经过精心策划的语料库，通过在黑暗中发现证据的复杂性来挑战智能体。

作者得出结论，虽然 LLMs 在阅读理解方面取得了进步，但有效的搜索与探索仍然是解决大规模数据湖上复杂开放域问题的主要瓶颈。