OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning

本文介绍了 OfficeQA Pro，这是一个基于近百年美国财政部公报（含 89,000 页文档和 2600 万个数值）构建的企业级基准，旨在评估 AI 代理在跨多文档、混合非结构化文本与表格数据的接地推理能力，结果显示当前前沿大模型在此类任务上表现不佳，而采用结构化文档表示可显著提升性能，但距离企业级可靠应用仍有较大差距。

要点

这篇论文介绍了一个名为 OfficeQA Pro 的新“考试”，专门用来测试人工智能（AI）在处理真实世界复杂办公文档时的能力。

为了让你更容易理解，我们可以把这篇论文的核心内容想象成一场"超级档案管理员选拔赛"。

1. 考试背景：一座巨大的“时间胶囊”图书馆

想象一下，美国财政部（U.S. Treasury）在过去 100 年里（从 1939 年到 1982 年及以后），每个月都出版一本厚厚的“公报”。

• 规模：这就像一座拥有 89,000 页 文档的巨型图书馆，里面塞满了 2600 万个 数字。
• 难度：这些文档不是整齐的电子书，而是像旧报纸一样的扫描件，有的表格像俄罗斯套娃一样层层嵌套，有的数据后来被修正过（就像你发现去年的记账本里有个数字写错了，后来改成了新的）。
• 任务：AI 需要像一名顶尖的财务分析师，从这堆乱糟糟的旧纸堆里，精准地找到特定的数据，进行复杂的计算（比如算增长率、做回归分析），最后给出一个绝对准确的答案。

2. 考试结果：AI 们“挂科”了

论文测试了目前世界上最聪明的几个 AI 模型（比如 Google 的 Gemini、OpenAI 的 GPT、Anthropic 的 Claude）。结果令人惊讶：

• 靠“死记硬背”（参数知识）：如果让 AI 只靠脑子里的记忆来回答，正确率不到 5%。这就像让一个学生只凭记忆去回答“1945 年 3 月某天的具体关税数据”，他们根本记不住。
• 靠“上网搜”（联网搜索）：即使允许 AI 上网查资料，正确率也不到 12%。这就像学生虽然带了手机，但搜到的信息要么太旧，要么被误导了。
• 给“标准答案页”（直接给文档）：即使我们直接把包含答案的那几页 PDF 文件塞到 AI 手里，让它只读这几页，最先进的 AI 平均正确率也只有 34% 左右。
  • 比喻：这就像把试卷和答案直接放在学生面前，但他还是因为读不懂表格、算错数或者看错了行而答错了。

3. 为什么 AI 会失败？（三大“拦路虎”）

论文发现，AI 在处理这种“ grounded reasoning"（基于事实的推理）时，主要卡在三个地方：

A. 阅读理解障碍（文档解析）

• 比喻：AI 看扫描件 PDF，就像让一个近视眼戴着手套去读一本字迹模糊、排版混乱的旧书。
• 问题：表格里的数字挤在一起，或者扫描件模糊不清，AI 很容易把"1950"看成"1960"，或者把两行数据搞混。
• 解决方案：论文发现，如果用 Databricks 公司开发的一个特殊工具（ai_parse_document）先把这些乱糟糟的 PDF 整理成清晰的文字和表格，AI 的成绩能瞬间提升 16%。这就像给 AI 配了一副高清眼镜和一双灵巧的手，帮它把书整理好再读。

B. 逻辑推理混乱（多步计算）

• 比喻：AI 就像是一个虽然聪明但容易分心的学生。题目要求：“先找 1940 年的数据，再找 1953 年的数据，算出差值，再根据通胀率调整，最后四舍五入。”
• 问题：AI 经常做到一半就忘了前面的步骤，或者用错了公式（比如该用“人口方差”却用了“样本方差”）。它很容易在复杂的数学链条中“断片”。

C. 视觉盲区（图表理解）

• 比喻：如果题目里有一张折线图，要求你找出最高点。
• 问题：目前的 AI 很难像人类一样一眼看出图表的趋势，它们往往把图表当成一堆乱码，或者完全忽略掉。

4. 人类 vs. AI：谁更厉害？

论文还做了一个有趣的对比实验，找了 3 个真人专家来做同样的题：

• 速度：AI 比人类快得多（人类平均要花 30 分钟，AI 只要几分钟）。
• 准确率：
  • 如果直接给人类看原始 PDF，人类也会因为看错行、算错数而犯错，但AI 在整理好的文档上比人类更准、更快。
  • 如果给人类看原始 PDF，人类的表现其实和现在的 AI 差不多，甚至因为人类会“粗心大意”（比如抄错数字），在某些细节上还不如 AI 稳定。
  • 结论：AI 目前还达不到“完美专家”的水平，但它们已经比普通人处理这种海量文档要高效得多了。

5. 核心启示：未来的方向

这篇论文告诉我们，现在的 AI 就像是一个拥有超级大脑但视力不好、手脚笨拙的实习生。

• 它很聪明，能理解复杂的逻辑。
• 但它太依赖“整理好的数据”。如果数据是乱糟糟的原始文件，它就发挥不出实力。
• 未来的关键：不在于让 AI 变得更“聪明”（记更多知识），而在于如何更好地把原始文档“翻译”成 AI 能读懂的格式（比如更好的文档解析工具），以及如何让 AI 在计算时更严谨、更少犯错。

一句话总结：
OfficeQA Pro 就像一面镜子，照出了当前 AI 在处理真实企业级复杂文档时的短板。虽然它们现在还没法完全替代人类专家，但只要帮它们把“眼镜”（文档解析）配好，把“计算器”（推理逻辑）修好，它们就能成为超级得力的办公助手。

技术摘要

OfficeQA Pro：面向端到端落地推理的企业级基准测试技术总结

1. 研究背景与问题定义 (Problem)

尽管前沿大语言模型（LLM）在学术竞赛类推理任务（如数学奥林匹克）中表现出色，但在企业级落地场景（Enterprise Workflows）中的表现仍面临巨大挑战。现有的基准测试（如 HLE, ARC-AGI-2）往往脱离实际，或者像 GDPval 那样仅关注封闭世界（Closed-world）下的少量上下文任务，未能涵盖真实企业环境中大规模、异构文档库的检索与推理需求。

核心问题：
企业级任务通常要求 AI 代理（Agent）在跨越数十年、格式各异（文本、表格、图表、扫描件）的海量文档库中，执行落地推理（Grounded Reasoning）。这包括：

1. 忠实检索：从海量异构文档中精准定位相关片段。
2. 多步推理：结合上下文进行复杂的数值计算、统计分析和逻辑推导。
3. 高精度验证：答案必须可验证且精确，容错率极低（如金融数据）。

目前，即使是最新的 Frontier 模型，在面对此类任务时，若仅依赖参数化知识，准确率极低；即使提供全文档库，其端到端表现仍远未达到企业级可靠标准。

2. 方法论与基准构建 (Methodology)

为了解决上述问题，Databricks AI Research 团队推出了 OfficeQA Pro，这是一个专门用于评估 AI 代理在落地推理任务中端到端能力的新基准。

2.1 数据集构建

• 数据源：美国财政部公告（U.S. Treasury Bulletins），时间跨度近 100 年（1939-2026）。
• 规模：包含 89,000 页文档，超过 2600 万个数值。
• 复杂性：
  • 格式异构：包含非结构化文本、复杂嵌套表格、图表、扫描件（OCR 质量不一）及数字原生 PDF。
  • 数据漂移：同一统计指标在不同年份的报告中会被修订（Revision），要求模型具备识别最新修订值的能力。
  • 任务多样性：133 道“专业级（Pro）”问题，需跨 1-20+ 页文档，涉及线性回归、通胀调整、多步数学计算等。另有 113 道“简单（Easy）”问题用于辅助迭代。
• 验证机制：所有问题均设计为具有单一明确答案（Ground Truth），支持自动化精确匹配评估，无需人工专家评分。

2.2 评估设置

研究评估了多种配置下的模型表现：

1. LLM Baselines：仅提示词（Prompt Only）、开启网络搜索、提供神谕（Oracle）PDF 页面、提供神谕解析文档。
2. Agent Baselines：使用主流 Agent 框架（Claude Agent SDK, OpenAI Codex CLI, Gemini CLI），具备文件搜索、代码解释器、Web 搜索等工具能力。
3. 自定义消融实验：系统性地测试了模型选择、表格表示形式（HTML vs Markdown）、检索策略（向量搜索 vs 文件搜索）及测试时扩展（Test-time scaling）。

2.3 关键组件：文档解析

研究特别强调了文档解析（Parsing）的重要性。使用了 Databricks 的 ai_parse_document 工具将原始 PDF 转换为结构化表示（提取文本、表格元数据等），以消除原始 PDF 解析带来的噪声。

3. 主要贡献 (Key Contributions)

1. OfficeQA Pro 基准发布：首个专注于大规模异构文档落地推理的企业级基准，填补了从学术推理到实际企业工作流的评估空白。
2. 揭示“落地推理”的瓶颈：证明了当前最先进的 AI 代理在处理真实企业文档时，主要瓶颈不在于推理能力本身，而在于文档解析质量、检索策略以及多步计算的精确性。
3. 解析质量的关键影响：发现使用高质量结构化解析（Databricks ai_parse_document）相比原始 PDF 输入，能带来显著的绩效提升（平均相对提升 16.1%）。
4. 全面的消融研究：提供了关于模型选择、表格序列化格式、检索工具组合及测试时扩展策略的详细实验数据，为构建企业级 Agent 提供了工程指导。
5. 人机对比：在特定条件下（提供神谕页面），AI 代理在速度和准确率上已超越人类标注者，但在处理原始 PDF 时，人类在理解模糊图像和格式方面仍具优势。

4. 实验结果 (Results)

4.1 整体表现

• 参数化知识：前沿模型（Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro）仅凭内部知识回答 OfficeQA Pro 问题的准确率低于 5%。
• 神谕页面 + 网络搜索：即使直接提供正确答案所在的 PDF 页面，模型准确率也仅在 34.1% - 57% 之间（取决于解析质量）。
• 全库检索：在完整文档库中，最佳代理（Claude Opus 4.6）的准确率仅为 48.1%。

4.2 关键发现

• 文档解析的增益：
  • 使用 Databricks 解析后的文档，相比原始 PDF，代理准确率平均提升 16.1%（相对增益）。
  • 具体案例：Claude Opus 4.6 从 36.1% 提升至 57.1%；GPT-5.4 从 57.1% 提升至 65.4%。
  • 原因：原始 PDF 中的嵌套表格、扫描件 OCR 错误导致模型提取错误数值。
• 检索瓶颈：
  • 从全库检索到提供神谕页面，准确率提升 13-21%，延迟降低约 76%。
  • 检索策略上，文件搜索 + 上下文向量搜索（File Search + Contextual Vector Search）的组合优于单一向量搜索，能减少 44% 的工具调用并提升精度。
• 表格表示：HTML 格式在大多数模型中略优于层级 Markdown，但差异不大，具体取决于模型训练数据。
• 测试时扩展：通过多数投票（Plurality Voting）进行多次推理，对低性能模型提升明显，但对高性能模型收益递减。
• 成本与延迟：
  • 全库 PDF 处理平均耗时 23.6 分钟。
  • 使用解析文档后，耗时降至 3.5 分钟，成本降低约 80%。

4.3 失败模式分析

1. 修订值识别失败：模型常检索到旧版数据而非最新修订值，导致计算错误。
2. 解析不忠实：表格错位、数值读取错误（尤其是扫描件）。
3. 视觉理解缺失：在解析文档中图表被移除，导致模型无法回答涉及图表趋势的问题。
4. 分析推理错误：公式应用错误（如样本方差 vs 总体方差）、单位混淆、中间步骤过早四舍五入。

5. 意义与未来展望 (Significance)

• 重新定义企业 AI 评估：OfficeQA Pro 表明，评估 AI 不应仅看其“智商”（解题能力），更要看其“工程落地能力”（处理脏数据、长文档、复杂检索的能力）。
• 解析即推理：研究证明，高质量的文档解析是提升 Agent 性能的最有效杠杆之一。在投入更多算力或更复杂的模型之前，优化数据预处理（Parsing）能带来更显著的回报。
• 人机协作新范式：虽然 AI 在速度和标准化任务上已超越人类，但在处理模糊性、视觉信息和复杂修订逻辑上仍有差距。未来的系统需要结合 AI 的高效检索与人类的最终校验，或开发更强的多模态解析能力。
• 未来方向：需要开发更健壮的修订感知检索策略、增强视觉推理能力（处理图表）、以及改进多步定量推理的可靠性。

总结：OfficeQA Pro 揭示了当前 AI 代理在企业级落地推理任务中仍存在巨大提升空间。虽然前沿模型具备强大的推理潜力，但受限于文档解析质量、检索策略和计算精确性，其实际表现远未达到“可靠”标准。该基准为未来构建真正可靠的企业级 AI 系统提供了重要的评估标准和改进方向。