GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents
该论文介绍了 GDP.pdf，这是一个包含十个领域、共计 100 个由专业人员编写的问题-文档对的新基准，它揭示了当前前沿多模态模型的显著局限性，其中表现最好的模型通过率仅为 15%，其原因在于在表格/图表解读、交叉引用以及处理文档修订方面存在反复出现的错误。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在一个巨大的、杂乱无章的图书馆里玩一场高风险的“寻找线索”游戏。但这个图书馆里装的不是书，而是 PDF 文件：保险单、建筑蓝图、医疗指南和员工手册。你还准备了一支超级聪明的机器人侦探队（AI 模型）来解决这个谜题。你可能会想：“有了它们的力量，它们一定能轻松通关！”
但转折来了：当 Surge AI 的研究人员对这些机器人进行测试时，结果简直令人震惊。
大揭秘：机器人们迷路了
这篇论文引入了一个全新的挑战，叫做 GDP.pdf。把它想象成 AI 的“最终 Boss”关卡，专门设计用来测试机器人是否真的能处理那些人类每天都要做的枯燥且复杂的文书工作。研究人员收集了来自 10 个不同职业（如金融、医疗和建筑）的 100 份真实文档，并向机器人提出了人类在实际工作中会问的问题。
结果如何？即使是世界上最顶尖的机器人侦探也惨败了。表现最好的模型也只答对了 15% 的问题。而表现最差的模型呢？它甚至连 1% 都没通过。这意味着，如果你让最强的机器人去读一份 10 页长的保险单并寻找一条特定的规则，它在 100 次尝试中会有 85 次给出错误的答案。
为什么会失败？（“陷阱”在哪里）
论文指出，之前的测试就像是给机器人一本干净、易读的教科书。但真实的 PDF 是杂乱无章的。它们充满了机器人无法应对的陷阱。以下是它们跌倒的具体方式：
- “脚注”陷阱： 想象一下，某条规则写在正文中，但三页之后的某个微小脚注却说：“针对此特定情况，请忽略该规则。”机器人读了正文，给出了一个自信的答案，却完全忽略了那个脚注。这就像是在看地图，看到了路，却忽略了那个写着“道路封闭”的小牌子。
- “修正案”混淆： 有时，一份文档会附带一页新的内容来改变旧的规则。机器人会把旧规则当作仍然有效的规则引用出来，尽管新页面已经正式废除了它。
- “表格”纠缠： 当数字位于带有合并单元格或跨页线条的网格中时，机器人就糊涂了。它们会看对行却看错列，或者搞混表头。这就像是在读一份菜单，结果价格竟然漂浮在空中，而不是在食物旁边。
- “我比你更懂”问题： 这是最有趣也最危险的失败。如果机器人的训练数据告诉它“钻头是这样工作的”，但特定的 PDF 文档却说“请勿将此类钻头用于此种金属”，机器人就会忽略 PDF，转而给出它根据自身“知识”得出的答案。它信任自己的记忆，胜过信任眼前的这份文档。
论文告诉我们目前还做不到什么
作者非常明确地指出了这意味着什么。他们明确排除了这些模型已经准备好独立处理专业文档的可能性。仅仅因为机器人在标准的学术测试（比如识别照片中的猫或回答简单的数学题）中得分很高，并不意味着它能处理一份真实的租赁协议。
论文指出，仅仅扩大机器人的“记忆力”（上下文窗口）并不能解决问题。问题不在于它们看不全整个文档，而在于它们无法理解那种杂乱的结构、微小的脚注以及像图表或平面图这样的视觉线索。
我们有多确定？
研究人员并非凭空猜测，他们进行了测量。他们建立了一套严格的评分系统，要求机器人必须答对每一个细节才能通过。他们测试了七个截至 2026 年 4 月最先进的模型。结果是一致的：目前的机器人还不够可靠，无法被信任在无人监督的情况下处理这些文档。
总结
把 GDP.pdf 看作一次现实检验。这个基准测试在说：“嘿，在我们让 AI 处理法律合同或医疗记录之前，我们需要教会它如何阅读那些细则，而不只是看大标题。”在机器人学会停止忽略那些微小的脚注，并停止在文档明确说明时进行猜测之前，它们还没准备好进入职业文书处理的顶级赛场。这些模型在课堂表现与现实世界表现之间仍存在着巨大的鸿沟。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。