💬 NLP

PulseBench-Tab: A Multilingual Benchmark for Table Extraction with Graph-Based Evaluation

本文介绍了 PulseBench-Tab，这是一个包含九种语言和四种脚本、共计 1,820 张人工标注表格的多语言基准测试集，并引入了一种名为 T-LAG 的新型基于图的评估指标，用于评估各种表格提取系统在复杂真实世界文档图像上的性能。

原作者： Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个海量的文档库——包含财务报告、政府表格和企业披露文件——它们以九种不同的语言印刷而成。在这些文档中，隐藏着数以千计的表格，比如填满了数字和文本的电子表格。这项研究的目标是观察计算机在多大程度上能够“阅读”这些表格，完美地复制它们，并理解每一项信息都属于什么位置。

以下是对 PulseBench-Tab 和 T-LAG 的简单化解释。

1. 问题所在：为什么表格如此棘手

阅读表格不仅仅是识别字母（像读一本书那样）。它关乎对几何结构的理解。

类比： 想象表格是一个拼图游戏。如果你把一个写着“100”的碎片放错了位置，整个画面就毁了。在计算机系统中，如果一个数字落入了错误的单元格，这不仅仅是一个拼写错误；它是一场灾难，会破坏后续进行的所有计算。
差距： 之前的测试大多关注英文表格，或者将表格视为长串的单词列表（将其“扁平化”），这会丢失二维结构（行和列）。此外，它们没有对足够多的右向左书写的语言（如阿拉伯语）或使用复杂字符（如中文或日文）进行充分测试。

2. 解决方案：一个新的“表格健身房”（数据集）

作者构建了一个庞大的训练场，名为 PulseBench-Tab。

规模： 它包含 1,820 个真实的表格。
多样性： 这些表格来自 9 种语言（英语、中文、阿拉伯语、俄语等）的 380 份不同文档，并使用了 4 种不同的书写系统。
难度： 有些表格很小（仅 2 个单元格），而另一些则是拥有超过 1,000 个单元格的“巨兽”。大约一半的表格具有“合并”单元格（即一个大单元格覆盖了两个或三个较小单元格的空间），这就像是一个覆盖了棋盘上多个位置的拼图碎片。
金标准： 每一个表格都由精通特定语言的人类专家进行了检查，以确保“答案解析”是 100% 正确的。

3. 新的标尺：T-LAG（图度量指标）

为了给计算机评分，作者发明了一种新的评分系统，称为 T-LAG。

旧方法： 之前的方法通常只检查计算机是否得到了正确的单词，但并不太在意这些单词是否放在了正确的“邻居”位置。这就像是在给学生批改拼写测试时，只看单词拼得对不对，却忽略了他们是否把单词放进了正确的句子中。
新方法 (T-LAG)： 将表格想象成一张由道路连接城市的地图。
- 节点 (城市)： 单个单元格。
- 边 (道路)： 单元格之间的连接（例如，“单元格 A 在单元格 B 的右侧”或“单元格 C 在单元格 D 的下方”）。
如何评分： T-LAG 观察的是“道路”。它会问：“计算机构建的道路地图是否与真实的地图一致？”
- 如果计算机文字正确但放错了列，那么“道路”就断了，分数也会下降。
- 它使用了一种特殊的数学技巧（匈牙利算法）来寻找真实表格与计算机生成的表格之间的最佳匹配，确保它不会只是随机猜测。
- “严格度”旋钮： 作者将评分设定得非常严格（“k=7”设置）。在现实世界中，如果一份财务报告写的是“100 万美元”而不是“1000 万美元”，那这就是一次失败，而不是一次“接近成功”的尝试。该指标将微小的错误视为重大的失败，以反映现实世界的需求。

4. 竞赛：谁赢了？

作者在这一数据集上测试了 9 种不同的计算机系统（包括大型科技公司的 API、开源工具以及他们自己的系统）。

获胜者： Pulse Ultra 2（作者自己的系统）以 93.5% 的得分位居第一。它是唯一一个在超过一半的表格上获得“完美”得分的系统。
亚军： Gemini 3.1 以 81.6% 的得分排名第二。
差距： 在前两名之后出现了巨大的跌幅。排名后三分之一的系统得分低于 72%，这意味着它们遇到了显著的困难。
最大的挑战： 非拉丁系文字（如阿拉伯语、韩语和中文）对所有人来说都是最难的。
- 类比： 想象一个在平坦铺设的公路上（英语）跑得很快，但在山路（阿拉伯语/韩语）上却处处绊倒的跑步者。即使是最优秀的系统，在更换语言时，其得分也会显著下降。
“沉默的失败”： 一些系统不仅给出了错误的答案，甚至在约 20% 的表格面前完全无法给出任何答案。在现实业务中，这就像是一个在看到复杂文档时就直接罢工的机器人。

5. 总结

论文得出结论：虽然计算机在阅读表格方面正在变得越来越好，但在处理复杂的布局或非英语语言时，顶尖系统与该领域其他系统之间仍存在巨大差距。

他们已向公众发布了数据集、评分代码和结果。这就像是向所有人敞开了健身房的大门，让研究人员能够准确地看到机器在哪里失败，并尝试修复它们，而不是靠猜。

简而言之： 他们为表格阅读 AI 构建了一个充满挑战的多语言障碍赛道，发明了一把新标尺来衡量 AI 如何应对这些障碍，并发现虽然目前有一套系统处于领先地位，但大多数其他系统在面对复杂的非英语环境时，仍然难以站稳脚跟。

技术摘要：PulseBench-Tab 与 T-LAG

1. 问题陈述

从文档图像中提取表格是文档智能领域的一项基础任务，对于财务分析、合规性审查和企业数据处理至关重要。然而，现有的基准测试和评估指标存在显著局限性：

结构与格式的混淆： TEDS 等指标基于 HTML DOM 树运行，将格式约定（如 <thead> 包装器）与结构错误混为一谈。
丢失 2D 拓扑结构： 序列对齐方法（如 Needleman-Wunsch）将表格展平为 1D 序列，从而丢失了水平和垂直相邻性的区别。
语言偏见： 大多数基准测试主要关注英语，导致非拉丁脚本（阿拉伯语、西里尔字母）以及 CJK（中日韩）文本的性能表现几乎未被衡量。
语义敏感性： 在下游应用中，单元格中的数字错误是一个语义层面的失败，而不仅仅是 OCR 错误。目前的指标往往无法对位置错误进行足够的惩罚。

2. 方法论

2.1 PulseBench-Tab 数据集

作者引入了 PulseBench-Tab，这是一个旨在解决上述差距的开源多语言基准测试。

规模与范围： 该数据集包含 1,820 张经人工标注的表格图像，提取自 380 份独特的源文档（财务报表、政府报告、监管披露文件）。
语言多样性： 它涵盖了 9 种语言 和 4 种脚本（拉丁、CJK、阿拉伯、西里尔）。英语占样本的 32.6%，其余部分分布在中文、西班牙文、俄文、法文、日文、阿拉伯文、德文和韩文中。
复杂度： 表格规模从 2 个单元格到 1,183 个单元格不等。值得注意的是，48.1% 的表格包含合并或跨越单元格（rowspan/colspan），且数据集包含了密集的电子表格和多级表头。
地面真值（Ground Truth）： 标注通过一个多阶段流水线完成，包括母语领域的专家、跨语言质量控制，以及针对源图像的对抗性逐单元格审计。地面真值以完整的结构化 HTML 形式提供。

2.2 T-LAG 评估指标

为了评估提取质量，作者提出了 T-LAG（表格逻辑相邻图），这是一种新型指标，它将表格建模为有向图，以在单一评分中捕捉结构保真度和内容准确性。

核心理念：
与独立验证单元格内容的基于节点的指标不同，T-LAG 运行于**边（Edges）**之上（即相邻关系）。这确保了单元格不仅根据其文本进行评估，还根据其相对于邻居的位置进行评估。例如，一个转置的列会导致不同的相邻边，从而受到惩罚。

流水线：

网格解析： 将地面真值和预测的 HTML 解析为单元格位置网格矩阵，保留 rowspan 和 colspan 属性。
边提取： 为具有不同 ID 的单元格之间的 RIGHT（右侧） 和 BELOW（下方） 相邻关系生成有向边。抑制跨越单元格内部的边。
权重（ $\Psi$ 函数）： 对于匹配的边，使用文本相似度核计算相似性权重。
- 文本经过归一化处理（空格、Unicode 连字符、空标记）。
- 相似度计算为 $1 - \frac{d_{Lev}}{\max(|g|, |p|)}$ ，并提升至指数 $k=7$ 。
- $k=7$ 的原理： 这种激进的衰减确保了近乎匹配的文本（例如，90% 的字符准确度）会被重罚（ $\Psi \approx 0.48$ ），这反映了企业级需求——在财务数据中，单个数字的错误就会导致数据失效。
最优匹配： 使用 匈牙利算法 在地面真值边与预测边之间寻找全局最优的一对一分配，从而实现匹配权重的最大化。这避免了以往指标中存在的贪婪对齐问题。
评分： 基于加权匹配边计算精确率（Precision）、召回率（Recall）和 F1 值。
- 精确率： 惩罚虚构的行/列。
- 召回率： 惩罚丢失的行或缺失的合并单元格。
- 回退机制： 对于单单元格表格，得分默认为直接的文本相似度。

3. 核心贡献

多语言基准测试： 一个高质量的大规模数据集，覆盖 9 种语言和 4 种脚本，专门解决了表格提取研究中 RTL（从右向左）和 CJK 语言代表性不足的问题。
T-LAG 指标： 一种基于图的评估方法，能够保留 2D 结构拓扑，并使用最优二分匹配，这使其区别于 TEDS（树编辑距离）和 1D 序列对齐方法。
全面评估： 对 9 个商业和开源系统（包括 Pulse Ultra 2, Gemini 3.1, LlamaParse, AWS Textract 和 Azure DI）进行了严格的基准测试，并公开了所有输出和评分代码。

4. 结果

对 9 家供应商在 1,820 个样本上的评估显示出显著的性能差异：

表现最佳者： Pulse Ultra 2 以 0.935 的 T-LAG 得分领先，并在 57.9% 的样本上达到了中位得分 1.0（完美提取）。它比排名第二的系统高出 11.9 个百分点。
总体表现： 仅有一家供应商的平均 T-LAG 得分超过 90%。排名后三分之一的供应商得分低于 0.72，表明当前多语言表格提取能力存在根本性局限。
结构性幻觉： 即便是高性能系统（如 Gemini 3.1），也仅能在约 28% 的表格上实现完美提取，经常会出现虚构行、捏造内容或错误的跨度属性。
语言差异：
- 最易： 法语和西班牙语在所有供应商中表现最高，这可能归功于共享的拉丁脚本和标准格式。
- 最难： 阿拉伯语和韩语表现出最广泛的跨供应商差异（差距 >75 个百分点）。
- CJK 挑战： 在英语表现强劲的供应商（如 AWS Textract 为 0.724）在 CJK 语言上大幅下降（中文为 0.324，韩文为 0.254），凸显了 OCR 的弱点。
覆盖率： 一些“智能体（Agentic）”系统未能对约 20% 的样本产生输出，这是影响生产可靠性的关键因素。

5. 意义与主张

本文将 PulseBench-Tab 和 T-LAG 定位为推动文档智能领域发展的必备工具：

现实的评估： 通过强制执行严格的定位和结构错误惩罚（通过 $k=7$ 指数和基于边的匹配），该指标反映了企业数据处理的运营现实——即近似提取在功能上等同于失败。
可复现性： 作者强调，完整的数据集、评分代码以及所有供应商的输出均已公开，以支持可复现的评估。
未来方向： 结果强调，非拉丁脚本仍然是一个尚未解决的主要挑战。作者指出，虽然基准测试规模很大，但仍需进一步扩大较小语言（如韩语、德语）的规模，以缩小置信区间。
局限性： 作者谦虚地承认了当前的局限性，包括假设每张图像仅含单个表格以及单页表格，尚未评估多表格布局和多页表格。

总之，本文认为，目前的表格提取系统在没有额外验证的情况下，尚不足以应对高风险的企业级应用，特别是在多语言和结构复杂的场景下。PulseBench-Tab 为衡量向此目标迈进的进展提供了必要的架构。