💻 computer science

LEGR: Learnable-Edge Graph Refinement for Table Structure Recognition

本文介绍了 LEGR，这是一个用于表格结构识别的端到端框架，它通过将静态几何启发式方法替换为可学习的关系边特征以及级联图注意力网络细化模块，通过通过学习全局布局推理来迭代修正预测，从而实现鲁棒且具有领域不变性的性能。

原作者： Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在浩瀚的数字文档领域，表格是信息的无声劳模。它们将财务报告、科学数据和行政记录组织成整齐的行与列的网格。对于人类读者而言，其结构是显而易见的；线条和间距引导着视线，使人能够轻松观察到一个单元格中的数值如何与另一个数值相关联。然而，对于计算机来说，一个表格仅仅是像素的混乱集合。要将一张表格的照片转化为有用的数据，软件必须执行一项艰巨的任务，称为表格结构识别。它必须弄清楚哪些文本属于同一行，哪些属于同一列，以及哪些单元格跨越了多个空间。这不仅仅是关于阅读文字，更是关于理解支撑起这个网格的隐形逻辑。如果没有这种理解，计算机就无法提取数据来回答问题、分析趋势或构建数据库。

多年来，研究人员一直试图通过将表格视为一张连接图谱来教计算机识别这些结构。在这种观点中，每一块文本都是地图上的一个点，而连接它们的线则代表了诸如“相邻”或“上方”之类的关系。挑战始终在于如何绘制这些线条。传统方法依赖于基于几何学的僵化、预设规则。如果两个文本框靠得很近，计算机就会假设它们是相连的；如果它们离得很远，连接就会被忽略。这种方法在处理简单、干净的表格时效果良好，但在面对布局复杂（如存在合并单元格或缺失边界）的表格时经常失效。计算机当时遵循的是一张静态地图，并未考虑到每份文档的独特语境。

来自巴基斯坦国家科学技术大学的一组研究人员提出了一种不同的前进方式。他们开发了一个名为 LEGR 的系统，全称为“可学习边缘图谱细化”（Learnable-Edge Graph Refinement）。LEGR 不再使用固定的规则来决定哪些文本段落相关联，而是学会了自行做出这些决策。想象一名正在学习看地图的学生：起初，他们可能会遵循一套简单的指令，但随着练习，他们会学会识别那些并未明确画在页面上的模式和关系。LEGR 的做法与之类似。它从对表格结构的初步猜测开始，然后通过学习哪些连接最为重要，迭代地改进这一猜测。

该系统的核心是从静态规则向动态学习的转变。在之前的系统中，计算机会观察两个文本框并测量它们之间的距离。如果距离很小，它就会画一条线。然而，LEGR 会观察文本框的内容和语境，以决定它们是否属于一体。它使用一种特殊的训练任务，尝试预测两个相连文本块之间的逻辑差异。通过这样做，系统学会了识别即使在物理空间上相距甚远，页面顶部的标题与底部的某个数据点也是相关的。这使得系统能够理解“关系基质”——即表格的底层逻辑——而不仅仅是物理布局。

一旦系统学会了这些关系，它就会通过一个两步过程来细化其理解。首先，它对每个文本块在网格中的位置做一个初步的、广泛的猜测。然后，它将此信息传递给一个网络，使表格的不同部分能够相互“交流”。这个网络会纠正微小的错误并解决歧义。如果系统最初认为两个单元格在同一行，但随后意识到它们与表格的其他部分不匹配，它就可以改变主意。这种迭代修正分为两个阶段进行，允许系统先修复大的结构性错误，然后再微调细节。

研究人员在几个来自科学论文和财务报告的大型表格集上测试了他们的系统。在标准测试中，LEGR 的表现与现有的最佳方法一样出色，在重建表格结构方面达到了极高的准确度。然而，最显著的发现出现在他们将该系统应用于一种从未见过的全新文档类型时。在没有任何额外训练的情况下，该系统在这些未见数据上的成功率达到了 98.46%。这表明该系统学习到了表格运作的一般性原则，而不仅仅是记住了训练文档中的特定布局。

为了证明其方法的真正优越性，研究人员进行了一系列实验，将他们的学习系统与传统的基于规则的方法进行替换。当他们用一套全面的手工设计几何规则替换掉学习到的连接关系时，系统的性能显著下降，下降了约四个百分点。这证实了学习连接的能力才是成功的关键。此外，他们还测试了如果使用随机连接而非逻辑图谱会发生什么。令人惊讶的是，系统的性能几乎没有变化。这表明，该系统通过文本本身学习关系的能力非常强大，以至于初始连接方式如何绘制几乎无关紧要。无论初始地图如何勾勒，系统都能理清正确的结构。

这项工作的意义不仅限于读取表格。它证明了对于涉及复杂结构化关系的任务，学习连接比设计连接更为重要。通过让计算机去发现数据的逻辑，而不是强迫它遵循预设的地图，研究人员创造了一个更稳健、更具适应性的工具。这种方法最终可以帮助计算机理解其他复杂的布局，例如表单或层级文档，在这些场景中，元素之间的关系并不总是显而易见的。这项研究表明，当一个系统被允许学习游戏的规则时，它能玩得比一个仅仅被告知如何移动的系统更好。

技术摘要：LEGR - 用于表格结构识别的可学习边缘图细化技术

1. 问题定义

表格结构识别（Table Structure Recognition, TSR）旨在将视觉表格图像转换为机器可读的逻辑结构（行/列索引和跨度）。虽然可以通过现成的 OCR 获取物理结构（边界框），但推断逻辑结构是一个复杂的关联问题。

现有的基于图的 TSR 方法将单元格视为节点，将空间关系视为边。然而，这些方法存在两个主要局型限制：

静态图构建： 它们依赖于手工设计的几何启发式方法（例如，基于边界框质心的 $k$ -最近邻）来定义图的连通性和边特征。这在学习开始前就固定了关系基质，导致模型无法捕捉非局部依赖关系（例如，跨长行的表头与单元格对齐）或有效处理无边界及跨行跨列布局的情况。
单次预测： 大多数流水线在单次前向传播中预测最终结构，缺乏在组装全局表格视图后修正初始估计的机制。

2. 方法论：LEGR 框架

LEGR（Learnable-Edge Graph Refinement，可学习边缘图细化）是一个端到端的框架，它学习关系图结构并进行迭代式细化。该架构由四个功能模块组成：

2.1 视觉与节点编码

视觉骨干网络： 一个 Swin Transformer 生成四级特征金字塔。这些特征通过大核金字塔注意力网络（LKPAN）进行融合，生成一个步长为 4 的统一精细特征图（ $FFPN$ ）以保留精细边界，以及一个步长为 32 的全局上下文图（ $C_4$ ）。
节点嵌入： 对于每个 OCR 检测到的边界框，通过融合以下内容构建初始嵌入（ $h_i^{in}$ $h_{i}^{in}$ ）：
- 视觉特征（通过在 $FFPN$ 上进行 RoIAlign）。
- 边界框坐标的可学习几何嵌入。
- 绝对 2D 正弦位置编码。
上下文编码器： 一个基于 Transformer 的编码器利用自注意力（处理段间依赖）和交叉注意力（注入来自 $C_4$ 的全局上下文）来处理这些嵌入。这产生了上下文相关的节点特征（ $H_0$ ）。

2.2 关系边缘学习

LEGR 没有采用静态启发式方法，而是采用了关系边缘学习器：

图构建： 在训练期间，为每个节点采样一个邻域，该邻域既包含几何上接近的邻居，也包含随机的长程邻居，以防止对局部几何结构的过拟sen。
边特征： 边特征由一个共享的上下文编码器和一个边缘头（MLP）生成。边 $(v_i, v_j)$ 的特征向量通过拼接节点嵌入、它们的差值以及它们的元素逐项乘积来构建。
辅助监督： 边缘头由一个辅助任务进行监督：预测连接节点之间的逻辑坐标差（行和列起始位置的有符号偏移量）。这迫使网络学习上下文相关的关系特征，而不是简单地复制原始坐标偏移量。

2.3 级联迭代细化

LEGR 使用基于图注意力网络（GAT）的二级级联细化模块取代了单次预测：

阶段 1： 节点头产生初始粗略对数（ $L_0$ ）。这些对数与节点特征融合后传入第一个 GAT（ $GAT_1$ ），以预测修正增量（ $\delta L_1$ ）。细化后的对数为 $L_1 = L_0 + \delta L_1$ 。
阶段 2： 该过程在第二个 GAT（ $GAT_2$ ）上重复， $GAT_2$ 在阶段 1 的特征和运行中的估计值 $L_1$ 上进行操作，产生最终修正 $\delta L_2$ 以及对数 $L_2 = L_1 + \delta L_2$ 。
这种从粗到精的方法使模型能够首先解决大规模的结构歧义，然后进行精细的局部调整。

2.4 训练目标

模型使用复合损失函数进行训练：
$\mathcal{L}_{total} = (1 - \lambda) \mathcal{L}_{coord} + \lambda (\alpha \mathcal{L}_{aux} + \beta \mathcal{L}_{edge})$
其中 $\mathcal{L}_{coord}$ 聚合了初始阶段和两个细化阶段的交叉熵损失， $\mathcal{L}_{aux}$ 是用于将属于同一单元格的段聚类的多正样本对比损失，而 $\mathcal{L}_{edge}$ 是用于坐标差预测的交叉熵损失。

3. 核心贡献

可学习的边缘特征： 用受逻辑坐标差辅助任务监督的关系边缘学习器取代了静态几何启发式方法。这使得捕捉非局部依赖关系和上下文相关关系成为可能。
级联细化： 引入了一个两阶段 GAT 细化模块，通过迭代修正初始预测，使模型能够进行全局推理并实现自我纠错。
领域不变性推理： 证明了学习关系基质所获得的表示能够很好地泛化到不同领域，而无需微调。

4. 实验结果

LEGR 在三个基准数据集上进行了评估：PubTabNet（科学文章）、FinTabNet（财务报告）和 SciTSR（科学论文）。

域内性能 (PubTabNet & FinTabNet)：
- 在 PubTabNet 上，LEGR 达到了 97.91 TEDS-S，在所有最先进方法中仅次于 TFLOP (98.38)，尽管它使用的是非自回归架构。
- 在 FinTabNet 上，LEGR 达到了 99.10 TEDS-S，同样仅次于 TFLOP (99.56)。
- 值得注意的是，LEGR 在实现这些结果时无需自回归 HTML 解码器，因此其推理成本相对于表格大小是恒定的。
跨领域泛化能力 (SciTSR)：
- 在零样本设置下（在 PubTabNet 上训练，在不进行微调的情况下测试于 SciTSR），LEGR 达到了 F1 分数 98.46。这与全监督的最先进方法（如 LORE 的 99.30）仅差 0.84 分，展示了强大的领域不变性。
- 通过微调，LEGR 达到了 99.39 F1，超越了以往的基于图的方法。
与基于图的方法对比：
- LEGR 显著优于之前的基于图的方法，如 NCGM 和 GraphTSR。在 PubTabNet 上，它比 NCGM 的 TEDS-S 高出 2.51 个百分点。在 SciTSR 上，它比 GraphTSR 的 F1 高出 5.99 个百分点。

5. 消融实验与分析

学习型 vs. 手工设计边缘： 将学习到的边缘特征替换为全面的手工设计基准（PCEF）会导致 FinTabNet 上的 TEDS 下降约 4.0 个百分点（从 99.10 降至 95.13）。这证实了复杂布局的关系特征无法通过边界框的固定函数来表达。
图邻接关系的鲁棒性： 将输入图的邻接关系随机化（用随机连接代替 $k$ -NN）导致的性能损失微乎其微（<0.15 个百分点）。这表明繁重的计算任务发生在学习到的边缘头和 GAT 中，而非取决于特定邻居的选择。
细化阶段： 第二个细化阶段的表现始终优于第一个阶段，证实了迭代修正的价值。
差值预测 vs. 亲和力： 通过坐标差来监督边缘，其表现优于另一种基于亲和力的公式（预测同行/同列概率），这归因于避免了竞争约束之间的优化冲突。

6. 意义与主张

本文声称学习关系基质比设计关系基质更为关键。其核心论点是，静态几何启发式方法不足以捕捉表格结构中固有的复杂且非局部的依赖关系。

鲁棒性： LEGR 在零样本设置下迁移到未见的 SciTSR 数据集的能力，证明了其学习到的关系推理捕捉的是领域不变的线索（即什么样的情况使得两个片段共享同一行/列），而非仅仅记忆特定数据集的布局统计特性。
效率： 通过避免自回归解码器，LEGR 为大型表格提供了一条更高效的推理路径，同时保持了极具竞争力的准确度。
范式转变： 这项工作表明，具有学习型边缘的迭代细化图，为层次化和表格数据的自回归结构化预测提供了一种可行的替代方案，并有望扩展到布局分析和表单理解领域。

作者承认了对于噪声较大、扫描件或相机拍摄的表格存在的局限性，并假设输入 OCR 段落是可靠的，并将这些列为未来的研究方向。