💻 computer science

RT-DocLayout: Real-Time End-to-End Document Layout Analysis with Reading Order in the Wild

本文介绍了 RT-DocLayout，这是一个基于 RT-DETR 的高效、拥有 33M 参数的端到端框架，它将检测、分割、分类和阅读顺序预测统一在单一架构内，从而在处理复杂场景下的文档布局分析时，实现了最先进的性能和实时推理能力（132.1 FPS）。

原作者： Cheng Cui, Tingquan Gao, Xueqing Wang, Changda Zhou, Hongen Liu, Ting Sun, Yubo Zhang, Zelun Zhang, Jiaxuan Liu, Manhui Lin, Yue Zhang, Suyin Liang, Yiqing Xiang, Yi Liu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Cheng Cui, Tingquan Gao, Xueqing Wang, Changda Zhou, Hongen Liu, Ting Sun, Yubo Zhang, Zelun Zhang, Jiaxuan Liu, Manhui Lin, Yue Zhang, Suyin Liang, Yiqing Xiang, Yi Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一叠凌乱、皱巴巴且歪歪斜斜的纸张。有些因为放在口袋里而弯曲，有些是角度倾斜拍摄的照片，还有些光照很奇怪。你的目标是将这一片混乱变成一本整洁的数字书籍，让每一段文字、每一张图片和每一个表格都处于正确的位置和正确的顺序。

这就是 RT-DocLayout 的工作——这是一种论文中描述的新型 AI 工具。以下是它的工作原理，用简单的语言进行了解释：

问题所在：“笨拙的机器人” vs. “凌乱的房间”

以往用于整理文档的工具就像是在试图整理乱室的笨拙机器人，它们有两个主要问题：

速度太慢： 有些工具就像是那种需要对每一件物品都思考很久的超级智能机器人。
过于僵化： 大多数工具尝试仅使用正方形方框（就像纸箱一样）来抓取物品。如果一张纸是弯曲或卷曲的，正方形方框要么会切掉部分文本，要么会抓取过多的背景噪音。
顺序出错： 它们能找到物品，但随后必须单独去猜测阅读顺序，这往往会导致无法挽回的错误。

解决方案：“聪明且灵活的整理者”

作者创建了 RT-DocLayout，它就像一位高水平、动作敏捷的整理者，能够一眼看清整个房间。

1. 一体化（“瑞士军刀”式方法）
RT-DocLayout 不再使用三种不同的工具来寻找物品、绘制方框和猜测顺序，而是通过一个步骤完成所有工作。这就像一位厨师在切菜、烹饪和摆盘的过程中一气呵成，动作流畅。它在同一时间完成分类（这是标题吗？是照片吗？）、寻找精确形状以及决定该项在故事中的位置。

2. 使用“掩码”而非“方框”（“饼干模具”类比）
旧工具使用正方形方框来抓取文本。如果文本位于弯曲的页面上，方框会同时抓取文本和背景。
RT-DocLayout 使用像素级掩码。想象一下，AI 使用的不是正方形盒子，而是一个灵活的饼干模具，可以完美地贴合文本的形状，即使文本是弯曲、倾斜或扭曲的。这确保了它只抓取内容，并将背景留在身后。

3. 在观察的同时阅读“故事”（“指挥家”类比）
大多数工具在观察文档后，再尝试在稍后阶段确定阅读顺序。RT-DocLayout 则像一位指挥家，在管弦乐队演奏时就能听到音乐并知道音符的顺序。它在寻找物品的同时，就会学习各项之间的关系（例如，“这个标题属于这段段落”），因此永远不会弄错序列。

4. 在“虚假混乱”中训练（“飞行模拟器”类比）
为了确保它能在真实的褶皱纸张上运行，团队使用了一种特殊的训练方法。他们将干净的数字页面进行数字化的“扭曲”、“旋转”和“倾斜”，使其看起来像是遭受了现实世界的损坏。这就像飞行员在驾驶真正的飞机之前，先在模拟生成风暴和湍流的飞行模拟器中进行训练。这使得该 AI 极其强韧，能够应对任何现实世界的混乱。

结果：快速、准确且强韧

论文声称，这个新工具是一个游戏规则的改变者，因为它：

速度极快： 它每秒可以处理超过 130 页（132.1 FPS），达到了实时速度。
体积小巧： 它封装在一个微小的包中（3300 万参数），使其易于在标准计算机上运行，不像过去那些庞大且缓慢的模型。
表现最优： 在测试中，它超越了所有其他方法，尤其是在处理弯曲、倾斜或光照不佳的文档时。它不仅找到了项目，而且在保持故事顺序方面比以往任何方法都做得更好。

简而言之： RT-DocLayout 是一个快速、小巧且极其聪明的工具，它可以将杂乱、扭曲的文档瞬间转化为一份整洁、顺序完美的数字文件，处理曲线和褶皱的能力比以往任何方法都要出色。

技术摘要：RT-DocLayout

问题陈述

准确的文档布局分析（DLA）仍然是自动化文档智能系统的关键瓶颈，尤其是在处理多样化的真实世界文档时。现有方法面临两个主要挑战：

碎片化的结构建模： 现有方法通常依赖于级联流水线（例如，先进行检测器，再使用独立的关系模型如 GNN 或启发式排序）。这种分离会导致误差传播，即检测的不准确会导致后续阅读顺序预测的退化，并且无法捕捉布局几何形状与逻辑拓扑之间的协同依赖关系。
粗糙的几何表示： 许多最先进的模型，包括大型视觉语言模型（VLM）和生成式 Transformer，依赖于轴对齐的边界框。这些粗糙的表示在处理具有几何畸变（如扭曲、弯曲、透视变化或倾斜）的文档时，无法隔离布局元素，导致来自背景噪声或相邻元素的干扰，从而限制了下游 OCR 和解析的保真度。

此外，虽然大规模预训练模型实现了高精度，但其计算成本昂贵，不适用于实时工业应用。

方法论

作者提出了 RT-DocLayout，这是一个基于 RT-DETR 架构的高效端到端框架。它在一个 33M 参数的模型中统一了分类、检测、像素级分割和阅读顺序预测。

1. 统一的多任务架构

与以往解耦的任务不同，RT-DocLayout 采用单个基于查询（query-based）的 Transformer 解码器，在单次前向传播中同时执行四项任务：

分类与检测： 分配类别标签并回归边界框。
像素级分割： 生成布局元素的高保真掩码（mask）。这取代了简单的边界框，使模型能够通过精确隔离元素来处理非刚性变形（如弯曲的文本、扭曲的页面），从而避免背景污染。
阅读顺序预测： 构建元素之间的关系，以确定逻辑阅读序列。

2. 阅读顺序机制

该模型将阅读顺序预测直接集成到解码器中。它从精炼的对象查询 $Q$ 中计算成对的前后关系得分矩阵 $S$ 。得分 $S_{i,j}$ 通过可学习的投影矩阵计算，用于确定元素 $i$ 是否在元素 $j$ 之前。

推理策略： 一种基于投票的排序策略将这些成对关系转换为全局一致的序列。通过对 Sigmoid 激活后的成对得分求和，计算每个元素的预期前驱数量，并按此计数升序排列元素。

3. 损失函数设计

训练目标是六个组件的加权和：分类、边界框回归（L1 + GIoU）、掩码分割（BCE + Dice）以及成对阅读顺序。

顺序损失权重： 阅读顺序损失被分配了显著更高的权重 ( $\lambda_{order}=50$ )，以抵消梯度稀释，因为其操作的是 $O(N^2)$ 个对，而对象级损失的操作是 $O(N)$ 。
局部感知权重： 为了强调局部排序的正确性，动态邻域窗口内的对会被赋予更高的权重。
广义交叉熵 (GCE)： 用于顺序损失，并带有标签平滑，以处理潜在的标注噪声。
深度监督： 辅助损失应用于中间解码层进行分类、检测和分割，但顺序损失仅在最终层计算，因为准确的排序依赖于在后期阶段实现的精确定位和分类。

4. 物理空间感知数据增强

为了弥合标准平面标注与真实世界畸变之间的差距，作者提出了一个两阶段在线增强流水线：

阶段 1：内在表面变形 (ISD)： 使用基于网格的扭曲算子和光滑的周期性位移场，模拟非刚性物理扭曲（例如，页面卷曲）。
阶段 2：外在投影变换 (EPT)： 通过复合单应性矩阵模拟随机相机视角（旋转、剪切、透视）。
该流水线在保持用于掩码监督的像素级地面真值的同时，动态合成真实的畸变。

核心贡献

统一框架： RT-DocLayout 是一个 33M 参数的 Transformer 框架，它在单次前向传播中实现了端到端的分类、检测、像素级掩码生成和阅读顺序预测，消除了冗余的后处理阶段。
以掩码为中心的鲁棒性： 论文证明，为非刚性变形区域提供像素级掩码，相比传统的基于边界框的方法，能显著增强解析的鲁棒性，有效减轻了文档变形带来的干扰。
实时效率： 该模型在实现最先进（SOTA）精度的同时，保持了实时推理速度（132.1 FPS），为工业级文档解析提供了可扩展的解决方案。

实验结果

实验在 OmniDocBench v1.5 及其真实世界衍生版本 Real5-OmniDocBench（涵盖场景：原始、扫描、扭曲、手机拍摄、光照和倾斜）上进行。

性能： RT-DocLayout 在 OmniDocBench v1.5 上实现了 92.46% 的总体准确率，在 Real5-OmniDocBench 上实现了 92.05% 的准确率（配合 PaddleOCR-VL-1.5-0.9B），超越了以往领先的方法，如 PP-DocLayoutV2、MinerU2.5 和 Dolphin-v2。
速度： 它以仅 33M 参数 的规模实现了 132.1 FPS 的运行速度，比大型 VLM（例如，Dolphin-v2 为 0.9 FPS，MinerU2.5 为 2.4 FPS）显著更快且更紧凑。
鲁棒性： 模型在所有六个挑战性维度上均表现出持续的优越性，特别是在边界框方法会显著退化的“扭曲（Warping）”和“倾斜（Skew）”场景中。
消融实验：
- 用纯边界框替换联合掩码预测降低了整体准确率。
- 耦合的阅读顺序学习相比于解耦策略或启发式 XYCut，显著降低了阅读顺序误差距离。
- 所提出的数据增强（DA）对于鲁棒性至关重要，使“扭曲”和“倾斜”子集的性能分别提升了超过 4% 和 14%。

意义

论文声称，RT-DocLayout 通过在紧凑的实时架构中成功统一几何精度（通过像素级掩码）和结构逻辑（通过端到端阅读顺序），为文档布局分析建立了新的基准。通过超越传统的以框为中心的范式，它为必须可靠处理多样化、畸变及不受控的真实世界文档的下一代文档智能系统提供了实用的基础。该模型权重已作为 PP-DocLayoutV3 发布在 PaddleOCR 生态系统中。