💻 computer science

DocPO: Advancing Document Policy Optimization via Tailored Step-Aware Rewards

本文介绍了 DocPO，一种采用新型步进感知退火（Step-Aware Annealing）机制来强化基于参考的奖励的文档策略优化框架，从而克服了传统编辑距离度量指标判别信号微弱的问题，并显著提升了高精度文档解析的强化学习性能。

原作者： Yunhao Wang, Binghong Wu, Zhenyu Huang, Jiacheng Shi, Shuo Huang, Tinghao Yu, Feng Zhang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunhao Wang, Binghong Wu, Zhenyu Huang, Jiacheng Shi, Shuo Huang, Tinghao Yu, Feng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人去阅读一张凌乱的手写食谱卡。机器人不仅要识字，还要搞清楚食材列表在哪里结束，烹饪步骤从哪里开始，以及如何处理测量表格或复杂的数学公式。这就是文档解析（Document Parsing）的世界——这是人工智能的一个分支，旨在尝试将纸张（或屏幕）的二维图像转化为整洁、有序的数字化文本。长期以来，教导这些机器人的最佳方法是监督微调（Supervised Fine-Tuning, SFT），这就像一位老师向机器人展示数千个完美的范例，并对它说：“完全照着这个样子抄。”但就像一个只会死记硬背答案而没有理解能力的学生一样，当机器人看到稍微不同的东西时，它有时会感到困惑。

为了解决这个问题，科学家们开始使用强化学习（Reinforcement Learning, RL）。你可以把它想象成一场电子游戏，机器人试图解开谜题，每当它做得对时，它就会得到一个“分数”或“奖励”。机器人通过尝试获得尽可能高的分数来学习如何玩得更好。然而，这里有一个棘手的难题：当机器人已经做得相当出色时，它获得的“接近完美”的分数和“完美”的分数几乎是一样的。这就像在考试中得到 98% 和 99% 的成绩一样；两者的差别感觉微乎其微，因此机器人不知道具体该做出哪一点微小的改变才能达到 100%。这篇论文专门针对这个特定的“高分平台期（high-score plateau）”问题。

问题所在：机器人卡在了“接近完美”的状态

认识一下 DocPO，这是一种旨在帮助这些文档阅读机器人突破高分平台期的新方法。研究人员发现，当一个机器人已经做得非常出色时，通常给予反馈（即“奖励”）的方式会变得过于模糊。

想象一下你在训练一只狗去捡球。如果狗把球带回了 90% 的路程，你可能会说“做得好！”；如果它带回了 95%，你也说“做得好！”。狗听到的反馈是一样的，所以它不知道把球带回全程是极其重要的进步。在文档解析的世界里，当机器人已经正确识别了 90% 的文本或表格结构时，情况就是如此。计算机对于 90% 正确答案和 95% 正确答案给出的“分数”非常接近，以至于机器人无法分辨其中的差异，从而停止了学习如何完善最后几个细节的过程。

解决方案：一种“步骤感知型”奖励系统

腾讯混元团队提出了一个被称为**步长感知退火（Step-Aware Annealing, SAA）**的巧妙解决方法。你可以把它想象成一位聪明的教练，随着玩家变得越来越厉害，教练会改变游戏的规则。

在开始阶段，当机器人还在学习基础知识时，教练会给出温和、宽泛的反馈。“做得好！”就足够了。但当机器人开始变得非常厉害（进入“高准确率阶段”）时，教练会切换到更敏锐、更挑剔的耳朵。突然之间，90 分和 95 分之间的差距不再是一个微小的间隙；教练放大了这种差距，让 95 分的感觉比 90 分要好得多。这种“锐化”迫使机器人去关注那些它之前忽略的细微、微妙的细节。

SAA 的魔力在于它不仅仅是提高分数，它还改变了奖励随时间变化的曲率。它从平缓开始，并逐渐变得“尖锐”，确保即使在机器人接近顶峰时，也能始终获得清晰的改进信号。

针对不同任务定制的奖励

团队还意识到，你不能用评价一段文字的方式去评价一个表格。

针对文本： 他们使用简单的“编辑距离（edit distance）”得分。如果你漏掉了一个字母，你会失去一点分数。
针对表格： 表格就像带有分支（行和列）的树。如果你弄错了结构（比如把单元格放错了行），这比一个拼写错误严重得多。机器人会得到一个特殊的“树编辑距离（Tree Edit Distance）”得分，它会对结构性错误进行更重的惩罚。
针对数学公式： 这是最棘手的。一个公式看起来可能不同，但意思却是一样的（比如写 $a/b$ 而不是 $a \div b$ ）。团队创建了一种“混合”奖励，它首先检查数学逻辑是否有效（一个“语法门控”），然后检查其含义是否正确，即使符号略有不同。

研究发现

研究人员在两个大型测试文档集上测试了他们的新型 DocPO 框架：OmniDocBench（一个包含 1,355 页的公开数据集）和 DocElemHard（一个更难的、自定义的测试集，包含 9,400 张图像）。

以下是数据所表明的结果：

学习速度更快： 当他们使用“锐化”后的奖励系统时，机器人达到高水平表格阅读准确性的速度比使用传统标准奖励时快了约 1.8 倍。
更高的最终得分： 机器人不仅学得更快，而且最终表现更好。在困难的 DocElemHard 测试中，新方法实现了 93.76 的总分，击败了之前的许多专业化模型（这些模型通常使用更复杂且昂贵的硬件配置）。
无需额外硬件： 最酷的部分之一是，他们不需要构建一个新的、巨大的机器人大脑。他们使用了一个标准的、现成的模型——Qwen2.5-VL-3B，只是改变了给予反馈的方式。这表明，有时通过改进“教练”的反馈，比构建一个更大的“选手”更为有效。

局限性与未来

作者谨慎地指出，这并不是解决所有问题的万灵药。以下这种方式训练机器人比旧方法更耗时且更昂贵，因为机器人必须多次“玩游戏”才能学会。此外，“奖励”仍然基于人类编写的规则，如果规则遗漏了某种细微的差别，机器人仍可能感到困惑。最后，他们仅在文本、表格和数学公式上进行了测试；他们还没有尝试将其应用于图表或示意图。

但核心结论是明确的：通过随着机器人的进步而使反馈变得更锐利、更聪明，我们可以帮助它掌握阅读文档中那些棘手的细节，而无需重新发明机器人本身。这提醒了我们，有时，变优秀的秘诀不在于更努力地工作，而在于明确知道自己究竟该在哪些方面下功夫。

技术摘要：DocPO：通过定制化步进感知奖励推进文档策略优化

1. 问题陈述

文档解析任务是将异构的二维布局（文本、表格、公式）解码为一维序列，该任务在应用强化学习（RL）时面临显著挑战。虽然监督微调（SFT）是目前的主流方法，但它存在暴露偏差（exposure bias）问题。尽管强化学习为序列级优化提供了路径，但与标准大语言模型（LLM）相比，其在文档解析领域的应用仍然有限。

核心问题在于在高准确率区间内，基于参考的奖励函数缺乏判别力。现有方法通常依赖编辑距离度量（如字符串编辑距离）。随着模型趋向高准确率，接近真值的输出所获得的得分与真值几乎相同。这导致了：

平坦的奖励景观： 高分候选样本之间的微小质量差异无法被放大，从而为困难案例提供了有限的学习信号。
对齐失准： 通用的字符串级编辑距离无法捕捉表格中的结构正确性（即尽管结构损坏，仍会给予高词法重叠奖励），也无法捕捉公式中的语义等价性（即惩罚有效的同义 LaTeX 变体）。
对复杂奖励的依赖： 其他方法（如学习型的“渲染并比较”奖励模型）需要额外的训练数据、计算资源和辅助训练，降低了部署的简洁性。

2. 方法论

作者提出了 DocPO，一个文档策略优化框架。该框架保留了简单的、针对特定元素的基于参考的奖励，并通过一种称为**步进感知退火（Step-Aware Annealing, SAA）**的新机制增强了其优化能力。

2.1 基础奖励实例化

DocPO 利用针对特定文档元素定制的、不同的归一化基于参考的奖励，并将其映射到 $[0, 1]$ 尺度：

文本： 归一化编辑距离（NED）。
表格： 使用 APTED 算法的加权树编辑距离相似度（TEDS）。这区分了结构操作（如行/列跨度）与仅内容不匹配的成本，确保结构错误比拼写错误受到更重的惩罚。
公式： 一种混合的**“准则+编辑”（Rubric+edit）**奖励。它结合了：
- 一个确定性的语法门控（ $v_{syn}$ ），为无效的 LaTeX 分配零奖励（语法有效性）。
- 一个二元准则（ $r_{sem}$ ）用于语义等价性（处理如 \over 与 \frac 等有效的替代符号）。
- 一个稠密的 NED 组件（ $r_{struct}$ ）用于结构监督。

2.2 步进感知退火 (SAA)

SAA 是一种即插即用的奖励锐化机制，旨在解决高准确率区间内奖励平坦的问题。一旦完成归一化，它的运行独立于具体的奖励定义。

非线性奖励塑造： SAA 对基础奖励 $M$ 应用幂律变换：
$f_\gamma(M) = M^\gamma$
其中 $\gamma$ 是曲率因子。当 $\gamma > 1$ 时，高分样本之间的相对差距被放大。这有效地降低了选择过程的“温度”，使顶层排名候选样本的优化信号更加锐利，同时保留了原始的排序。
自适应调度： 曲率因子 $\gamma$ $γ$ 并非固定不变，而是随训练过程演进：
$\gamma = \gamma_{init} + \Delta\gamma \cdot \left[1 - \exp\left(-\frac{s}{\tau_{adaptive}}\right)\right]$
- 训练早期： $\gamma$ 接近 1（线性），确保稳定性并与原始基础奖励保持一致。
- 训练后期： $\gamma$ 逐渐增加（最高达到 $\gamma_{init} + \Delta\gamma$ ），逐步锐化奖励，以区分高质量输出之间的细微差别。
动态离散控制器 (DDC)： 为了使锐化速率适应任务难度， $\tau_{adaptive}$ 通过在近期奖励的滚动窗口上计算的任务级离散得分（ $d_{DDC}$ ）进行调节。高离散度（结果异质性高）会触发更快的锐化，而低离散度则维持更稳定的节奏。

3. 核心贡献

步进感知退火 (SAA)： 一种新型的奖励锐化机制，能够动态增加训练步骤中的奖励曲率。它在无需额外人工监督或辅助奖励模型训练的情况下，提升了高准确率区间的优化效果。
DocPO 框架： 一个统一的文档强化学习框架，将特定元素的基于参考的奖励（文本用 NED，表格用 TEDS，公式用 Rubric+edit）与 SAA 相结合。
细粒度基准： 构建了 DocElemHard，这是一个涵盖文本块、表格和公式的挑战性数据集，用于元素级评估，并在 OmniDocBench 上进行了评估。

4. 实验结果

实验使用 Qwen2.5-VL-3B 作为骨干网络进行，未对视觉编码器、预训练或后处理模块进行任何修改。

性能提升：
- OmniDocBench： DocPO 取得了 95.38 的总分，超过了专门的 VLM 如 PaddleOCR-VL (94.87) 和 DeepSeekOCR (90.63)。
- DocElemHard： DocPO 取得了最佳综合性能 (93.76)，优于最强的专门基线模型 (PaddleOCR-VL 为 91.47)。
- 特定元素表现：
  - 文本： 将 NED 误差降至 0.0125（对比 SFT 基线为 0.0358）。
  - 公式： 将 CDM 得分提升至 94.70（对比 SFT 为 92.61）。
  - 表格： 实现了 93.10 的 TEDS（对比 SFT 为 89.30）。
消融研究：
- SAA vs. 固定曲率： 动态 SAA (93.10) 的表现优于使用固定 $\gamma$ 的静态幂律变换 (范围在 91.9–92.3 之间)，证明了自适应调度的必要性。
- DDC 的贡献： 移除动态离散控制器（DDC）后，性能从 93.10 下降至 92.73，证实了任务特定离散度适配的价值。
- 训练效率： SAA 加速了收敛，达到 91.0 TEDS 阈值的时间比非退火基线快 1.8 倍，同时实现了更高的最终性能上限（+1.5 点）。
与专门模型的比较： DocPO 仅使用标准的 3B 骨干网络和奖励级优化，便超越了那些依赖架构定制（例如专用高分辨率编码器、自定义视觉 Token 压缩或额外的多模态预训练）的模型。

5. 意义与主张

论文声称，对于文档解析而言，优化奖励信号比扩展或重新设计模型架构是更有效的手段。

简洁性与可部署性： 不同于近期要求复杂的视觉前端修改或辅助奖励模型的趋势，DocPO 使用标准的 VLM 骨干网络，在无需额外预处理或后处理的情况下实现了最先进的结果。
泛化性： SAA 机制与具体的奖励定义无关，为多样化的文档元素（文本、表格、公式）提供了一种统一的优化策略。
高准确率优化： 本研究表明，文档解析的主要瓶颈不在于模型的容量，而在于近乎最优状态下奖励信号的判别力。SAA 通过逐步锐化学习信号，有效地解决了这一问题。

局限性： 作者指出，由于需要多次采样（rollouts）和准则评分，强化学习训练比 SFT 的计算成本更高。此外，代理奖励（proxy rewards）可能会遗漏细微的语义差别，且目前的范围仅限于文本、公式和表格，不包括图表和几何图形。