FireRed-OCR Technical Report

本文提出了 FireRed-OCR 框架，通过构建“几何 + 语义”数据工厂和采用包含多任务预对齐、专用微调及格式约束 GRPO 的三阶段渐进式训练策略，将通用视觉语言模型（基于 Qwen3-VL）转化为具备像素级精度的结构化文档解析专家，在 OmniDocBench v1.5 上取得了超越现有强基线的 SOTA 性能。

要点

这篇论文介绍了一个名为 FireRed-OCR 的新技术，它的核心目标非常明确：把那些“博而不精”的通用人工智能（VLM），训练成“精通文档结构”的 OCR（文字识别）专家。

为了让你更容易理解，我们可以用几个生动的比喻来拆解这项技术：

1. 核心痛点：为什么现在的 AI 看文档会“发疯”？

想象一下，你请了一位才华横溢但有点粗心的作家（通用大模型，如 Qwen-VL）来帮你整理一份复杂的财务报表或学术论文。

• 他的强项：他能读懂文章的大意，知道你在说什么，甚至能写出一段很优美的总结。
• 他的弱点：当他面对密密麻麻的表格、复杂的数学公式或者多栏排版时，他经常**“脑补”过头**。
  • 表格的线画歪了，或者行对不齐（结构幻觉）。
  • 数学公式里的符号乱飞，根本算不出来。
  • 文章段落顺序搞反了，先讲结论再讲原因。

在工业界，这种“大概意思对，但格式全错”的文档是没法用的。我们需要的是像素级精准的还原，就像把纸质文件原封不动地变成可编辑的电子版。

2. 解决方案：FireRed-OCR 的“三阶段特训”

为了解决这个问题，作者团队设计了一套**“从粗到细”的三步走特训计划**，把这位“粗心的作家”训练成“严谨的排版专家”。

第一阶段：多任务预对齐（打地基）

• 比喻：就像让作家先做**“找茬游戏”**。
• 做法：不让他直接写文章，而是先让他练习“指认”——指着图片里的某个框说“这是标题”，“这是表格”，“这是公式”。
• 目的：强迫他先学会看清文档的物理结构（哪里是哪里），而不是急着去“猜”内容。这就像先学会认字和认图，再学写文章。

第二阶段：专业监督微调（学规矩）

• 比喻：让作家在**“严格的编辑”**指导下，把文章重新写一遍。
• 做法：使用高质量的“标准答案”（统一格式的 Markdown 数据）来训练他。告诉他：标题必须用 #，表格必须用 |，公式必须用 LaTeX 格式。
• 目的：消除他以前那种“自由发挥”的坏习惯，让他学会遵守严格的排版规则。

第三阶段：格式约束的强化学习（练内功）

• 比喻：这是最精彩的一步，相当于给作家配了一位**“死板但公正的考官”，并实行“连坐制”**。
• 做法：
  • 让作家一次生成 10 个答案。
  • 考官（奖励机制）会检查：公式能编译吗？表格的行列对得上吗？括号闭合了吗？
  • 如果答案里有错，就扣分；如果完美，就奖励。
  • 关键点：如果 10 个答案里只有 1 个是对的，那这个“对”的答案就会被强化，其他的会被淘汰。
• 目的：通过这种“自我纠错”的机制，让模型学会自我反省，确保生成的每一个符号都符合逻辑，彻底杜绝“结构幻觉”。

3. 数据工厂：如何收集“好教材”？

训练 AI 需要大量高质量的“教材”。但网上的文档千奇百怪，有的太简单，有的太复杂，有的格式乱七八糟。

• 传统做法：像大海捞针一样随机抓取数据（容易抓到一堆简单的，抓不到难的）。
• FireRed-OCR 的做法（几何 + 语义数据工厂）：
  • 几何聚类：不看文字内容，只看**“长相”**。把长得像“复杂表格”、“多栏报纸”、“手写笔记”的文档单独挑出来。
  • 智能筛选：就像**“精挑细选”**。把那些太简单的文档扔掉，把那些最难、最特殊的文档（长尾数据）留下来，甚至用更高级的 AI 去帮它们“改错”，生成完美的标准答案。
  • 结果：训练出来的模型，不仅见过简单的文档，更见过各种“地狱难度”的文档，所以它什么都能搞定。

4. 成果：小模型也能打败大模型

最让人惊讶的是，FireRed-OCR 用的模型只有 20 亿参数（2B），而它打败的对手很多是 2000 亿甚至 3000 亿参数 的超级大模型（如 Qwen3-VL-235B, GPT-4o 等）。

• 比喻：这就像是一个经过特种训练的特种兵（FireRed-OCR），虽然个头小，但在“文档识别”这个特定战场上，比那些身怀绝技但样样稀松的巨人（通用大模型） 还要强。
• 成绩：在权威的 OmniDocBench 测试中，它拿到了 92.94% 的分数，排第一。特别是在表格还原和公式识别上，它比那些大模型强了整整一大截。

总结

FireRed-OCR 告诉我们一个道理：在 AI 领域，“专才”往往比“通才”更有用。

通过**“精心挑选的教材（数据工厂）”** + “循序渐进的训练（三阶段策略）” + “严格的自我纠错（强化学习）”，我们可以把通用的 AI 模型，低成本、高效率地变成处理复杂文档的顶级专家。这对于把纸质文件数字化、处理金融报表、整理学术论文等实际工作来说，是一个巨大的进步。

技术摘要

FireRed-OCR 技术报告详细总结

1. 研究背景与问题定义

随着大型视觉语言模型（VLMs）的快速发展，它们在通用图像理解和推理方面表现出色。然而，在文档智能（Document Intelligence）领域，特别是处理财务报表、学术论文和复杂表单时，通用 VLMs 存在一个核心瓶颈：“结构性幻觉”（Structural Hallucination）。

• 问题表现：模型虽然能理解语义，但无法严格遵守格式约束。具体表现为 Markdown 表格行序混乱、数学公式语法错误、层级逻辑缺失等。
• 现有方案局限：
  • 传统流水线 OCR（如 PaddleOCR）：虽然像素级精准，但缺乏对多栏布局阅读顺序等逻辑结构的语义理解。
  • 端到端通用 VLM：虽然语义理解强，但在密集文本和复杂布局中缺乏细粒度的空间定位能力，且缺乏抑制幻觉的强化机制。
• 核心挑战：如何将模型的行为从“广泛的语义解释”转变为“受严格逻辑规则约束的精准结构生成”。

2. 方法论：FireRed-OCR 框架

FireRed-OCR 是一个系统性的框架，旨在将通用 VLM（基于 Qwen3-VL）转化为像素级精准的结构化文档解析专家。其核心由高质量数据工厂和三阶段渐进式训练策略组成。

2.1 数据工程："几何 + 语义"数据工厂

为了解决高质量结构化数据稀缺和分布不均的问题，团队构建了一个自动化的数据流水线：

• 几何驱动的特征提取与双索引机制：
  • 几何聚类：利用轻量级图像编码器提取布局拓扑特征（忽略文本内容），通过无监督聚类识别并保留“长尾”布局（如嵌套表格、不规则表单），消除冗余的简单文本页面。
  • 多维语义标签：从语言、布局类型、文档来源、体裁四个维度对数据进行打标，确保训练数据的语义平衡。
• 分层采样与统一重标注：
  • 针对稀有布局进行过采样，针对简单文本进行截断，构建难度均匀的数据分布。
  • 使用 PaddleOCR-VL 对采样数据进行标准化 Markdown 重标注，消除不同数据源间的格式冲突（如公式符号、表格语法不一致）。
• 合成数据生成：针对自然数据中稀缺的结构（如跨页表格、复杂嵌套公式），基于 HTML/CSS 模板进行程序化渲染，生成带有完美 Ground Truth 的合成数据。
• 自动化质量控制与硬负样本挖掘：
  • 规则过滤（The Sieve）：检查标签闭合、表格完整性等。
  • LLM 审计（The Judge）：识别并保留“硬案例”（内容可读但布局复杂），而非直接丢弃。
  • 专家级精炼：利用更强大的闭源模型（如 Gemini 3 Pro）对硬案例进行“专家咨询”，修复结构幻觉，蒸馏出像素级完美的监督数据。

2.2 三阶段渐进式训练策略

为了驯服模型，使其从感知走向生成，设计了三个循序渐进的阶段：

1. 阶段一：多任务预对齐（Multi-task Pre-alignment）

   • 目标：建立物理感知基础。
   • 任务：联合训练检测（Bounding Box）、区域 OCR（Region OCR）和全页 Markdown 转换。
   • 作用：强制模型关注精确的空间位置，解决通用 VLM 在密集文本中的幻觉问题，建立“基础文档能力”。

2. 阶段二：专用监督微调（Specialized SFT）

   • 目标：标准化输出格式。
   • 内容：在高质量 Markdown 数据上微调，重点优化结构一致性、层级表达（标题、列表）、Markdown 语法标准化以及跨语言/复杂布局的鲁棒性。
   • Insight：采用“由粗到细”的策略（先粗标注后细标注）比全程使用高精度数据效果更好，有助于模型先收敛通用能力，再细化结构。

3. 阶段三：格式约束的 GRPO（Format-Constrained GRPO）

   • 目标：通过强化学习强制结构合规。
   • 机制：使用组相对策略优化（GRPO），无需额外的价值模型，效率高。
   • 奖励函数设计：
     • 公式语法奖励：检查 LaTeX 是否可编译。
     • 层级闭合奖励：惩罚未闭合的标签（如 Markdown 表格、加粗）。
     • 表格完整性奖励：确保表格行列数一致。
     • 文本准确性奖励：基于编辑距离确保内容忠实。
   • 迭代机制：引入“迭代 SFT-GRPO"循环，交替进行指令遵循和结构约束，防止模型为了刷分而生成无意义的完美语法（Reward Hacking），同时适应复杂约束。

3. 主要贡献

1. 范式转变：首次明确定义并解决了 VLM 文档解析中的“结构性幻觉”问题，提出了从“文本生成”向“结构工程”转变的解决方案。
2. 数据工厂：构建了“几何 + 语义”数据工厂，通过双索引机制和专家级精炼，解决了长尾布局数据稀缺和标注不一致的难题。
3. 训练策略创新：提出了包含 GRPO 的三阶段训练策略，特别是利用格式约束的强化学习，显著提升了复杂布局重建的鲁棒性。
4. 开源与 SOTA：开源了代码和模型权重，并在权威基准上取得了最佳性能。

4. 实验结果

在 OmniDocBench v1.5 和 FireRedBench 等基准测试中，FireRed-OCR-2B（仅 20 亿参数）表现卓越：

• 整体性能：在 OmniDocBench v1.5 上获得 92.94% 的总分，超越 DeepSeek-OCR 2 (91.09%) 和 OCRVerse (88.56%)，成为端到端（E2E）模型中的 SOTA。
• 小模型超越大模型：
  • 2B 参数的 FireRed-OCR 在 OmniDocBench 上超越了 397B 参数的 Qwen3.5 (90.80%) 和 235B 参数的 Qwen3-VL (89.15%)。
  • 在表格结构分析（Table TEDS）指标上，FireRed-OCR-2B (90.31) 远超 Qwen3-VL-235B (86.21) 和 GPT-4o (67.07)。
• 对比流水线系统：在 FireRedBench（复杂布局测试）中，FireRed-OCR-2B (74.62) 超越了复杂的 GLM-OCR 流水线 (74.33)，证明了单模型架构在处理复杂布局时的内部表征能力优于多阶段流水线。
• 消融实验：证明了“平衡混合策略”（Balanced Mixture）在 GRPO 训练中至关重要，单一领域的优化会导致模态干扰，而均衡的多模态信号能最大化模型综合能力。

5. 意义与展望

FireRed-OCR 证明了**“通用 VLM $\to$ 专用结构专家”**的范式是可行的。通过高质量的数据工程和针对性的训练策略，小参数模型（2B）即可在工业级文档解析任务中达到甚至超越超大参数通用模型和复杂流水线系统的性能。

• 工业价值：解决了通用模型在金融、法律、学术等场景下输出不可用的痛点，提供了像素级精准且逻辑严密的文档解析方案。
• 社区贡献：开源的“几何 + 语义”数据构建方法和三阶段训练代码，为社区提供了从通用多模态模型向专用结构化模型转型的可复现范式。

总结：FireRed-OCR 不仅是一个高性能的 OCR 模型，更是一套系统性的方法论，展示了如何通过数据驱动和强化学习约束，将通用大模型的“意图理解”能力转化为工业级的“规则执行”能力。