ICDAR 2025 Competition on End-to-End Document Image Machine Translation Towards Complex Layouts

本文介绍了 ICDAR 2025 端到端文档图像机器翻译竞赛，该竞赛通过 OCR 免提与 OCR 辅助两个赛道及不同规模模型子任务，吸引了 69 支团队参与，旨在推动复杂版本文档翻译研究并展示了大模型在该领域的巨大潜力。

要点

这篇论文介绍了一场名为 ICDAR 2025 的“文档图像机器翻译”比赛。为了让你更容易理解，我们可以把这项技术想象成**“给一本复杂的书做翻译”**，而不仅仅是翻译一段文字。

📖 核心故事：翻译一本“乱糟糟”的书

想象一下，你手里有一本外文书，但这书不是普通的小说，它排版非常复杂：

• 有的地方是多栏的（像报纸）；
• 有的地方是表格；
• 有的地方还有脚注（在页面底部的小字）；
• 甚至有的文字是倒着或者乱序的。

现在的任务不是让你把书里的字一个个认出来再翻译，而是直接看着这张图片，把它变成一本排版完美、内容通顺的目标语言（中文）电子书。

这场比赛就是为了让 AI 学会这项“神技”。

---

🏆 比赛的两个“赛道”：两种不同的解题思路

比赛分成了两个大方向，就像让选手用两种不同的工具去完成任务：

1. “带翻译器”赛道 (OCR-based)

• 比喻：这就好比你请了一个**“识字助手”**。
• 过程：助手先把图片里的字都认出来（OCR），把字和它们的位置（坐标）都列给你。但是，助手是个“直肠子”，它把字认出来了，但顺序可能是乱的（比如先读了右下角，再读左上角）。
• 选手的任务：你需要利用大模型，把这些乱序的单词重新排好队，整理成通顺的句子，并翻译成中文。
• 难点：不仅要翻译，还要像个编辑一样，把打乱的拼图拼回原来的样子。

2. “纯视觉”赛道 (OCR-free)

• 比喻：这就好比你是个**“天才画家”**，完全不需要助手，直接看图说话。
• 过程：你直接看着那张复杂的图片，脑子里要同时理解：哪里是标题？哪里是表格？哪行字属于哪一段？然后直接输出排版好的中文 Markdown 文档。
• 难点：这是最难的模式。AI 必须自己学会“看”懂复杂的排版，不能依赖任何现成的文字识别工具。这就像让一个不懂外语的人，直接看着外文书的插图和排版，猜出内容并翻译出来。

---

🧠 两种“大脑”：大模型 vs 小模型

为了测试不同能力的 AI，每个赛道又分成了两个小组：

• 超级大脑 (LLM, >10 亿参数)：像 InternVL 或 Qwen 这样的巨型模型。它们知识渊博，理解力强，能处理最复杂的乱局。
• 小巧大脑 (Small, <10 亿参数)：像 1B 或 500M 参数的小模型。它们更轻量，适合在普通电脑或手机上运行，但能力相对有限。

比赛结果很有趣：

• 超级大脑确实更厉害，它们像经验丰富的老教授，能把复杂的表格、脚注处理得井井有条。
• 小巧大脑虽然不如超级大脑，但经过精心“特训”（微调），也能交出不错的答卷，证明了小模型在特定任务上也能很聪明。

---

🏅 谁赢了？(比赛亮点)

• 冠军团队：来自华为翻译服务中心 (Hw-tsc) 的团队几乎在所有赛道都拿了第一！
• 他们的秘密武器：他们使用了一种叫 InternVL2.5 的超级模型，并且用了一种叫“多任务学习”和“思维链”的方法。
  • 通俗解释：他们不只是让 AI 死记硬背，而是教 AI 像人一样思考：“先看布局，再读内容，最后翻译”。他们还用了“贝叶斯解码”这种高级技巧来确保翻译出来的句子最自然、最准确。
• 另一个亮点：有些团队（如 Lucky Star）尝试把“排版识别”和“翻译”分开做，先排好序再翻译，这也是一种很聪明的策略。

---

💡 这篇论文告诉我们什么？

1. AI 正在变强：以前，让 AI 翻译一张排版复杂的图片几乎是不可能的任务。现在，AI 不仅能翻译，还能保持原来的表格、标题和段落格式，这非常了不起。
2. “直接看图”是未来：虽然目前“带翻译器”（OCR 辅助）的方法更准，但“纯视觉”（OCR-free）的方法进步神速。未来，我们可能不再需要先把字认出来再翻译，AI 直接“看”图就能懂。
3. 大模型是主力：在处理这种复杂任务时，参数越大的模型（超级大脑）表现越好。但小模型经过优化，也有很大的实用价值。
4. 未来的挑战：虽然进步很大，但面对极其复杂的现实世界文档（比如手写体、模糊图片、极度混乱的排版），AI 还需要继续进化。

总结一句话：
这场比赛就像是一场**“AI 排版翻译大赛”**，它证明了现在的 AI 已经不仅能“读”懂乱糟糟的外文图片，还能像人类编辑一样，把它们整理成漂亮的中文文档。华为团队凭借强大的模型和巧妙的训练方法，暂时站在了顶峰。

技术摘要

这是一份关于 ICDAR 2025 文档图像端到端机器翻译竞赛（DIMT 2025） 的技术总结报告。该竞赛旨在解决复杂布局文档图像的翻译难题， bridging 光学字符识别（OCR）与自然语言处理（NLP）之间的鸿沟。

以下是该论文的详细技术总结：

1. 问题背景与挑战 (Problem & Challenges)

核心问题：文档图像机器翻译（DIMT）旨在将嵌入在文档图像中的文本从源语言翻译为目标语言。与纯文本翻译不同，DIMT 需要同时建模文本内容和页面布局（如多栏、表格、脚注、混合格式等）。

主要挑战：

• 多模态与跨语言性：现实世界的文档包含复杂的布局、密集文本和视觉丰富元素，难以进行综合理解和跨语言转换。
• 图像与文本噪声：图像缺陷或 OCR 识别错误会引入噪声，增加系统难度。
• 缺乏统一基准：现有数据集样本不足、标注标准不一、评估指标不统一，导致模型性能难以直接比较。
• 现有模型局限：虽然大语言模型（LLM）在 OCR 和纯文本翻译上取得了突破，但在处理具有复杂布局的真实世界文档图像时，其鲁棒性和准确性仍显不足。

2. 竞赛设置与方法论 (Methodology & Setup)

竞赛由中科院自动化所组织，提供了标准化的大规模数据集和统一的评估协议。竞赛分为两个主要赛道（Track），每个赛道又细分为两个子任务（基于参数量）：

赛道设置

• Track 1: 基于 OCR 的 DIMT (OCR-based)
  • 输入：文档图像 + OCR 提取结果（单词文本及边界框）。
  • 任务：将混乱的 OCR 单词输出重新排序，并翻译为目标语言，保持语义和布局完整性。
  • 子任务：
    • 1.1 LLM 组：参数量 > 1B。
    • 1.2 Small 组：参数量 ≤ 1B。
• Track 2: 无 OCR 的 DIMT (OCR-free)
  • 输入：仅文档图像。
  • 任务：端到端地将图像直接翻译为 Markdown 格式的目标文本，需自行处理布局解析和上下文信息。
  • 子任务：
    • 2.1 LLM 组：参数量 > 1B。
    • 2.2 Small 组：参数量 ≤ 1B。

数据集

• DIMT-WebDoc-300K (Track 1)：30 万张网页文档图像，包含 OCR 结果、阅读顺序索引及多语言翻译。
• DIMT-arXiv-124K (Track 2)：12.4 万张从 Arxiv 爬取的 PDF/LaTeX 转换图像，包含源语言和目标语言（Markdown 格式）配对。
• 测试集：每个赛道各 1000 张图像。

评估指标

• 采用文档级 BLEU (Document-level BLEU)。
• 将整张图像的翻译输出视为单一文本字符串，使用 Jieba 进行中文分词，计算 BLEU-4 分数。

3. 关键贡献 (Key Contributions)

1. 首个综合性基准：推出了 ICDAR 2025 DIMT 竞赛，这是首个针对复杂布局文档图像翻译的综合性基准，填补了该领域统一评估的空白。
2. 大规模高质量数据集：构建了包含 4.2 万 + 文档页面的数据集，涵盖网页和学术文章，具有细粒度的标注（词级、句级、文档级翻译及布局信息）。
3. 双轨制评估体系：同时评估“基于 OCR"和“无 OCR"两种范式，并区分“大模型”与“小模型”，全面考察不同资源约束下的技术潜力。
4. 推动端到端范式：鼓励从传统的"OCR+ 翻译”流水线向“视觉 - 语言”端到端联合建模转变，减少预处理带来的误差传播。

4. 竞赛结果与发现 (Results & Findings)

竞赛吸引了 69 支队伍，共 27 份有效提交。

性能表现

• 大模型优势明显：在两个赛道中，参数量 > 1B 的大模型（LLM）表现显著优于小模型。
  • Track 1.1 (OCR-based LLM)：冠军队伍 Hw-tsc (华为翻译服务中心) 使用 InternVL2.5-8B-MPO 框架，BLEU 达到 70.48，远超基线 (26.34)。
  • Track 2.1 (OCR-free LLM)：Hw-tsc 同样以 60.78 的 BLEU 分夺冠，再次证明大模型在无 OCR 辅助下的强大能力。
• 小模型潜力：小模型组（≤1B）通过精细微调也能取得不错成绩。
  • Track 1.2 冠军 (Hw-tsc, InternVL2.5-1B) 得分 66.16。
  • Track 2.2 冠军 (Intime & HY, HYOCR-1B) 得分 59.96，甚至略高于 Track 2.1 的某些大模型方案，显示小模型在特定任务上的优化潜力。
• OCR-based vs. OCR-free：基于 OCR 的模型整体表现优于无 OCR 模型，说明成熟的 OCR 技术仍是提取文本的可靠基础。但无 OCR 模型（尤其是大模型）正在快速缩小差距。

技术趋势分析

• 微调策略至关重要：大多数顶级方案都采用了监督微调 (SFT)。
• DPO (直接偏好优化)：多个冠军队伍（如 Hw-tsc, Intime & HY）在 SFT 基础上引入了 DPO 策略，有效减少了幻觉并提升了翻译质量。
• 模型架构：
  • InternVL 系列 (InternVL2.5-8B/1B-MPO) 表现最出色，其多任务学习和感知思维链（Perceptual CoT）训练方法被证明非常有效。
  • Qwen 系列 (Qwen2.5-VL/7B) 也被广泛使用，常与 LayoutLM 或 CLIP 结合。
  • 专用模型：LayoutLM 等布局感知模型在小模型组表现尚可，但在处理极度复杂布局时，通用多模态大模型（如 InternVL, Qwen）更具优势。

5. 意义与展望 (Significance & Future Work)

• 范式转变：竞赛结果表明，大模型正在建立一种翻译复杂布局文档图像的新范式，能够同时处理视觉布局理解和语言翻译，有望替代脆弱的传统预处理流水线。
• 资源与效率：虽然大模型性能最强，但小模型在特定领域微调后也能达到极具竞争力的效果，为资源受限场景提供了可行方案。
• 未来方向：
  • 需要更复杂的布局数据集以进一步挑战模型能力。
  • 探索更高效的模型架构，平衡性能与计算成本。
  • 推动 Document AI 在自动文档处理和跨语言信息提取等更广泛领域的应用。

总结：ICDAR 2025 DIMT 竞赛不仅验证了多模态大模型在文档翻译领域的巨大潜力，也明确了当前技术在复杂布局处理上的瓶颈，为未来 OCR 与 NLP 的深度融合指明了方向。