Structure-Aware Text Recognition for Ancient Greek Critical Editions

本文针对古代希腊批判版文本的复杂结构识别难题，构建了大规模合成语料与真实基准数据集，评估了视觉语言模型的表现并发现 Qwen3VL-8B 在微调后能以 1.0% 的中位字符错误率实现最先进的识别效果，揭示了当前模型在处理此类结构化历史文献时的局限与潜力。

要点

这篇论文讲述了一个关于**“教 AI 读懂古老希腊书”**的故事。

想象一下，你手里拿着一本几百年前出版的古希腊学术书。这本书长得非常“奇怪”：

• 正文是古希腊语（带有很多复杂的音调符号）。
• 页边空白处写满了密密麻麻的注释、引用和参考标记。
• 排版非常复杂，有各种标题、章节编号，甚至同一个段落被切分在两页之间。

对于人类专家来说，读懂并把这些内容转录成电脑能处理的数字文本，是一项耗时耗力的大工程。而这篇论文就是为了解决：能不能让现在的超级 AI（视觉语言模型）自动搞定这件事？

1. 遇到的难题：AI 是个“近视眼”

现在的 AI 很聪明，能看懂现代文档。但面对这种**“结构复杂、排版混乱”**的古希腊学术书时，它们就像戴了近视眼镜的人看报纸：

• 它们能认出几个字，但经常搞混哪里是正文，哪里是页边的注释。
• 它们容易**“幻觉”**，就是看着看着就开始瞎编，或者把排版符号当成文字抄下来。
• 传统的 OCR（光学字符识别）软件虽然稳定，但在这种复杂的排版面前也显得笨手笨脚，容易出错。

2. 作者的办法：造“假”书练手 + 真书考试

为了训练 AI，作者们搞了两套“教材”：

• 教材一：18.5 万页的“合成假书”
  作者们写了一个程序，像**“数字印刷厂”**一样，从现有的古希腊电子书（TEI/XML 格式）出发，自动生成了 18.5 万张看起来像真书的图片。

  • 比喻：就像为了教孩子认字，电脑自动生成了 18.5 万本不同字体、不同排版、不同颜色的“练习册”。虽然这些书是电脑生成的，但里面的文字和结构是真实的。这让 AI 能大量练习，见识各种复杂的排版。

• 教材二：450 页的“真书试卷”
  作者们收集了 450 页真实的、扫描出来的古希腊学术书。这些书跨越了 100 多年的出版历史，排版千奇百怪。

  • 比喻：这是给 AI 准备的**“期末考试”**。只有通过了这个考试，才能证明 AI 真的学会了，而不是死记硬背了练习册。

3. 实验过程：让 AI 做“填空题”

作者们测试了三种目前最厉害的 AI 模型（Qwen, DeepSeek, LightOn），让它们做两件事：

1. 直接考试（零样本）：不给任何训练，直接让 AI 看真书。结果：AI 表现很差，甚至不如老式的 OCR 软件。
2. 先练后考（微调）：让 AI 先在 18.5 万页“假书”上疯狂练习，然后再用“真书”进行强化训练。

4. 实验结果：谁赢了？

• 大赢家：Qwen3-VL-8B 模型。经过“先练后考”的训练后，它表现惊人。
  • 它的字符错误率（CER）降到了 1.0%。这意味着它抄写 100 个字，平均只错 1 个。
  • 它不仅能认出字，还能分清哪里是正文，哪里是页边注，哪里是标题。它成功地把复杂的页面结构“翻译”成了电脑能读懂的标记语言。
• 其他选手：有的模型虽然字认得准，但容易“发疯”（产生幻觉，输出乱码）；有的模型在结构识别上完全抓瞎。
• 老式软件：传统的 OCR 软件（如 Tesseract）在纯认字上依然很稳，但在处理复杂结构时，它们就像只会认字不会看图的“文盲”，无法理解书的整体布局。

5. 核心发现与启示

这篇论文告诉我们几个重要的道理：

1. 认字不等于懂结构：AI 能把字认对，不代表它能理解书的“骨架”（比如哪个是章节，哪个是注释）。对于古籍研究，结构和文字一样重要。
2. “以假乱真”的训练法很管用：用大量电脑生成的“假书”来训练 AI，再让它接触少量“真书”，效果出奇的好。这就像让一个学生先做一万道模拟卷，再参加一次真实考试，成绩会突飞猛进。
3. AI 不是万能的：虽然最新的 AI 模型很强，但它们偶尔还是会“犯迷糊”（幻觉），而且运行它们需要巨大的算力和电力。对于某些任务，传统的、小巧的 OCR 软件可能更经济、更稳定。

总结

这就好比教一个外国留学生（AI）阅读一本排版极其复杂的古希腊学术书。
作者们先给他一本**“模拟练习册”（合成数据），让他熟悉各种奇怪的排版和注释格式；然后再给他“真实课本”（扫描真书）进行实战。
结果显示，经过这种特殊训练的超级 AI（Qwen3）**，已经能像专家一样，又快又准地把这些复杂的古籍“翻译”成数字文本，并且能分清正文和注释。这为未来数字化保存人类珍贵的历史文献打开了一扇新的大门。

技术摘要

这是一份关于《面向古希腊批判性版本文本的结构感知文本识别》（Structure-Aware Text Recognition for Ancient Greek Critical Editions）论文的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：
古希腊批判性版本文本（Ancient Greek Critical Editions）的数字化识别面临独特且复杂的挑战，现有的通用视觉语言模型（VLMs）和传统 OCR 系统难以有效处理。

• 多音位脚本（Polytonic Scripts）： 古希腊语包含复杂的变音符号（如送气符、重音、 iota 下标等），识别难度大。
• 复杂的版式语义（Complex Layout Semantics）： 与现代化文档不同，批判性版本文本具有高度密集和异质的页面布局。除了正文，还包含：
  • 层级引用系统： 如章节、段落、里程碑编号（milestone numbering，如 Stephanus 分页法）。
  • 边注与校勘记（Marginalia & Apparatus）： 包含大量边缘注释、异文校勘、圣经引用等。
  • 结构交错： 正文与结构标记、边注紧密交织，且存在跨页段落。
• 现有局限：
  • 传统 OCR 系统（如 Tesseract, Kraken）通常将布局分析、分割和识别分步处理，面对复杂版式时鲁棒性差，且早期错误会传播到下游。
  • 现有的 VLMs 虽然在现代文档上表现良好，但在处理历史文献的复杂结构时，往往缺乏对文档结构的感知能力，且缺乏针对古希腊语批判性版本文本的大规模基准测试。
• 数据瓶颈： 缺乏大规模、机器可读的开放语料库（如 TLG 受版权限制），且现有的开放语料库在覆盖度和结构标注上不足。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了一套完整的数据构建、模型训练与评估框架。

A. 数据资源构建 (Key Resources)

作者构建了两个互补的资源库：

1. 大规模合成语料库 (Synthetic Corpus)：
   • 来源： 基于现有的开放许可 TEI/XML 文本（包括古希腊语和部分拉丁语）。
   • 生成流程： 通过 XSLT 将 TEI 转换为 LaTeX 模板，利用随机采样的排版配置（字体、列数、背景色、页边距等）渲染生成 185,000 张页面图像。
   • 控制变量： 引入受控的排版和字体变化，模拟不同时期的印刷风格。
   • 标注： 生成对应的伪 Markdown 标注，包含 <ref>（引用/里程碑）、<note>（边注）、#（标题）和 <tab/>（段落缩进/跨页标记）。
2. 真实扫描基准 (Real-world Benchmark)：
   • 规模： 30 位作者、跨越 1800 年（从希波克拉底到 14 世纪）的 450 张真实扫描页面。
   • 多样性： 涵盖多种编辑传统（如 Sources Chrétiennes, Oxford/Clarendon 等）和出版年份（1844-2017）。
   • 标注： 人工精细标注，遵循与合成数据相同的结构标记方案，并经过双人审核以确保质量。

B. 模型与训练策略

• 评估模型： 选取了三种最先进的视觉语言模型（VLMs）：
  • Qwen3-VL (2B 和 8B 参数)
  • DeepSeek-OCR-2 (3B)
  • LightOnOCR-2 (1B)
  • 同时对比了传统 OCR 基线：Tesseract 和 Kraken。
• 训练范式：
  1. Zero-shot (零样本)： 直接推理，无微调。
  2. Synthetic-only： 仅在合成数据上微调。
  3. Real-only： 仅在真实数据上微调。
  4. Synth→Real (课程学习)： 先在合成数据上预训练，再在真实数据上继续微调。
• 微调技术： 使用 LoRA (Low-Rank Adaptation) 进行参数高效微调，优化学习率、Rank 等超参数。
• 提示工程 (Prompting)： 为 Qwen3-VL 设计了特定的指令提示，要求输出伪 Markdown 格式，明确定义结构标签的用法。

C. 评估指标

• 文本识别： 字符错误率 (CER) 和词错误率 (WER)，去除结构标记后计算。
• 结构识别：
  • 引用标记 (<ref>) 和边注 (<note>)：使用最长公共子序列 (LCS) F1 分数。
  • 标题 (#)：基于计数的 F1 分数。
  • 段落缩进 (<tab/>)：召回率 (Recall) 和特异性 (Specificity)。
• 错误分析： 细分替换、插入、删除错误，并专门分析变音符号（送气符、重音等）的混淆情况。

3. 主要贡献 (Key Contributions)

1. 首个大规模合成数据集： 发布了包含 185,000 张图像的古希腊批判性版本文本合成数据集，具有受控的排版变化，填补了该领域训练数据的空白。
2. 高质量真实基准： 构建了一个包含 450 张真实扫描页面的人工标注基准，覆盖不同时期和编辑风格，支持零样本和微调评估。
3. 可复现的流水线： 提供了一套从 TEI/XML 到合成图像及标注的完整生成管道，可推广至其他语言。
4. 系统性评估： 首次系统评估了 VLMs 在复杂历史文档结构感知任务上的表现，揭示了当前模型的局限性（如幻觉、结构识别失败）和潜力。
5. 开源成果： 所有数据、代码及微调后的模型（Hugging Face）将开源，且部分模型在真实数据上的中位 CER 低于 2%。

4. 实验结果 (Results)

• 文本识别性能 (OCR Accuracy)：

  • 零样本表现： 大多数 VLMs 在零样本设置下表现不佳，甚至不如传统的 Tesseract 或 Kraken。
  • 微调提升： 领域特定的微调显著提升了性能。
  • 最佳模型： Qwen3-VL-8B 在 Synth→Real 训练策略下表现最佳，在真实扫描数据上达到了 1.0% 的中位字符错误率 (CER) 和 5.6% 的中位词错误率 (WER)。
  • 合成数据的有效性： 仅在合成数据上微调的模型（如 Qwen3-VL-8B）在真实数据上也能取得 1.7% 的 CER，证明了合成数据强大的迁移能力。
  • 传统模型竞争： 在零样本条件下，Tesseract 和 Kraken 在某些指标上仍具有竞争力，且计算成本更低。

• 结构识别性能 (Structure Recognition)：

  • 引用标记： 表现最好，Qwen3-VL-8B (Synth→Real) 达到了 79.5 的 F1 分数。
  • 边注识别： 对真实数据微调非常敏感。仅在合成数据上训练时，边注识别率接近 0%（因为合成数据中边注较少），但在引入真实数据后，Qwen3-VL-8B 提升至 63.5%。
  • 标题识别： 由于排版风格多变，所有模型表现较弱，但 Qwen3 模型能达到 80.1 的 F1。
  • 段落缩进： 专用 OCR 模型（DeepSeek, LightOnOCR）几乎无法识别缩进（召回率为 0），而 Qwen 模型能较好地平衡召回率和特异性。

• 错误模式分析：

  • 幻觉问题： 部分模型（如 DeepSeek-OCR-2）在零样本或仅合成训练时会出现“灾难性失败”，生成流畅但与图像无关的长文本，导致平均错误率极高。
  • 变音符号混淆： 主要错误集中在变音符号（送气符、重音）的混淆上。
  • 格式干扰： 错误模型倾向于生成 HTML 标签、LaTeX 片段或错误的拉丁字符。

5. 意义与结论 (Significance & Conclusion)

• 结构感知是核心： 对于历史文献，单纯的字符识别准确是不够的，必须恢复文档的层级结构和引用系统。这是一个“解释”问题，而不仅仅是“转录”问题。
• VLMs 的潜力与局限：
  • 优势： 大模型在跨域迁移和适应复杂结构方面表现出色，特别是结合合成数据和真实数据微调后，能达到接近完美的文本识别。
  • 劣势： 存在生成幻觉、计算成本高、碳足迹大等问题。在某些情况下，传统 CRNN 架构配合后处理在效率和稳定性上仍具优势。
• 未来方向： 建议探索混合方法，结合 VLM 的结构敏感性和传统 OCR 流水线的效率与鲁棒性。
• 方法论启示： 历史文档的数字化需要显式地对文档级的符号系统（如引用、边注）进行建模，而不仅仅依赖 Token 级别的语言模型先验。

总结： 该论文通过构建大规模合成与真实数据集，证明了经过精心设计的 VLMs（特别是 Qwen3-VL-8B）在处理具有复杂版式和密集结构的古希腊批判性版本文本时，能够超越传统 OCR 系统，实现高精度的结构与文本联合识别，但也指出了当前模型在稳定性和幻觉控制方面的改进空间。