📄 other

Cross-Lingual Transfer Learning and Autonomous Data Bootstrapping for VLM-Based Ottoman Turkish Handwritten Text Recognition

本文介绍了 Azra，这是一个用于奥斯曼土耳其语手写文本识别的视觉-语言模型框架，该框架通过在精选数据上进行 LoRA 微调实现了最先进的性能，并证明了自主数据引导可以有效匹配精选方法，同时显著降低标注成本。

原作者： Gökhan Usta, Oğuz Alpoğlu, Fatih Günaydın

发布于 2026-07-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Gökhan Usta, Oğuz Alpoğlu, Fatih Günaydın

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图阅读一份曾祖辈留下的日记，但那上面的字迹是一团乱麻般的草书，语言也已完全改变，连字母看起来都像是一种秘密代码。这正是历史学家在试图解锁奥斯曼帝国数百万份文献时面临的日常现实。几个世纪以来，这些记录一直使用一种被称为“奥斯曼土耳其语”的美丽但复杂的字体书写，这种字体从右向左流动，并融合了阿拉伯语和波斯语的色彩。问题在于？1928年，该字母系统被更换成了现代拉丁字母，导致如今很少有人能读懂这些古老的文字。

为了解决这个问题，科学家们正在构建一种被称为“数字侦探”的人工智能。具体来说，他们正在使用一种被称为“视觉-语言模型”（VLM）的AI类型。把VLM想象成一个超级聪明的机器人，它读过数百万本书，也看过数百万张图片。它不仅仅是“看到”纸上的一处扭曲，它还能理解那个扭曲是一个字母，而那个字母是具有特定含义的一个单词的一部分。研究人员提出的核心问题是：我们能否教会这些机器人阅读这些古老、凌乱的手稿，而无需人类专家坐在那里为它们逐一输入每一个单词？如果我们能做到这一点，我们就能以人类团队永远无法企及的速度开启历史的大门。

这篇论文介绍了一种全新的、分为两部分的策略，旨在教一个名叫“Azra”的机器人如何阅读奥斯曼土耳其语手写体。研究人员首先从一个已经非常擅长阅读现代阿拉伯语和英语手写体的机器人开始。然后，他们尝试了两种不同的方法来教它学习奥斯曼风格的特定特征。

第一种方法，他们称之为 Azra 1，就像是一个传统的课堂。团队收集了一个由人类专家仔细检查并打字输入的、高质量的小型集合，包含1,306行文本。他们还加入了大约2,000页论文文档，其中的学生已经将旧式脚本翻译成了现代土耳其字母。机器人学习了这些经过精心策划的示例，并学会了识别“Riqa”脚本（一种用于政府部门的快速、草书体手写体）特有的流动风格。在对类似手写体的测试中，Azra 1 表现得极其准确，每读五个字符不到一个错误。它甚至击败了目前历史学家使用的一种流行的商业工具。

第二种方法，Azra 2，是一个大胆的“自我教学”实验。研究人员想看看机器人是否可以在没有人类专家输入答案的情况下进行学习。他们拿走了数千页同样的旧文档，让第一个机器人（Azra 1）去猜测文本内容。然后，他们使用了一个强大的语言工具（一个名为 Gemini 的 AI）将这些猜测结果再翻译回旧式脚本。最后，他们使用一个计算机程序来检查机器人的猜测是否与原始页面相符。如果猜测足够接近，他们就会将其保留为一个新的训练样本。这个过程创造了一个拥有超过23,000行文本的海量数据集，而这些数据全部是由机器生成的，没有任何人工标注。

结果非常引人入胜，并揭示了一种权衡关系。Azra 1（人类教导的机器人）在阅读其受训的特定风格时是冠军。然而，当研究人员在一种完全不同的、更正式的手写风格——“Naskh”上对其进行测试时，它显得有些吃力。它太过于熟练地记忆了 Riqa 脚本的具体外观，以至于会被任何新事物搞混。

Azra 2（自我教学的机器人）在处理熟悉的脚本时虽然没那么完美，但它更加灵活。由于它看到了通过自身引导过程生成的更多样化的例子，它处理新的“Naskh”风格时几乎能与人类教导的机器人一样出色，有时甚至更好。这表明，拥有一个巨大且多样化的数据堆——即使它是通过机器生成的——可以使 AI 更加稳健，不易被新的手写风格所迷惑。

团队还仔细观察了机器人犯下的错误。他们发现，这些错误并非随机的；而是由文本在来回翻译过程中产生的特定“混淆”引起的。例如，AI 有时会混淆三个看起来非常相似、仅在点的位置上有所不同的字母，或者因为它使用的翻译工具不了解旧有的规则，从而将一个历史字母替换成了现代字母。这是一个至关重要的发现：这意味着问题不在于机器人看不见字母，而在于中间的“翻译器”需要对语言的历史背景更加聪明。

简而言之，这篇论文表明我们可以构建强大的工具来阅读历史。虽然人类验证的数据仍然是实现特定风格完美准确性的金标准，但一种聪明的、自主的方法可以创造出海量的训练数据，使 AI 具有更强的适应性。未来的道路不仅仅是给机器人喂更多的图片；而是要教会机器人理解脚本中微妙的历史规则，从而让它不再混淆那些棘手的、无点的字母。

技术摘要：基于视觉语言模型（VLM）的奥斯曼土耳其语手写文本识别中的跨语言迁移学习与自主数据引导

1. 问题陈述

由于严重的资源匮乏和独特的语言复杂性，奥斯曼土耳其语历史手稿的自动转录仍然是一个重大挑战。该语料库具有以下特征：

书写复杂度： 采用从右向左书写的连写阿拉伯字母，字母形状随位置（首、中、末、孤立）而变化。
语言混合性： 结合了土耳其语语法与大量的阿拉伯语和波斯语词汇，需要深层的上下文理解。
正字法歧义： 非音标拼写、频繁的元音省略以及密集的垂直字符堆叠（特别是在 Riqa 书体风格中），阻碍了标准 OCR 引擎的表现。
数据稀缺性： 1928 年奥斯曼文字的废止导致专家标注人员短缺，同时现代手写文本识别（HTR）模型过度集中于基于拉丁字母的语言。

现有的解决方案（如商业平台 Osmanlica.com）通常依赖于多阶段流水线（检测后识别），当文本检测不完善时，这些方案往往会失效，并且难以应对连写历史手写体的特定细微差别。

2. 方法论

作者提出了一种基于 Qwen2.5-VL-3B-Instruct 架构的端到端视觉语言模型（VLM）框架。核心策略是利用来自阿拉伯语-英语手写模型的跨语言迁移学习以及**自主数据引导（Autonomous Data Bootstrapping）**来克服标注瓶ない。

基础模型适配：
基础模型为 sherif1313/Arabic-English-handwritten-OCR-v3 模型，这是一个经过 LoRA 微调的 Qwen2.5-VL 变体。作者发现，启用 tie_word_embeddings=True 对于收敛稳定性至关重要。该基础模型为阿拉伯字母视觉特征（连字、变音符号）提供了先验知识，这些特征与奥斯曼土耳其语高度重合。

两种模型变体：

Azra 1（精选微调）：
- 数据： 一个混合语料库，包含来自 Osmanlica.com（Riqa 风格）的 1,306 个经人工验证的行级样本，以及来自高等教育委员会（YÖK）论文的 2,000 个页级样本。
- 处理： YÖK 论文包含拉丁字母转写文本。这些文本通过 Google 的 Gemini 3.1 Flash Lite API 被转换回阿拉伯字母，以生成地面真值（ground truth）。
- 目标： 使用人工验证的数据建立高性能基准。
Azra 2（自主引导）：
- 数据： 完全源自 YÖK 论文语料库（23,072 行），与用于 Azra 1 的 Osmanlica.com 语料库无重叠。
- 流水线：
  1. 分割： 使用基于 DBNet 的 Hedrax/AHDoc 模型将全页图像分割为行级边界框。
  2. 草拟： Azra 1 为这些行生成草拟转录文本。
  3. 对齐与过滤： 使用动态滑动窗口算法（difflib.SequenceMatcher）将草拟行文本与页级参考文本（由 Gemini 生成）进行对齐。
  4. 筛选： 仅保留对齐比例 $\ge$ 0.60 的配对，从而在无需人工标注的情况下获得高置信度的完全自主训练集。

训练配置：
两个模型均使用了低秩自适应（LoRA）。Azra 2 采用了更广泛的 LoRA 配置（Rank 32 对比 16），并包含了视觉-语言连接器投影层，使可训练参数增加到总量的 2.14%。

3. 核心贡献

新颖框架： 一种专门为奥斯曼土耳其语 HTR 定制的端到端 VLM 方法，利用了来自阿拉伯语手写模型的跨语言迁移。
自主引导： 一种无需人工标注即可从页级数据生成行级训练对的方法，利用了基于 LLM 的反向转写和字符串对齐过滤技术。
系统性基准测试： 通过综合评估，对比了精选数据与引导数据，以及分布内（Riqa）与分布外（Naskh）泛化性能，并与商业基准（Osmanlica.com）及零样本基准进行了比较。
误差分析： 进行了细粒度的字符级分析，将系统性错误追溯到特定阶段的逆转写流水线，而非通用的识别噪声。

4. 实验结果

模型在两个测试集上进行了评估：一个分布内的 Riqa 集（112 行）和一个分布外的 OpenITI MAKHZAN 集（142 行，主要为 Naskh 风格）。

分布内（Riqa）表现：

Azra 1 实现了 0.208 的字符错误率（CER），相比基础模型（0.677）实现了 69.2% 的相对降低，并优于商业系统 Osmanlica.com（0.360）。
Azra 2 在此特定集合上的得分较低（CER 0.410），这可能是由于缺乏对测试集中使用的 Osmanlica.com 语料库的接触，以及自主引导过程中固有的噪声。

分布外（MAKHZAN/Naskh）表现：

Azra 2 展示了更强的泛化能力，其 CER 为 0.360，而 Azra 1 为 0.357（统计学上相当），但在单词错误率（WER）和 chrF++ 分数方面表现显著更好。
Azra 1 显示出对 Riqa 风格过拟合的迹象，在转向 Naskh 时 CER 相对退化了 71.6%。
Azra 2 更大且更异质的引导语料库起到了正则化作用，使其在面对未见的书法传统时比精选模型具有更好的泛化能力。
两个 VLM 在 MAKHZAN 集上的表现均优于 Osmanlica.com（CER 0.510），凸显了基于检测的流水线在多样化书写体上的局限性。

误差分析发现：
系统性错误被追溯到了反向转写流水线（Gemini）：

Ya 变体： 在奥斯曼 yā (ی)、标准阿拉伯语 yā (ي) 和 alif maqsura (ى) 之间产生混淆。Azra 2 继承了基础模型的偏差，而 Azra 1 和 Osmanlica.com 则表现出镜像的偏差模式。
Kef/Sağır Kef： Azra 2 表现出对古奥斯曼 kef (ڭ) 向标准 kaf (ك) 的特定过度修正，这是由于 LLM 缺乏历史正字法知识直接导致的。
书写层级的不稳定性： 基础模型表现出明显的不稳定性，经常输出拉丁字符或过多的变音符号，这在很大程度上通过微调得到了缓解。

5. 重要性与主张

论文指出，自主引导是低资源历史脚本的一种可行策略，能够接近精选微调的性能，同时大幅降低标注成本。具体而言：

数据质量 vs. 数据数量： 虽然精选数据能产生更优的分布内性能，但自主引导的数据（Azra 2）提供了更好的鲁棒性和对分布外风格（Naskh）的泛化能力，这表明数据多样性对于历史 HTR 至关重要。
跨语言迁移： 利用阿拉伯语手写模型作为奥斯曼土耳其语的基础是有效的，尽管需要仔细处理特定于脚本的正字法细微差别。
流水线瓶颈： 自主引导流水线的主要误差来源并非识别模型本身，而是反向转写步骤的语言忠实度。改进这一特定阶段（例如通过更好的提示词或针对特定正字法对的规则修正）是无需重新训练整个模型即可提升性能的路径。

作者总结道，该框架为数字化奥斯曼档案提供了一条可扩展的路径，特别是在专家标注人员匮乏的情况下，并且未来的工作应侧重于将其扩展到其他书法风格（Ta'liq, Dîvânî）并完善数据生成过程中的正字法处理。