Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts

文字是脆弱的。纸张会变黄，墨迹会褪色，历史的物理篇页也在缓慢崩塌。为了保存这些记录，图书馆和档案馆数十年来一直致力于扫描书籍，并将页面的图像转换为计算机可以读取和搜索的数字文本。这一被称为光学字符识别（OCR）的过程，对于字体统一且纸张洁净的现代书籍来说效果显著。然而，当素材源自一个缺乏标准化的时代——例如 19 世纪末至 20 世纪初出版的日本书籍时，这项任务就会变得异常困难。这些文本具有极其多样化的字体、磨损的印刷效果，以及看起来惊人相似的字符。当计算机试图阅读它们时，经常会将一个字符误认为另一个，从而生成看似正确但实则充满了细微、无声错误的数字文本，这使得内容对于严肃的研究而言变得毫无价值。

来自奈良、京都和滋贺大学的研究团队开发了一种修复这些特定错误的新方法。他们创建了一个系统，充当这些受损数字文本的“两步编辑器”。首先，系统会扫描文本以寻找错误隐藏的位置。他们并没有依赖单一的方法，而是结合了两种不同的手段：一种是检查单词是否存在于已知列表中的方法，另一种是使用经过训练、能够理解句子流向和上下文的计算机模型。通过让这两种方法协同工作，该系统可以捕捉到单一方法可能遗漏的错误，同时忽略另一种方法可能引发的误报。一旦发现错误，系统会利用强大的语言模型，根据周围的文本推测最可能的单词，并建议用于替换的正确字符。他们的实验表明，这种结合的方法比以往的方法能更准确地发现错误，并成功修正了很大一部分错误，使得日本近现代的数字化历史对学者和公众而言更加可靠。

阅读这些古籍的挑战不仅在于纸张的年代，更在于印刷本身的性质。与使用一致字体的现代书籍不同，明治时期到昭和早期的出版物使用了种类繁多的字体，这些字体随出版商甚至年份的变化而变化。那个时期的印刷过程往往会导致字符模糊或不均匀。当经过干净、标准文本训练的现代光学字符识别软件尝试阅读这些页面时，经常会混淆看起来相似的字符。例如，一个带有轻微额外笔画的字符可能会被读成一个完全不同的词。虽然已经开发出了专门处理这些旧字体的软件，但它们在处理约 3% 的字符时仍会出错。在长句中，这意味着几乎一半的句子至少包含一个错误，这对于计算机搜索或研究人员在未经核实的情况下信任文本来说，错误率实在太高了。

为了解决这个问题，研究人员构建了一个分为两个阶段运行的系统：检测与修正。第一阶段是最关键的，因为系统必须精确识别哪些字符是错误的，而不至于将正确的字符标记为错误。团队意识到，仅靠一种工具来寻找这些错误是不够的。简单的字典检查法（即查看单词是否在已知词汇表中）非常擅长发现无意义的内容，但在遇到实际上是正确的罕见或未知词汇时往往会失效。另一方面，学习句子上下文的计算机模型非常擅长理解单词如何组合在一起，但它有时会被罕见的名称或特定的术语所迷惑。

研究人员决定将这两项优势结合成一种单一的集成方法。他们获取了基于字典的检查器的输出和基于上下文的计算机模型的输出，并让它们协同工作。如果字典显示某个单词缺失，系统会检查上下文模型是否也认为该单词有误。如果两者达成共识，系统就会将其标记为错误。如果只有一个认为有误，系统则假定它可能是一个罕见但正确的词，从而不做处理。这种策略显著减少了系统错误指控正确单词为错误的情况。在测试中，这种结合的方法能以约 75% 的准确率识别错误，同时保持的误报率远低于任何单一方法。

一旦系统定位了错误，它就会进入第二阶段：修正。研究人员将疑似错误的字符替换为一个空白处或“掩码”，并要求一个复杂的语言模型预测原本应该是哪个字符。该模型是在同时代的庞大文本量上训练而成的，它通过观察空白处前后的单词来推测最可能的候选字符。为了确保猜测的准确性，系统还会检查新字符与旧错字符在视觉上的相似度，因为 OCR 错误通常发生在外观相似的字符之间。随后，系统会对其最佳猜测进行排序并选择最优解。

这种新方法的测试结果令人期待。当研究人员在数千个数字化书籍的句子中测试该系统时，发现它成功修正了大约 65% 的已检测到的错误。这比仅使用上下文模型（其修正率为 58%）有了明显的提升。当系统能够毫无困惑地找到确切的错误位置时，其修正成功率甚至跃升至 90% 以上。然而，研究人员也指出了一种权衡关系。由于系统极力避免误报，它有时会完全错过某些错误，这意味着它并未能捕捉到文本中的每一个失误。他们发现，该系统在处理训练数据中未曾出现的极罕见词汇或专有名词时表现得最为吃力，因为无论是字典还是上下文模型，都没有足够的信息来做出判断。

尽管存在这些局限性，这项研究表明，结合不同类型的检查是清理历史文本的一种强大方式。研究人员展示了通过让字典与具备上下文感知能力的模型进行交叉核对，可以创造出更可靠的工具，造福于历史学家和图书管理员。这项工作并不声称已经彻底解决了阅读日本古籍的问题，但它为使这些文本的数字版本变得足够准确提供了重要的一步。随着越来越多的书籍被数字化，此类方法对于确保数字档案成为原件的忠实反映，从而为后代保留真实的过去之声，将变得至关重要。