ICDAR 2026 HIPE-OCRepair Competition on LLM-Assisted OCR Post-Correction for Historical Documents

想象一座巨大的、布满灰尘的图书馆，那里有数百万份旧报纸和书籍已被扫描进电脑。问题在于？那些读取文本的机器（称为 OCR）就像是 20 世纪 90 年代的、视力模糊且疲惫不堪的图书管理员。它们盯着褪色的墨迹、困惑于过时的字体或破损的纸张，经常把原本的词汇打成乱码。几十年来，修复这个问题意味着要么重新扫描整个图书馆（这不可能），要么尝试手动修复每一个错别字（这太慢了）。

于是有了 HIPE-OCRepair-2026 竞赛，这是一场高规格的挑战，AI 专家们带来了他们最新的“超级图书管理员”：大语言模型（LLMs）。这些是拥有强大大脑、渴望上下文信息的 AI，它们能够阅读一个句子并极其流畅地预测接下来的内容。目标是？看看这些数字天才是否能在不把事情搞砸的前提下，清理掉那些混乱、充满错别字的转录文本。

大考：AI 能在不破坏原貌的情况下修复混乱吗？

组织者设计了一个棘手的游戏。他们给 AI 团队提供了来自英语、法语和德语的历史文献中带有噪声、破碎的文本，这些文献可以追溯到 1600 年代。难点在于？AI 必须在看不见原始页面图像的情况下修复文本。这就像是仅凭一张模糊的复印件，就在试图修复一封撕裂的信件，而没有任何原件可以进行对比。

这些团队必须非常小心。如果 AI 产生了“幻觉”——也就是说，它自信地发明了一个原本不存在的词，或者为了让它听起来很酷而将古老的拼写“现代化”——那么它就失败了。目标不是重写历史；而是要恢复作者所写的确切单词，只是去掉扫描器的错误而已。

结果：一支队伍占据统治地位，但这并非万能灵药

尘埃落定后，结果清晰且富有层次感。

冠军： BnF-Mistral 团队夺得了榜首，而且他们不仅仅是赢了，而是实现了统治。他们的秘诀不仅在于使用聪明的 AI，更在于给那个 AI 提供了一场大规模、专业化的“训练营”。他们拿到了一个拥有 240 亿参数的模型（一个巨大的大脑），并向其喂入了数十亿个来自 1900 年前历史性法语文档的 token，然后针对竞赛数据进行了专门的微调。他们甚至构建了一个“评判与重试”循环，即 AI 会检查自己的工作，发现自己是否在产生幻觉，然后尝试重新进行最多三次。

数据展示了这种方法是多么有效。在测试集上，BnF-Mistral 团队显著降低了错误率（称为 cMER）。例如，在一个嘈杂的德语数据集上，他们将错误率从 0.0546 降至 0.0082。在法语数据集上，从 0.0184 降至 0.0040。用通俗的话说，他们将一段几乎无法阅读的文本变成了近乎完美的文本。

亚军： 其他团队尝试了不同的策略。一个名为 BLOCR 的团队使用了“零样本”（zero-shot）方法，这意味着他们只是要求一个预训练好的 AI 去修复文本，而不进行任何特殊训练，而是依靠巧妙的指令。他们的表现相当不错，尤其是在英语文本上，但他们无法完全赶上经过重度训练的 BnF-Mistral 队。另一个团队 L3i 尝试微调一个较小的模型，但表现并不如那些重量级选手。

“不做改变”的基准线： 还存在一个“什么都不做”的团队。他们只是原样返回了那些混乱的文本。令人惊讶的是，在最干净、噪声最小的文档上，“什么都不做”实际上是一个不错的策略。为什么？因为那些华丽的 AI 有时会变得“过度热心”。当文本已经 99% 正确时，AI 有时会进行“过度纠正”，将一个正确的古风词汇改为现代词汇，或者删除它认为错误的单词。这教会了研究人员一个至关重要的教训：如果 AI 变得过于自信，那么更多的 AI 并不总是更好的。

这篇论文排除了什么（以及它没有排除什么）

论文非常明确地说明了这次竞赛并没有证明什么。

• 它不是“万能”解决方案： 论文明确指出，虽然 LLM 非常出色，但它们并不是解决所有问题的魔杖。表现因语言、文档类型以及原始扫描件的混乱程度而异。
• 它不是关于完美的历史保存： 评分系统是为可搜索性设计的，而不是为了保留每一个细微的历史细节（如奇怪的旧标点或换行）。论文认为，对于在图书馆中查找文档而言，获取正确的单词比保持布局完美更重要。因此，如果 AI 为了让一个单词变得可搜索而平滑处理了一个奇怪的连字符，这算是一次胜利，即使它在“外交式”的忠实度上并不完美。
• 问题尚未解决： 作者强调，“过度纠正”在干净文本上的现象仍然是一个反复出现的挑战。他们还没有找到一种方法能完美地阻止 AI 在不该发挥创意时变得过于有创意。

给好奇青少年的总结

把这次竞赛想象成一场汽车修理比赛。“汽车”是数百万份陈旧、损坏的文本转录稿。“技师”是 AI 模型。

• BnF-Mistral 团队就像是一个研究过旧式发动机、并带了全套工具箱的技师。他们把车修得非常好，几乎焕然一新。
• “零样本” 团队就像是只带着一本通用手册就匆匆赶来并说“我会试着修一下”的技师。他们做得不错，但无法与专家抗衡。
• “基准线” 则是那个说“没坏到什么程度，我就不弄了”的技师。而在那些损坏程度最低的车上，他们是对的！

核心结论是，专业化、经过良好训练的 AI 可以极大地提高我们接触历史的能力，将难以阅读的扫描件转化为可搜索的文本。但论文警告我们：我们必须小心。如果我们让这些 AI 肆意妄为，它们可能会开始“修复”那些本没坏的东西，从而改变历史。数字图书馆的未来取决于能否找到那个平衡点——既让 AI 足够聪明以修复错别字，又足够谦逊以不去触碰历史。