Which papyrus HTR is good enough? Character-error-rate tolerance of four papyrological tasks on Greek texts
本研究为四项针对希腊语文本的纸草学任务确立了特定的字符错误率阈值，证明了尽管不同任务的准确度要求各异（范围从 3% 到 20%），但在噪声数据上对模型进行重训练能显著缓解性能下降，并使不完美的 HTR 系统在实际应用中具有可用性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
古希腊罗马时期的地中海世界留下了庞大而沉默的纸草碎片库，散落在各大博物馆和收藏机构中的碎片多达一百万余件。这些残片中，大部分从未被阅读过。它们以流动的草书书写，词与词之间没有空格，且常因年代久远而受损，其中充斥着只有经过专业训练的专家才能辨识的缩写。一个多世纪以来，学者们一直通过手工进行繁琐的转录工作，对于单篇文本，这一过程可能需要数天甚至数周的时间。由于大量记录尚未被阅读，这些历史文献中的绝大多数对现代数字化工具而言是“隐形”的。研究人员无法简单地在数据库中搜索特定的名称或短语来寻找新文献，因为这些文本尚未转化为机器可读的形式。
为了改变这一现状，研究人员转向了一种名为“手写文本识别”的技术，这是一种人工智能技术，能够观察古代文字的图像并将其转换为数字字母。然而，这些系统并不完美。它们会出错，可能会误读一个字母或跳过一个单词。多年来，该领域一直致力于提高这些系统的准确性，报告其识别正确或错误的频率。但一个关键问题始终悬而未决：系统究竟需要达到多高的准确度才算“有用”？一位学者可能不需要完美的转录来判断一份文件是法律合同还是诗歌，但若要确定其具体的书写年代，则可能需要近乎完美的准确度。如果不知道答案，就无法得知当前的技术是否已准备好帮助解锁绝大多数未被阅读的纸草文献。
一个研究小组试图通过测试不同程度的错误如何影响纸草学家日常执行的四项特定任务来寻找答案。他们并没有等待完美机器的出现，而是从数千篇已经过编辑的文本入手，通过故意引入错误来模拟缺陷机器可能产生的输出。他们利用这些不完美的版本，运行计算机模型来识别文档类型、估算年代、区分官方记录与文学作品，以及搜索特定词汇。通过系统性地增加错误率（从零增加到一半的文本出错），他们测量了每项任务开始失效的具体临界点。
结果显示，对错误的容忍度完全取决于学者的研究目标。有些任务表现出惊人的鲁棒性（稳健性）。例如，区分一份官僚文件与一件文学作品对计算机来说非常容易，即使文本相当混乱，模型仍能高精度地识别出文体。即便文本中包含20%的错误，模型仍能正确识别其类别。这是因为法律文件的整体风格和词汇与诗歌有着显著差异，计算机可以跨越噪声识别出这种模式。同样，只要搜索词足够长，即使在存在显著损坏的情况下，搜索长句或特定公式的方法依然可靠。
然而，其他任务则要脆弱得多。确定文档的确切日期被证明是对错误最为敏感的任务。模型的准确性只能在错误率保持在极低水平（约3%）时维持。一旦错误超过这个微小的阈值，定位文本所属世纪甚至年代的能力就会崩溃。这表明，对于断代工作而言，转录质量至关重要，目前的系统可能需要在该领域取得显著进步后才能被信任。识别文档的具体子类型（例如区分收据与请愿书）也要求更高的准确度标准，一旦错误达到5%，性能便会明显下降。
该研究的一个核心发现是，模型的训练方式改变了一切。当研究人员在干净、完美的文本上训练计算机，然后在混乱、多错的文本上进行测试时，性能会随着错误的增加而剧烈下降。然而，当研究人员使用已经包含了预期内同类错误的文本来重新训练模型时，系统变得更加具有韧性。通常在错误超过15%时发生的性能骤降现象基本消失了。换句话说，一个学会了阅读“杂乱文本”的计算机，比一个只见过“完美范例”的计算机，更擅长处理杂乱的文本。这意味着，即使使用现有的不完美技术，只要研究人员在具有现实感的、带有噪声的数据上进行训练，而非等待完美的机器，依然可以有效地使用这些工具。
研究还强调了碎片规模的重要性。计算机通常可以根据上下文正确猜测长篇文档的类型，即使其中有很多错误；但对于极短的碎片，哪怕是少量的错误也会破坏分析。此外，研究人员发现，丢失一整行文本造成的损害比误读单个字母要小。丢失一段文本是一个已知的缺漏，而一串错误的字母则可能诱导计算机看到并不存在的模式。
最终，这项研究为数字纸草学的未来提供了一套清晰的目标。它表明，我们并不需要一个完美的转录系统就可以开始解锁那些未被阅读的纸草文献。对于许多任务，如按类型对文档进行分类或搜索宏观主题，当前的技术已经“足够好”，尤其是当工具经过训练能够处理不可避免的错误时。对于像断代这样更精细的任务，门槛更高，技术必须进一步提升。前进的路径不在于等待完美，而在于构建能够应对古代受损文字这一不完美现实的鲁棒系统。通过了解各项任务对错误的具体容忍度，学者们现在可以应用这些工具来处理世界上庞大的、未被阅读的藏品，将隐形的碎片转化为可搜索的历史。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。