JoinFinder: A Multi-Modal Architecture for Historical Manuscript Page Identification
JoinFinder 是一个多模态深度学习框架，它利用手稿身份作为一种可扩展的有监督代理，来学习用于识别和检索历史手稿碎片的鲁棒嵌入，从而在无需显式拼接注释的情况下，在开罗藏经阁（Cairo Geniza）语料库中实现发现候选拼接点的卓越性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
历史往往是以碎片化的形式书写的。几个世纪以来，学者们通过物理上匹配撕裂的边缘或比较手写风格来拼凑古代手稿，这是一个依赖专家眼力和直觉的艰苦过程。当一本完整的书被散落在不同的图书馆，或者当一页纸损坏到无法辨认时，寻找其缺失部分的任务几乎变得不可能。这一挑战在开罗藏经阁（Cairo Geniza）中尤为突出，这是一个存储在开罗一家犹太会堂藏经阁（genizah，即储藏室）中的庞大犹太手稿碎片收藏。在过去的一个世纪里，这些碎片被分散到了世界各地的机构，且通常是单独编目的，没有任何迹象表明它们曾属于同一本书。由于材料总量巨大——达数十万页——人工重建已变得不再可行，使得无数的历史联系就隐藏在显而易见之处。
为了解决这个问题，研究人员需要教会计算机识别手稿独特的“指纹”。这种指纹不仅是页面上书写的文字，更是文档本身的物理特征：纸张的纹理、行间布局、字母的具体形状以及墨水在表面上的分布方式。虽然计算机在阅读文本方面已经非常出色，但在理解这些微妙的视觉和结构线索方面却一直很困难，尤其是在处理那些古老、受损或以不同语言书写的文档时。目标是创建一个系统，能够观察一个碎片并立即找到与其历史相关的其他碎片，即使这些碎片存储在不同的国家，或者由于年代久远或光照问题看起来略有不同。
特拉维夫大学的一个研究小组开发了一种应对这一问题的新方法，称为 JoinFinder。他们并没有试图教计算机去寻找特定的“连接点”或页面间的关联——这是一个可用于学习的样本极少的任务——而是教会了系统识别整个手稿的身份。他们使用了一个已知的完整手稿集合作为训练场，向计算机展示了数千页内容，并要求它根据出自哪本书来进行分组。通过学习区分一个手稿与另一个手稿，该系统在无意中学习了使每份手稿变得独特的微妙视觉和结构细节。一旦经过训练，该系统就可以应用于一组全新的、它从未见过的碎片集，基于它所学到的模式进行匹配搜索。
研究人员构建了一个能同时从三个不同维度观察手稿页面的系统。首先，它检查页面的整体外观，观察布局、文字密度和材质纹理。其次，它聚焦于单个字母，分析刻画手写特征的具体形状和笔画。第三，它读取文本本身，利用光学字符识别技术来理解单词及其排列方式。该系统并不将这三种信息源视为同等重要；相反，它会根据可靠性对它们进行加权。如果一页纸因损坏而无法清晰阅读文本，系统就会更多地依赖于字母的形状或页面的整体外观。这种灵活性使其能够应对历史文献中混乱、不完整的现实情况。
这种方法的成果在大量的藏经阁碎片集上进行了测试。当系统被要求寻找属于同一手稿的页面时，它在近一半的查询中成功地将正确匹配项排在了前十名之内。当研究人员寻找具有相同目录编号或书架位置的页面时，成功率上升到了 60% 以上。更重要的是，该系统发现了现有目录所遗漏的联系。它识别出了来自不同图书馆、但共享相同手写风格和布局的碎片对，表明它们曾属于同一本书。这些发现得到了人类专家的证实，证明了计算机确实找到了此前未知的真实历史联系。
研究还表明，即使在条件发生剧烈变化时，该系统依然有效。它成功匹配了黑白图像的手稿，尽管它主要是基于彩色图像进行训练的。它还找到了阿拉伯语手稿中的联系，尽管它是针对希伯来字母设计的。这表明该系统学习的是手稿的基础视觉语言——墨水的流动方式、线条的节奏以及页面的结构——而非仅仅记忆特定的字母或颜色。研究人员发现，最重要的线索来自于字母的形状和页面的整体布局，而文本内容则提供了有益但次要的支持。
这项工作代表了数字重建历史领域迈出的重要一步。通过将手稿的身份作为学习的媒介，研究人员创造了一个可以扩展到数百万页规模的工具，而这项任务若由人类学者完成则需要数个世纪。该系统并非取代专家，而是作为一个强大的过滤器，在浩如烟海的档案中进行筛选，将最有希望的候选对象呈现给人类进行审核。它将寻找“大海捞针”般的不可能任务转变为一种可控的搜索，让学者们能够专注于最有价值的联系。JoinFinder 的成功表明，只要方法得当，散落的过去碎片是可以被重新整合在一起的，从而揭示它们曾经讲述的完整故事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。