Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

想象一下，你是一名试图在一座巨大的、古老的图书馆里破解谜题的侦探。这个谜题是什么？是弄清楚哪些古老的故事被后来的作家秘密地模仿、修改或暗中提及了。在拉丁文学的世界里，这被称为“互文性”（intertextuality）。几个世纪以来，学者们不得不靠手工阅读成千上万卷尘封的卷轴，依靠记忆来发现像杰罗姆（Jerome，一位基督教僧侣）是如何偷偷借用维吉尔（Virgil，一位异教诗人）的一个酷炫短语的。

但问题在于，作家们并不只是简单的复制粘贴。他们会改变词序、更换同义词，或者将引用隐藏得如此之深，以至于简单的“搜索这个词”的工具也会失效。这就像是试图仅凭哼唱几个音符就在一个播放列表中找到一首特定的歌，但歌手改变了节奏并稍微修改了歌词。

于是，Loci Similes 出现了——这是一个由计算机科学家和拉丁语专家团队开发的全新数字工具，旨在帮助解决这个问题。把它想象成一个超级组织化的图书馆“备忘录”。

大图书馆与备忘录

该团队构建了一个包含约 176,000 个文本小块的数据集。他们将这些小块分为两堆：

1. “查询”堆（The "Query" Pile）： 后期创作的文本（由杰罗姆、拉克坦提乌斯和瓦莱里乌斯·弗拉库斯等作者撰写）。
2. “来源”堆（The "Source" Pile）： 早期经典的文本（如西塞罗、维吉尔、奥维德和贺拉斯）。

为了确保他们的计算机工具确实在学习，他们创建了一个“地面真值”（ground truth）备忘录。这张表包含了 1,490 个由人类专家验证的特定联系。这就像是一个标准答案，专家们在上面写道：“是的，杰罗姆书中的这句话确实是在致敬维吉尔书中的那句话。”

伟大的计算机竞赛

研究人员提出了一个问题：计算机能否比传统的搜索工具更好地发现这些隐藏的联系？

他们让三种类型的计算机模型进行了一场比赛：

1. “词频计数器”（词汇模型/Lexical Models）： 它们寻找精确的单词或词干。它们就像一名只检查两本书中是否出现了完全相同单词的图书管理员。
2. “深度思考者”（稠密神经模型/Dense Neural Models）： 它们使用先进的 AI 来理解句子的含义，即使单词不同。它们就像一名能理解故事“氛围”的侦探。
3. “两步走团队”（检索与重排序/Retrieve-and-Rerank）： 这个团队首先使用“词频计数器”抓取一份嫌疑人短名单，然后使用“深度思考者”进行复核。

发现了什么（剧情转折）

故事在这里变得有趣了，因为结果并非每个人都预料中的那样。

1. “深度思考者”在第一轮中并未胜出。
你可能会认为，能够理解含义的高级 AI 会是寻找隐藏引用的最佳工具。但论文指出，对于拉丁语而言，传统的“词频计数器”（特别是使用词元/lemmas，即单词的词典形式的 BM25 方法）在第一阶段的表现实际上更好。

• 原因： 拉丁语是一种具有极其复杂的词尾变化（随语法改变）的语言。高级 AI 有时会被这些变化搞混，而“词频计数器”擅长剥离这些变化以找到核心词。
• 结果： 在寻找前 100 个候选对象时，“词频计数器”找到了约 78% 的直接、逐字复制（逐字引用/verbatim references）。虽然高级 AI 模型表现接近，但并未超越它。

2. “深度思考者”是处理难题所必需的。
虽然“词频计数器”擅长寻找精确的复制，但它在寻找典故（allusions，即含义相似但单词完全不同的微妙暗示）方面表现得非常糟糕。

• 问题： 如果杰罗姆写了一句话，其“感觉”很像维吉尔，但使用了完全不同的词，那么“词频计数器”会看到零关联。
• 解决方案： “深度思考者”（特别是名为 XLM-R Large 的模型）更擅长捕捉这些微妙的、低重叠度的联系。它能分辨出：“嘿，尽管单词不同，但这两句话表达的是同一种恐惧感。”

3. 获胜策略：“两步走团队”。
论文建议，解决这个谜题的最佳方式不是只选一个侦探，而是使用一个团队。

• 第一步： 使用“词频计数器”扫描整个图书馆，并为每个查询提取出前 100 个最可能的嫌疑人。
• 第二步： 将这份短名单交给“深度思考者”，由它来判定哪些是真实的引用，哪些仅仅是巧合。
• 结果： 这个组合策略成功找回了 63% 的真实隐藏引用，同时将人类学者需要阅读的列表缩减了 97%。这就像是将一百万根针组成的草堆变成了一个只有 1,900 根针的小篮子，极大地减轻了工作量。

论文排除了哪些可能性

作者非常明确地指出了哪些方法行不通：

• 仅仅使用高级 AI 是不够的。 如果你在没有良好的第一层过滤的情况下仅依赖“深度思考者”，你会错过很多联系。
• 仅仅使用简单的单词匹配也是不够的。 如果你只关注精确的单词，你会错过那些最有趣的、微妙且聪明的引用。
• 这并不是一个“已解决”的问题。 论文明确指出，寻找这些微妙的联系仍然是“具有挑战性的”。AI 虽然很强大，但仍会犯错，尤其是在联系非常短或单词差异很大时。

核心结论

论文表明，虽然 AI 是研究古代文学的强大新工具，但它并不是一个能瞬间解决一切的魔杖。目前最好的方法是混合型的：使用简单、快速的工具来缩小搜索范围，然后使用智能、深度的学习工具来进行最终判断。

作者承认，他们的数据集并不完美（它并没有包含所有曾经存在的联系），而且即使对人类来说，定义什么是“引用”也可能很棘手。但凭借 1,490 个经专家验证的案例以及名为 Loci Similes 的新基准，他们为未来的研究人员提供了一个坚实的起点，以便构建更好的工具。古代图书馆的谜团仍在被破解，但现在我们拥有了一把更好的手电筒。