Visually similar prints expose a benchmark validity gap in computational art history
本文表明，计算艺术史中的视觉检索基准由于忽略了在视觉上相似但历史上截然不同的版画副本，往往会产生误导性的高准确率，从而揭示了一个关键的效度差距，即必须将易混淆的替代品纳入候选池，以区分单纯的设计重复与真实的史实关系。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在世界各大博物馆庞大的数字化档案库中，一种新型的搜索方式已经出现。学者和公众不再是通过输入文字，而是可以通过上传一张图像来寻找与之相似的其他图像。这种被称为“视觉检索”的技术已成为连接零散艺术品、追踪单一设计如何跨越数个世纪流传、以及重建文化视觉史的强大工具。它的工作原理是比较数字照片的像素，寻找线条、形状和色彩中的模式，从而表明两张图像具有关联性。对于许多类型的艺术品，这种技术效果极佳。然而，当涉及的对象是版画——即通过将墨迹从雕刻好的木块上压印到纸上的图像时，一个特定且顽固的问题出现了。一个设计可以以多种不同的形式存在：来自新鲜木块的原始印迹、来自磨损木块的后期印迹、由不同艺术家制作的副本，或是复制品。对于计算机而言，这些不同的版本看起来往往几乎一模一样。但对于历史学家来说，它们讲述着完全不同的故事，关乎谁制作了它们、何时制作以及如何制作。核心问题在于：一个寻找视觉相似图像的计算机搜索，究竟是在寻找正确的历史对象，还是仅仅在寻找一个看起来极其相似的伪物？
浙江传媒学院的方炯明（Jiongming Fang）最近的一项研究调查了计算机所见的与历史学家所知的之间的这种差距。该研究聚焦于大都会艺术博物馆（位于纽约）的一组木刻版画收藏。研究人员希望测试标准的计算机搜索工具是否能够区分原始版画与其馆藏记录中明确标注为“副本”的图像。他们利用博物馆数据库中的39条特定记录建立了一个受控实验。在第一阶段，他们要求计算机在一组候选图像中寻找匹配的设计，这组图像包含了正确的原始版画，并包含许多具有不同设计的其他版画，但他们特意排除了已知的副本。在这种情境下，计算机表现得近乎完美。通过使用标准方法比较图像，该系统在240次不同的测试查询中，每次都能正确地将预期的原始版画识别为最佳匹配。计算机本质上是在解决一个“错误答案甚至根本不存在”的谜题。
随后，研究人员改变了实验方案，以观察如果迫使计算机在原始件与副本之间做出选择时会发生什么。他们在候选池中加入了那个已知的副本，从而创造了一个新的群体，计算机必须在两个共享相同设计但具有不同历史身份的图像之间做出抉择。结果发生了剧变。当副本出现时，计算机的完美记录被打破了。根据用于比较图像的具体方法不同，系统仅在187次、177次或237次查询中正确地将原始版画识别为首选结果。在剩余的情况下，计算机选择了副本，并将其列为最佳匹配。在某些实例中，副本成为了唯一的首选结果，完全取代了预期的原始件。尽管计算机使用的是相同的图像和相同的数学规则，但情况却截然不同。唯一改变的是一个在视觉上非常相似但历史身份完全不同的对象的出现。
研究还测试了一个设计得更为谨慎的系统，该系统旨在承认自己的不确定性。该系统被编程为只有在两种不同的比较方法得出相同结论时才做出最终决定；否则，它会停止并请求人类协助。即便如此，这种谨慎的方法也未能捕捉到所有的错误。它在两个独立案例中接受了副本作为正确答案，证明了仅仅拥有一个“安全网”不足以保证在视觉证据模糊时实现历史准确性。研究人员发现，问题不在于计算机不擅长识别设计，恰恰相反，它非常擅长。问题在于测试本身存在缺陷，因为它没有包含一位真正的历史学家需要考虑的那些困难的替代选项。一个仅要求计算机在无关图像中寻找设计的基准测试，虽然总能显示出很高的成功率，但这种成功率无法告诉我们计算机是否能够区分原始件与副本。
论文总结道，我们测试这些系统的方式需要改变。一个搜索工具的有效性取决于它在测试过程中被允许看到什么。如果一个系统仅在“错误答案与正确答案看起来完全不同”的简单案例中接受测试，那么它的高分是具有误导性的。要真正了解一个工具对艺术史是否有用，测试必须包含“关系混淆型”（relation-confusable）候选对象——即那些看起来相似但历史背景不同的物体。作者提出了另一种组织数字化研究的方法，将三个截然不同的步骤分开：寻找视觉相似图像、测试系统处理混淆替代项的能力，以及最后基于文献证据做出历史判断。这种方法并不试图自动化艺术史学家的角色。相反，它建立了一个清晰的界限，让计算机可以说“这些看起来一样”，而人类专家可以接着判定“但这个是副本”。通过让搜索的局限性变得可见，并针对艺术史的真实复杂性进行测试，研究人员可以构建出对自身知识边界保持诚实的工具。这项研究表明，为了让数字遗产真正可靠，我们必须停止假装视觉相似性等同于历史真相。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。