Sampling variability ranks reconstruction error in lacquerware image inpainting across models and collections
本研究表明，多次生成式修复重构过程中的采样变异性是漆器图像重构误差的强预测因子，这使得在无法保证历史真实性或完全消除误差的情况下，仍能实现对输出结果进行人工审查的优先级排序。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
博物馆的照片是记录漆器等脆弱文物的首要手段，捕捉着物体表面的光泽或绘画纹饰的精巧。然而，照片仅仅是平面图像；它无法揭示漆料下方的材质层，也无法在物体部分缺失时展现其真实的状况。当修复师或历史学家需要想象一件受损作品原貌时，他们有时会求助于人工智能。这些计算机程序可以填补照片中的缺失区域，创造出在人类眼中看起来极具说服力的完整图像。然而，一张具有说服力的图像并不一定就是正确的图像。计算机可能会虚构出一个从未存在的图案，或者抹平一道本应清晰可见的裂缝。数字遗产的核心挑战不仅在于制作出一张漂亮的图片，而在于知道这张图片何时可能出错。如果计算机生成了一次修复，人类专家如何判断是应该信任它，还是应该进一步审视？
一个研究小组旨在通过测试一个特定的想法来回答这个问题：如果计算机针对同一个缺失部分生成了多个不同的版本，那么这些版本之间的差异程度或许能预示结果的准确性。他们将研究重点放在漆器上——这是一种在坚硬、光亮的涂层下装饰有木材或金属的器物——并使用了来自各大博物馆的系列照片。研究人员对这些物体的完整照片进行了数字化处理，人为地遮盖了其中小、中、大不同比例的部分，以模拟损坏情况。随后，他们要求两种不同的人工智能模型通过生成四种可能的补全方案来“治愈”这些损伤。他们方法的关键在于一个简单的比较。他们观察前三张生成的图像，看它们在缺失区域的差异程度。如果三张图像看起来非常相似，则说明计算机很有信心；如果它们看起来差异很大，则说明计算机不确定。接着，他们将这种“不确定性”得分与第四张图像（即他们一直保留而不显示的图像）进行对比，以观察该得分是否真的能预测计算机与原始完整照片之间的偏差程度。
结果显示出一个清晰的模式。当三张生成的图像存在显著分歧时，第四张图像通常与原始照片相差甚远，这意味着重建过程包含了巨大的误差。相反，当三张图像彼此高度一致时，第四张图像则更接近真相。在由64件原始物体组成的组别中，研究人员发现这种分歧是误差的一个强力预测指标。通过使用这种方法，他们可以对物体进行分类，并选择仅检查那些计算机表现得最为自信的物体。如果他们只查看那40%差异度最低的物体，所选图像的平均误差与随机查看所有图像相比会大幅下降。这并不意味着计算机自己生成了更好的图片；图像本身是完全一样的。相反，这种方法充当了一个过滤器，帮助人类决定哪些图像值得投入精力去检查，以及哪些图像很可能是具有误导性的。
即使研究人员在来自不同博物馆的另外40件新物体上，并使用另一种版本的人工智能模型进行测试时，这种方法依然有效。分歧与误差之间的联系依然稳固，这表明该方法并非某一特定数据集下的偶然现象。然而，研究也揭示了重要的局限性。计算机在重建简单的平滑表面方面表现出色，但在处理复杂的装饰区域时则显得力不从心。由于该方法天然地倾向于较简单的物体，严格应用该过滤器会导致大多数装饰丰富的作品被排除在外，而这些作品往往具有更高的文化意义。此外，虽然该方法可以预测像素级的误差，但它无法判断一次重建是否符合历史真实性，或是否适用于实际的修复工作。计算机可能会对一个错误的图案达成共识，或者生成一个看似合理但在历史上并不存在的图案。
研究人员还将他们的方法与更简单的图像难度评估方式进行了比较，例如测量缺失区域的边缘数量或纹理程度。在初始的物体组中，他们的分歧度方法表现稍好，但优势微弱且并不总是稳定。在外部博物馆物体组中，分歧度方法展现出了比这些简单检查更明显的优势。研究结论认为，尽管这一技术并未解决历史真实性的问题，但它为博物馆提供了一个实用的工具。它提供了一个可复现的信号，有助于优先处理哪些数字修复需要人工审核。通过标记出计算机感到不确定的图像，它能让专家将注意力集中在最需要的地方，从而确保验证数字遗产的精力能精准用于那些最不确定且最具潜在问题的案例。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。