A Heritage-Aware Evaluation Framework for Synthetic Training Images of Kizil Grotto Murals
本文提出了一种文化遗产感知评估框架，该框架利用涵盖语义、构图、色彩和线条的十个加权指标，对各种人工智能模型生成的合成克孜尔石窟壁画图像进行评估与筛选，并最终确定 Midjourney 是创建高质量训练数据集的最佳模型。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在西中国干旱景观的深处，坐落着克孜尔石窟，这是一个曾经作为古代丝绸之路重要驿站的庞大洞窟网络。在这些洞窟内部，艺术家们在数千年前进行创作，通过一种独特的视觉语言描绘了佛教生活的各种故事。这些绘画不仅具有美学价值，更是宗教信仰、艺术交流以及古代匠人特定技艺的历史记录。然而，时间和环境造成了严重的破坏。颜料已经褪色，灰泥已经开裂，许多墙壁部分已经崩塌，导致视觉叙事出现了断层。对于想要研究这些艺术品或利用计算机辅助修复的研究人员来说，这种损坏造成了一个严重的问题：目前根本没有足够清晰、完整的图像来教计算机如何识别克孜尔风格的图案、色彩和故事。
为了解决这种短缺，科学家们转向了人工智能，特别是被称为“生成式模型”的一种技术。这些是能够根据文本描述或示例从头开始创建新图像的计算机程序。理论上，这些工具可以生成数以千计看起来像克孜尔壁画的新图像，从而提供训练修复软件所需的大量数据。但问题在于，仅仅因为计算机能做出看起来像绘画的图像，并不意味着它就是一幅好的绘画。人工生成的图像可能会色彩正确但扭曲了故事，或者可能捕捉到了人物的大致轮廓却忽略了赋予艺术意义的特定文化符号。如果研究人员将这些有缺陷的图像输入到他们的训练程序中，计算机可能会学到错误的知识，从而可能毁掉未来的修复工作。因此，挑战不仅在于制造更多图像，还在于如何辨别哪些图像是忠于遗产的，而哪些仅仅是数字噪声。
来自北京邮电大学和克孜尔石窟研究团队的一组研究人员致力于构建一个系统来解决这个确切的问题。他们开发了一种专门用于评估合成克孜尔壁画图像的新方法，建立了一个充当严格质量控制检查的框架。他们并没有简单地要求计算机判断一张图像看起来是否“好”，而是将克孜尔艺术的独特特征分解为四个特定领域：所讲述的故事、图像的布局、使用的颜色以及定义形状的线条。随后，他们为每个领域分配了特定的重要性，决定了准确还原故事和文化含义是最关键的因素，其次是构图的准确性，接着是色彩的精确度，最后是线条的平滑度。
为了测试他们的系统，研究人员从一组精心准备的真实图像开始。他们拍摄了第38窟的1,479张照片，该洞窟以其丰富且相对完整的壁画而闻名。他们通过人工修复手段处理了94张图像，以消除裂纹和褪色带来的视觉噪声，并从中挑选出24张最优秀的图像作为实验的“金标准”。这24张参考图像包含了非人类主题，如动物、植物和装饰性物体，旨在避开生成人类面部所带来的复杂困难。利用这24张参考图像，研究人员要求四种不同的流行人工智能系统——Stable Diffusion、Midjourney、DALL·E 3 和 Kandinsky——生成新的图像。他们给每个系统下达了相同的指令，要求它们创作具有特定主题和色彩、呈现克宗风格的壁画图像。这些系统总共产生了超过10,000张待评估的候选图像。
这一大规模筛选过程的结果表明，并非所有人工智能在处理文化遗产方面都表现一致。研究人员发现，其中一个系统——Midjourney，产出了最高的整体质量，在结合了故事、构图、色彩和线条的综合评分中表现最佳。然而，研究也表明，没有任何一个系统能在所有方面都达到完美。虽然 Midjourney 擅长捕捉正确的故事并保持主体居中，但另一个系统 DALL·E 3 在保持原始绘画的纹理和表面细节方面表现更好。第三个系统 Stable Diffusion 则特别擅长匹配古代壁画中特有的红蓝色彩。而第四个系统 Kandinsky 在整体文化准确性方面的表现最差。团队发现，某一领域的得分过高有时会掩盖另一领域的失败；例如，一张图像可能看起来视觉效果很震撼，但却无法讲述正确的故事，从而使其在训练修复模型时变得毫无用处。
研究人员得出结论，他们的新框架成功实现了“去粗取精”，能够识别哪些合成图像可以安全地用于计算机训练，哪些应该被丢弃。他们发现，对于这些古代壁画而言，最重要的因素是语义一致性——即确保生成的图像确实描绘了正确的文化符号和故事元素。如果没有这一点，即使是一张美丽的图像也是具有误导性的。这项研究并不声称已经永久解决了数字遗产问题，也不宣称某一个人工智能工具是未来所有任务的终极赢家。相反，它为馆员和科学家提供了一种实用的、结构化的方法来筛选成千上万张生成的图像，确保用于保护这些古代珍宝的数字工具是在尊重原始艺术完整性的数据基础上进行训练的。通过过滤掉人工智能经常引入的扭曲和偏差，该框架有助于确保克孜尔石窟的数字未来能够忠实于其过去。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。