AGIDefect-4K: A Richly Annotated Dataset for AI-Generated Image Defect Detection, Localization and Explanation
本文介绍了 AGIDefect-4K，这是一个包含来自 15 种生成模型的 4,000 幅图像的综合数据集，具有用于缺陷检测、定位和解释的分层标注，以及 AGIDA，一个利用多模态大语言模型来解决尚未得到充分研究的 AI 生成图像缺陷诊断挑战的基准框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在过去的几年里，计算机已经学会了绘制看起来惊人逼真的图像。通过阅读一个简单的句子，机器就可以生成一张山脉之上的日落图，或是一个在拥挤街道上的人像。这些图像通常如此具有说服力，以至于模糊了相机捕捉到的真实景象与代码创造出的虚构景象之间的界限。然而，尽管取得了这些令人难以置信的进步，这些机器并不完美。它们经常犯下一些人类肉眼初看可能会忽略、但却会暴露其人工痕迹的细微错误。一只手可能有多余的手指，一个漂浮的物体可能缺乏阴影，或者一张脸可能会扭曲成一种不可能的形状。这些错误不仅仅是微小的故障；它们是信任基础上的裂痕。如果我们无法可靠地识别这些缺陷，我们就无法完全信任我们在网上看到的图像，也无法帮助机器学得更好。
中国西安电子科技大学的一个研究小组致力于绘制这些“隐形的裂痕”。他们意识到，虽然我们有很多衡量一张图像看起来多么“漂亮”的方法，但我们缺乏一种系统的方法来精确找出图像在哪里以及为什么出了问题。为了解决这个问题，他们创建了一个包含 4,000 张图像的新集合，他们称之为 AGIDefect-4K 数据集。这个数据集不仅仅是一个图片库；它是一张详细的错误地图。研究人员从 15 个不同的人工智能系统中收集了图像，涵盖了从任何人都可以使用的开源工具到大型公司使用的强大封闭系统。随后，他们聘请了一个专家团队来检查每一张图像。这些专家不仅仅是判断一张图像是好是坏。他们执行了三步检查法：首先，他们判定是否存在缺陷；其次，他们在错误发生的特定区域周围画出精确的轮廓；第三，他们撰写详细的描述，解释问题所在以及该问题对整体质量造成了多大的损害。
这项细致工作的研究结果揭示了一个令人惊讶的事实。即使是最先进的机器，即那些能产生最震撼视觉效果的机器，仍然会以可预测的方式出错。研究人员发现，不同系统之间的缺陷率各不相同，有些系统在近 15% 的图像中产生错误，而另一些则稍微更可靠。这些错误并非随机噪声；它们属于清晰的类别。有些是结构性的，例如肢体连接不当，或者物体违反物理定律在没有支撑的情况下漂浮。另一些则是逻辑性的，即元素的组合不符合人类的经验。这个数据集的独特之处在于其附带信息的深度。对于每一个缺陷，研究人员记录的不只是一个标签，还有一个显示问题精确位置的像素级掩码（mask），以及一段描述错误性质的文本。这种程度的细节使得人们能够进行比单纯计数有多少张“坏”图像更深层次的理解。
利用这一丰富的资料集，研究人员构建了一个名为 AGIDA 的新工具，这是一个旨在观察图像并执行与人类专家相同的三步检查法的助手。他们训练这个工具去检测缺陷的存在、指出其位置、解释问题所在并给出图像的质量评分。当他们用这个工具测试现有的最佳人工智能系统时，结果发人深省。那些功能强大的通用模型（可以写诗并回答复杂问题）在被要求寻找这些特定的视觉错误时表现得非常吃力。它们经常漏掉明显的错误，比如一只只有一条腿的鸟，或者它们关注的细节不对，比如在人类手指融合的问题上，它们却在描述一只老鼠的形状。相比之下，专门针对详细的人类标注进行训练的新工具，学会了以更高的准确度发现这些错误。它能够识别出融合的手指和缺失的腿，并画出一个与人类专家工作几乎完全吻切合的掩码。
研究还表明，理解这些缺陷不仅是为了发现错误，更是为了改进我们判断质量的方式。研究人员发现，缺陷的存在及其严重程度直接影响了图像获得的整体评分。当工具被教导去关注它发现的具体缺陷时，它判断图像整体质量的能力也随之提高。这表明，创造更好的人工智能图像之路在于教会机器识别自身的错误。通过提供一张关于出错位置的清晰、详细的地图，研究人员为该领域提供了一个新的评估标准。他们表明，虽然机器在创作艺术方面做得越来越好，但它们仍然需要一种类似人类的能力，去察觉何时有些地方出现了轻微但至关重要的偏差。这个新的数据集及其构建的工具提供了一条前进的道路，将那种觉得图像看起来“不对劲”的模糊感觉，转化为一个可以被修复的、具体的、可衡量的客观事实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。