On the Separation of Human and AI-Generated Images in CLIP Embedding Space
本文通过可解释性与反转技术，研究了 CLIP 嵌入空间中人类绘画与 AI 生成绘画之间未被解释的自发分离现象，揭示了这种区别依赖于细微且不可察觉的多尺度图像结构而非明显的视觉特征，从而凸显了人工视觉感知与人类视觉感知之间的根本分歧。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的世界里，计算机已经学会了以曾经是人类感知所独有的方式来观察和理解图像。这种能力的核心是一个被称为 CLIP 的强大系统，这是一个旨在将图片与文字联系起来的工具。它通过将看到的每一张图像转化为广阔的多维空间中一个独特的数学点来实现这一点。在这个空间中，看起来相似或具有共同主题的图像被安置在一起，而不同的图像则彼此远离。多年来，研究人员一直利用这个系统来帮助计算机识别物体、分类照片，甚至生成新的艺术品。然而，在这些数字地图中出现了一个奇特且无法解释的谜团：当系统向其展示由人类亲手创作的绘画与人工智能生成的图像混合体时，这两组图像自然而然地分离成了两个截然不同的簇。这种现象的发生并非因为经过了专门的区分训练，而是由于该系统组织数据的方式本身所具备的一个特征。令科学家们感到困惑的问题不在于这种分离是否存在，而在于为什么会发生这种情况，以及计算机究竟在使用哪些人类可能忽略的具体视觉线索。
博洛尼亚大学的一位研究人员着手解决这个谜题，其目的并非为了构建一个更好的检测器来捕捉伪造艺术，而是为了理解这种分裂背后的隐形逻辑。他们首先确认了这种分离是真实且稳健的。他们测试了计算机是否仅仅是在对明显的差异做出反应，例如图像的文件格式、色彩的存在或细节的锐利度。他们发现，即使他们将彩色的绘画变成黑白图像，或者将图像尺寸缩小为一个微小的、模糊的正方形，计算机仍然将人类图像和人工图像保留在不同的组别中。这排除了系统只是在注意到像素噪声或色彩组合等简单事物的可能性。信号隐藏得更深，潜藏在图像本身的复杂结构之中。
为了寻找这一隐藏的信号，研究人员扮演了一位制图师的角色，试图使用人类可以理解的工具来绘制计算机心智中的隐形领地。他们从最简单的测量开始，检查平均亮度或色彩分布，但这些基础统计数据无法解释这种分离。随后，他们转向了更复杂的分析图像纹理和形状的工具，观察边缘和梯度是如何在整幅画作中排列的。他们发现，计算机观察的并不是孤立的点或 AI 生成器留下的特定人工痕迹。相反，它是在对一种横跨整幅图像的模式做出反应，一种在许多不同尺度上同时存在的统计节奏。
揭示这一模式最成功的工具是一种被称为“散射变换”（scattering transform）的方法。可以将它想象成一种测量图像纹理如何随着你放大或缩小的过程进行变化的方法，从而捕捉细微细节与较大形状之间的关系。当研究人员应用这种方法时，他们发现 AI 生成的绘画比人类绘画表现出更强的响应。人工图像在不同层级的细节之间有着更强烈且更有结构的相互作用。计算机本质上是在感知 AI 图像构建过程中的一种统计性的“响度”，这种品质无论是在近距离观察还是从远处观察时都保持一致。
然而，故事并未随着一个完整的解释而结束。虽然散射方法可以解释很大一部分分离现象，但它无法解释全部。研究人员随后进行了一项引人注目的实验，以测试人类感知的极限。他们利用计算机自身的内部逻辑，对一幅画作进行微小到几乎不可见的修改，使其恰好移动到“人类”一侧到“AI”一侧的边界。在人类眼中，画作在修改前后看起来完全一样；这种差异如此微妙，以至于几乎无法察觉。然而，对计算机而言，图像已经经历了巨大的转变。这揭示了一个深刻的分歧：计算机对那些在很大程度上对我们而言是不可见的视觉证据非常敏感，它依赖于人类眼睛和大脑根本无法记录的细微统计规律。
研究结果表明，尽管人工智能和人类视觉都可以观察同一件杰作，但它们看到的却是完全不同的东西。计算机不仅仅是在模仿人类的品味；它是在一套不同的规则下运作，优先考虑那些对人类检查而言是不可见的、稳定的多尺度统计模式。这并不意味着计算机是错误的，但它确实意味着我们认为机器与人类拥有相同审美判断的假设很可能是错误的。在计算机心智中，人类艺术与 AI 艺术之间的分离不仅仅是一个故障或简单的错误；它是通往一种不同观察方式的窗口，凸显了人工系统处理视觉世界的独特且往往隐藏的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。