Do CNNs Internally Represent Real and Fake Images Differently? A Hidden-Layer Analysis
本文表明，卷积神经网络在处理真实图像与合成图像时存在差异，即使在语义内容保持不变的情况下，也会诱发截然不同的隐藏层激活模式，这暗示了可以利用这些内部差异来改进伪造图像检测。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字世界中，计算机在观察图像并理解其所见内容方面已经变得异常出色。它们能够识别一只猫、一辆汽车或一种特定类型的景观，其准确度足以媲美人类视觉。这种能力依赖于被称为神经网络的复杂系统，这些系统旨在模拟人类大脑处理信息的方式。这些系统不仅仅是存储一张图片；它们将图片分解为内部信号的层级，通过激活特定的路径来识别模式并赋予意义。多年来，科学家们一直假设，如果一张图片在我们看来是真实的，那么计算机看到的也是同样的东西，无论这张图像是由照相机拍摄还是由机器创建。
然而，新一波的人工智能工具现在可以生成在视觉上与真实照片无法区分的图像。这些合成图像是由模型通过学习庞大的现有照片库，然后从头开始构建出新的场景而生成的。随着这些虚假图像在新闻、社交媒体甚至科学数据中变得越来越普遍，一个关键问题随之而来：计算机真的相信这张假图像是真实的吗？如果计算机的内部机制在处理假图像与处理真图像时表现不同——即使两者展示的是完全相同的场景——这可能会揭示出机器感知世界方式的一个隐藏缺陷。这种区别对于维护数字媒体的信任以及确保自动化系统不被人类肉眼无法察觉的细微瑕疵所欺骗至关重要。
堪萨斯州立大学的一个研究小组致力于调查这一问题。他们想知道，当计算机视觉系统观察一张假图像与一张真图像时，其内部的“思想”是否会发生变化，即使图像的内容是完全相同的。为此，他们专注于一种被称为卷积神经网络的特定计算机模型，这种模型广泛用于识别场景和物体。研究人员不仅仅是让计算机去猜测图像是真是假，而是深入观察机器的“大脑”，看其中的神经元（即基本的处理单元）在面对不同类型的图像时是如何放电的。
团队首先训练了一个计算机模型来识别各种现实世界的场景，例如客厅、雪山或繁忙的街道。训练完成后，他们使用一种强大的图像生成工具创建了这些场景的虚假版本。他们使用了两种不同的方法来创建这些假图像。在第一种方法中，他们向生成器提供一段关于该场景的文本描述，要求它仅根据文字创建一个逼真的照片。在第二种方法中，他们向生成器提供了原始照片以及一段文本描述，要求它在保持原始布局和结构的同时重现该场景。这确保了对于每一张真实的图像，都有一个具有相同语义内容的对应的假图像，从而可以进行直接比较。
准备好这些真实与虚假的图像对后，研究人员将它们输入到训练好的计算机模型中。随着图像通过系统，团队记录了最后一层神经元的活动情况，也就是模型对其所见内容做出最终决策的地方。随后，他们将真实图像的激活模式与对应的假图像进行了对比。目标是观察神经元的放电强度和组合方式是否一致，或者假图像是否引起了机器内部不同的反应。
结果清晰且一致。研究人员发现，假图像触发神经元的方式与真图像并不相同。即使假图像在人类眼中看起来完美无瑕，计算机的内部信号却显得更弱且缺乏组织。具体而言，假图像导致更少的神经元放电，且那些发生放电的神经元往往表现出较低的活跃水平。这种现象在不同类型的场景中均有观察到，并且无论假图像是仅由文本生成，还是由文本与原始图像结合生成，结果都保持一致。这项研究表明，计算机检测到了假图像中存在的细微结构不一致或缺失细节，这些细节对我们来说并不明显，但导致了机器对该场景的内部表征变得不够稳健。
为了确保这些差异不仅仅是因为假图像质量较低或模糊，研究人员进一步测试了他们的理论。他们对真实图像进行了刻意的降质处理，应用了 JPEG 压缩和模糊处理，以模拟在传输或存储过程中可能发生的损坏。虽然这些降质后的图像确实引起了神经元活动的某些变化，但其变化模式与他们在假图像中所看到的并不相同。假图像产生了一种独特的低活跃度特征，这种特征无法通过简单的图像降质来完全解释。这表明，差异不仅仅在于图像看起来“不好”，而在于计算机处理合成数据与处理真实数据的根本方式不同。
研究人员还使用不同的计算机模型和不同的图像集测试了他们的发现，以观察结果在各种条件下是否依然成立。他们用另一种类型的神经网络和另一种图像生成工具重复了实验。在每种情况下，模式都保持不变：假图像在计算机的隐藏层中引发了不同且通常较弱的反应。这种跨设置的一致性加强了结论，即该现象是这些系统处理合成数据时的一个真实特征。
这项研究并未声称已经解决了检测假图像的问题，也没有暗示这种方法本身已准备好成为通用的检测器。相反，它提供了对人工智能本质的一个基本洞察。它揭示了即使计算机被假图像的视觉外观所迷惑，其内部机制也察觉到了异样。神经元在面对假照片时，其点亮程度并不像面对真照片那样充满信心或清晰。这一发现为未来的研究开启了一扇新的大门。通过了解这些内部信号究竟如何不同，科学家们或许能够开发出更好的工具来识别合成媒体，不仅是通过观察表面的像素，而是通过倾听机器内部那细微的信号。这项工作表明，通往更可靠的人工智能安全的路径，在于理解这些隐藏的处理层，在那里，图像的真相并非通过我们所见的景象来揭示，而是通过计算机的思考方式来呈现。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。