✨ 要点🔬 技术摘要
在过去的几年里，一种新型的人工智能改变了我们创作图像的方式。这些被称为生成式模型的系统可以将简单的文本描述转化为令人惊叹的、具有写实感的图像。它们已变得如此普遍，以至于现在成为了现代媒体制作和创意工作的基石。然而，这种快速传播也带来了一个显著的问题：当你看到一张图片时，往往无法判断究竟是哪台特定的机器创作了它。这种不确定性涉及诸多方面，从保护艺术家的知识产权到追踪误导性内容的来源。挑战不仅在于识别一张图片是否为伪造，还在于准确识别出是数百种不同的 AI 引擎中的哪一个生产了它。这项被称为“模型归属”（model attribution）的任务之所以困难，是因为这些机器在不断进化，且它们的输出在人类眼中往往看起来几乎一模一样。此外，包括数千个定制版本在内的可用模型数量之多，使得追踪这些来源的任务显得极其繁重。
特拉维夫大学的研究人员为这个复杂问题找到了一个出人意料的简单解决方案。他们并没有构建一个庞大而复杂的系统来匹配生成器的复杂性，而是开发了一种轻量级的工具，其功能类似于一个基础分类器。他们的方法被称为 RPA，它在最严格的“黑盒”环境下运行，这意味着它仅观察最终生成的图像，而无需访问制造该图像的 AI 的内部代码、权重或秘密设置。该方法将图像分割成小方块，并分析每个方块中的原始色彩模式。尽管不同模型的图像在视觉上非常相似，但研究人员发现，每个生成器都会在像素纹理中留下独特的低级指纹。通过训练一个小型神经网络来识别这些细微模式，该系统可以极其精准地识别图像的来源。在一组包含 25 种不同模型的测试集上，该工具达到了 98.0% 的准确率；而在一个更混乱、更接近现实世界的 27 种模型测试集中，它依然达到了 92.9% 的准确率。
这项发现之所以特别引人注目，在于该工具如何应对互联网中混乱的现实情况。在野外环境下的图像很少是完美的；随着它们在社交媒体和新闻网站上的传播，图像经常会被压缩、模糊或调整尺寸。许多以往的方法在面对这些常见变化时都会失效。然而，这个新系统表现得非常稳健。当研究人员用经过重度压缩或缩放后的图像对其进行测试时，准确率仅略有下降，这证明它所检测到的指纹是一种基本的结构特征，而非转瞬即逝的人造痕迹。该系统还具有极高的效率。与其他需要将图像与每一个可能的候选模型逐一进行对比的方法不同——这种过程会随着模型数量的增加而变慢——该工具可以通过单次处理来评估图像。即使已知模型的数据库从几十个扩展到几千个，识别来源所需的时间也不会增加。
除了识别已知模型之外，研究人员还发现该工具拥有一种更深层、更通用的智能。当它遇到来自从未见过的生成器的图像时，它可以可靠地将其标记为“未知”，而不是强行给出一个错误的猜测。这种识别陌生事物的能力对于一个新模型每天都在涌现的领域至关重要。此外，该系统几乎可以瞬间适应这些新模型。研究人员不需要进行冗长的重新训练过程，只需为现有网络拟合一个简单的小层，即可添加一个新模型，这一过程仅需几分钟。这种灵活性表明，该工具学习到的是关于这些机器运作方式的通用图谱，而不仅仅是记住了特定的例子。
研究人员还利用这种习得的理解力来探索模型之间的关系。通过分析该工具用于做出决策的内部特征，他们能够根据架构的相似性将不同的生成器分为不同的家族，甚至在未被告知哪些模型具有相关性时也能做到这一点。该系统正确地识别出某些模型共享共同的血统或基础技术，并将它们聚集在一起，其方式与已知的开发事实相吻合。这种能力同样适用于来自未见生成器的图像，允许工具在没有任何预先训练的情况下，按其真实来源对它们进行分组。这项研究表明，在追踪数字起源的任务中，一个直接且简单的方法可以胜过精巧而沉重的机械化手段。它表明，理解这些复杂系统的关键不在于构建更复杂的检测器，而在于识别每台机器在创作图像时留下的那些细微且持久的签名。
技术摘要：可扩展的图像黑盒模型归属分析
问题陈述 模型归属分析（model attribution） ——即仅凭图像本身即可确定特定模型生成来源的能力——成为了一个至关重要的需求。目前的归属分析方法面临着显著的实际局限性。许多方法依赖于对模型内部信息的白盒访问 （如权重、自动编码器、提示词），而这在现实场景中极少能够实现。其他方法则存在粗粒度判别 的问题，无法区分具有相似架构家族或自动编码器的不同模型。此外，现有方法在面对常见的图像退化（如 JPEG 压缩、模糊、缩放）时往往表现得非常脆弱 ，且其计算成本高昂 ，无法随着候选模型数量的增加而有效扩展（例如，基于重构的方法其复杂度随候选模型数量线性增长）。
方法论：原始补丁归属分析 (Raw-Patch Attribution, RPA) RPA (Raw-Patch Attribution) ，这是一种轻量级的、严格的黑盒方法，无需访问模型权重、提示词或种子即可进行图像归属分析。该方法基于这样一个观察：生成流水线会在频域中嵌入持久且高度可分离的光谱特征（spectral signatures） （即低层级伪影），这些特征对于每个生成器而言都是独特的。
RPA 流水线由三个步骤组成：
补丁划分 (Patch Division)： 将输入图像分割为重叠的 256 × 256 256 \times 256 256 × 256 256 2 256^2 25 6 2 4096 2 4096^2 409 6 2 逐补丁分类 (Per-Patch Classification)： 一个参数量约为 600 万 的紧凑型卷积神经网络 (CNN)，直接从原始 RGB 像素中对每个补丁进行分类。该网络在单次前向传播中输出所有候选生成器的类别逻辑值 (logits)。多补丁聚合 (Multi-Patch Aggregation)： 最终的图像级预测是各补丁类别概率的加权平均值，其中权重考虑了边缘重叠，以确保每个像素的贡献相等。
核心贡献
精准的黑盒归属分析： RPA 在最严格的黑盒设置下实现了最先进的准确率，在 25 类 DRAGON 基准测试上达到 98.0% ，在 27 类 OpenFake 基准测试上达到 92.9% 。它超越了以往通常需要文本提示或白盒访问的方法。可扩展性与效率： 其推理成本与候选模型数量无关 (O ( 1 ) O(1) O ( 1 ) 。不同于必须按顺序对每个候选模型进行评分的重构类方法 (O ( C ) O(C) O ( C ) 鲁棒性： 经过破坏增强（corruption-augmented）处理的 RPA 版本在 JPEG 压缩、高斯模糊、缩放和裁剪等条件下仍能保持高准确率，而这些条件通常会导致先前的方法失效。开集归属分析 (Open-Set Attribution)： 该网络可以仅利用分类器的置信度分数，可靠地将来自未知生成器的图像标记为“未知”，而无需校准集或辅助的离群值数据。少样本自适应 (Few-Shot Adaptation)： 通过冻结已学习的骨干网络并仅拟合一个线性头 (linear head) ，即可引入新的生成器。这种自适应过程仅需数秒到数分钟，且需要极少量的数据，避免了全量重新训练。模型发现 (Model Discovery)： 倒数第二层的特征自然地编码了生成器之间的关系。对这些特征进行无监督层次聚类，可以成功恢复模型的谱系 (lineage) （按共享的自动编码器或基础权重进行分组），并能将来自未知生成器的图像聚类到其真实的来源。
实验结果
闭集性能： 在 DRAGON 数据集（25 个模型）上，RPA 达到了 98.0% 的准确率，显著优于 DE-FAKE (62.0%) 和 OCC-CLIP (8.6%)。在 OpenFake (27 个模型) 上，准确率达到 92.9%。白盒对比： 即使与 AEDR 基准测试上的白盒基准方法相比，仅进行黑盒操作的 RPA 也实现了 97.7% 的平均成对准确率，超过了利用模型权重的方法（如 LatentTracer 为 70.3%，AEDR 为 95.1%）。推理速度： RPA 处理每张图像仅需 8.5 毫秒 ，而随着候选集增长，白盒基准方法（如 AEDR）的耗时会从 0.53 秒增加到 3.71 秒。鲁棒性： 在激进的 JPEG 压缩 (Q=60) 和缩放条件下，该模型仍保持较高的准确率（例如在 Q60 下为 89.3%），展示了对现实世界图像退化的韧性。自适应能力： 在 GenImage 基准测试的少样本场景（1-shot 和 10-shot）中，RPA 优于 LIDA、ResNet 和 DIRE 等基准方法，在 10 次采样 (10 shots) 时准确率接近 60%。
意义与主张 简单性足以实现高性能归属分析 。与“复杂的生成器需要复杂的归属工具”这一假设相反，一个在原始补丁上运行的轻量级 CNN 就足以捕捉到必要的“指纹”。
作者主张 RPA 确立了严格黑盒归属分析 的新标准，并证明了：
无需访问模型内部信息即可实现高准确率。
所学习的特征空间具有通用性，不仅支持分类，还支持开集检测 、少样本自适应 以及无监督谱系发现 。
该领域应从沉重的、基于重构的机制转向高效的、判别式的基准方法。
模型归属分析应被视为一个独立的、基础性的问题，其范围可能涵盖了二元深度伪造检测 (binary deepfake detection) 作为其特例。
论文明确指出其局限性：它并不声称解决了真/假检测 (real-vs.-fake detection) 问题（因为模型并非在真实图像上训练），也未评估针对优化攻击的对抗鲁棒性 ，并将这些视为未来的研究方向。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。