技术摘要：图像自回归生成的数据溯源

问题陈述

图像自回归模型（IARs）通过借鉴大型语言模型（LLMs）的下一标记预测范式，在实现卓越的逼真度方面取得了显著成就。然而，由于这些模型生成的图像在视觉上与自然图像难以区分，它们带来了关于虚假信息、欺诈以及“训练数据集污染”（导致模型崩溃）的重大风险。现有的溯源方法（如水印和指纹技术）通常需要集成到模型的训练或生成过程中。这些方法往往无法应用于已经发布且未携带标记的内容，也无法应用于不支持原生水印的模型。此外，许多现有的基于重构的方法无法处理 IARs 的随机性，或者需要并非总是可获得的特定模型访问权限。

本研究解决的核心挑战是事后数据溯源（post-hoc data provenance）：即在不修改模型、不修改生成过程、不修改图像本身，且不需要文本提示词或类别标签等辅助信息的情况下，能够稳健地将图像追溯回其生成的 IAR 模型。

方法论

作者提出了一种模型无关的事后框架，该框架利用了 IARs 特有的矢量量化分词（vector-quantized tokenization）过程所引入的固有伪影。该框架依赖于两个互补的信号：QuantLoss 和 EncLoss。

1. 核心观察：量化伪影

IARs 将图像编码为来自固定码本（词表）的离散标记序列。作者观察到，IAR 生成图像的标记表示比自然图像更接近码本条目。这是因为生成图像是直接由这些离散条目构建的，而自然图像必须通过这些条目进行近似。

2. 框架组件

该框架分为三个主要阶段运行：

• 解码器逆过程 ($D^{-1}$):
  标准的编码器 ($E$) 是针对自然图像训练的，并非针对生成图像的解码器 ($D$) 进行逆向操作的最优选择。作者通过使用原始编码器权重进行初始化，并在目标 IAR 生成的图像上进行微调，训练了一个逆解码器 ($D^{-1}$)。该模型学习如何高保真地将生成的图像映射回其潜在特征图 ($f_Z$)。

• QuantLoss (码本距离):
  该信号衡量由逆解码器恢复的特征图 ($f$) 与其重量化版本 ($f_Z$) 之间的距离。

  • 过程： $x \xrightarrow{D^{-1}} f \xrightarrow{Q} t \xrightarrow{Q^{-1}} f_Z$。
  • 信号： $L_{Quant} = \|f - f_Z\|^2$。
  • 逻辑： 对于由目标 IAR 生成的图像，$f$ 与码本条目高度对齐，导致量化误差极小。对于自然图像或其他模型的图像，这种对齐效果较差，导致误差较高。
  • 多尺度优化： 对于多尺度 IARs（如 VAR），作者引入了一种优化的标记搜索算法，利用梯度下降法寻找能使重构误差最小化的跨尺度标记组合，从而进一步区分生成特征与自然特征。

• EncLoss (重构损失比):
  该信号捕捉了将图像压缩至潜在空间并还原时的信息损失。

  • 过程： $Rec(x) = D(D^{-1}(x))$。
  • 信号： 为了解决低复杂度自然图像带来的假阳性问题，作者提出了一个受 AEDR 启发的校准损失：$L_{Cal}^{Enc} = \frac{\|Rec(x) - x\|^2}{\|Rec(Rec(x)) - Rec(x)\|^2}$。
  • 逻辑： 生成图像表现出特征一致性，导致较低的损失比；而自然图像由于信息压缩伪影，通常表现出较高的损失比。

• 组合信号：
  最终的溯源信号是两者的乘积：$L_{Comb} = L_{Quant} \times L_{Cal}^{Enc}$。

核心贡献

1. 首个针对 IARs 的事后框架： 本文引入了第一种能够在无需修改模型训练或生成流水线的情况下，将 IAR 生成图像归因于其源模型的方法。它适用于已发布的、无标记的内容。
2. 新颖的溯源信号： 本研究识别并将 QuantLoss（基于码本接近度）和 EncLoss（基于重构一致性）形式化为 IAR 生成的稳健指标。研究证明，结合这两个信号可以实现近乎完美的检测。
3. 全面的评估： 该框架在多种先进的 IARs（VAR, RAR, LlamaGen, Taming, Infinity）和一种矢量量化扩散模型（VQ-Diffusion）上进行了广泛的评估。

实验结果

作者通过广泛的实证评估报告了以下发现：

• 检测性能： 在所有测试的 IARs 和数据集（ImageNet, LAION, MS-COCO 以及由其他模型生成的图像）中，该方法在 1% 的假阳性率（FPR）下实现了接近 100% 的真阳性率（TPR）。这显著优于基准方法，如朴素重构损失、LatentTracer 和 AEDR，后者往往无法区分不同的 IAR 或自然图像。
• 鲁棒性： 该框架在面对常见的图像后处理技术（包括 JPEG 压缩、缩放、噪声以及亮度/对比度调整）时表现出强大的韧性。当使用数据增强训练逆解码器时，鲁棒性进一步提升，即使在强攻击下也能保持高 TPR。
• 效率： 该方法计算效率很高。在对逆解码器进行一次性微调后（相对于模型预训练而言开销很小），对于大多数模型，归因过程每张图像耗时不到 10 毫秒，比现有的基于重构的基准方法更快。
• 自适应攻击： 即使在对手试图通过扰动图像来规避检测的自适应对抗攻击下，经过增强训练的框架仍能保持比基准方法高得多的鲁棒性。

意义与主张

本文声称提供了一种实用且可扩展的解决方案，用于负责任地部署和审计自回归生成模型。通过利用由离散分词过程留下的固有“指纹”，该方法能够在不损害图像质量或不需要访问生成过程的情况下，实现可靠的来源归因。

作者强调，这种方法对于以下方面至关重要：

• 防止模型崩溃： 通过可靠地识别合成数据，有助于防止训练数据集被生成内容污染。
• 打击虚假信息： 它允许将有害或误导性内容归因到特定的模型家族。
• 事后审计： 它针对的是已经发布的内容，填补了需要预集成水印方法的空白。

研究结论认为，尽管自适应攻击可能会降低性能，但所提出的框架提供了一种稳健的防御机制，广泛适用于现有及未来的 IAR 架构。