Tracing Copied Pixels and Regularizing Patch Affinity in Copy Detection

该论文提出了一种结合显式像素坐标追踪模块（PixTrace）与几何引导对比损失（CopyNCE）的新方法，通过利用编辑内容的几何可追溯性来增强细粒度对应学习，从而在自监督图像复制检测任务中实现了超越现有技术的性能与可解释性。

要点

这篇论文讲的是如何更聪明地**“抓图片抄袭”**。

想象一下，你有一张原创的精美照片（比如一只松鼠），然后有人把它拿去“整容”了：可能把背景换了、把松鼠旋转了、把颜色调暗了，甚至把松鼠的眼睛抠出来贴到了另一只动物身上。现在的任务是：你要从成千上万张照片里，一眼认出哪张是那只“整容”后的松鼠。

以前的方法就像是一个**“模糊的侦探”**。它只看大概的感觉（比如“这好像也是只松鼠”），或者靠猜（“这两个地方看起来有点像”）。如果抄袭者把图片改得稍微复杂一点，这个侦探就晕了，容易把不是抄袭的当成抄袭，或者漏掉真正的抄袭。

这篇论文提出了两个新招数，让侦探变成了**“拥有上帝视角的 forensic 专家”**。

核心故事：像素的“身份证”追踪系统

1. 第一招：PixTrace（像素追踪器）—— 给每个像素发“护照”

以前的方法在比较两张图时，是瞎猜的。比如，它觉得图 A 的左上角和图 B 的右下角很像，就强行把它们配对。但这经常出错。

这篇论文说：“别猜了，我们直接看‘身份证’！”

• 比喻：想象你的原图是一张巨大的地图，上面的每一个像素点（比如松鼠眼睛上的一个红点）都有一个唯一的坐标（经度、纬度）。
• 操作：当有人对图片进行“整容”（比如旋转、缩放、抠图）时，这个系统（PixTrace）就像是一个超级记账员。它手里拿着一本账本（坐标表），记录着：“原本在 (10, 10) 的那个像素点，经过旋转后，现在跑到了 (20, 20)。”
• 效果：不管图片被怎么折腾，我们都能精确地知道：“现在的这个像素，就是原来那个像素变的。” 这就像给每个像素都发了护照，无论它怎么变形，都能查出来它原本是谁。

2. 第二招：CopyNCE（几何对齐的“相亲”规则）—— 教 AI 怎么“谈恋爱”

有了上面的“护照”信息，我们怎么教 AI 去识别抄袭呢？

以前的 AI 训练就像是在玩“找不同”，但规则很乱。它可能会把两个其实没关系的地方强行说成是一对（假阳性），或者漏掉真正有关系的地方（假阴性）。

这篇论文提出了一个新的训练规则（CopyNCE）：

• 比喻：想象你在教 AI 玩“连连看”。
  • 旧规则：只要两个方块颜色差不多，就说是连着的。结果 AI 经常连错。
  • 新规则（CopyNCE）：利用刚才那个“记账员”的数据。
    • 如果像素 A 来自原图的松鼠眼睛，像素 B 来自修改后的松鼠眼睛。
    • 记账员告诉我们：“这两个像素是‘亲兄弟’，它们重叠的面积是 50%。”
    • 于是，AI 的训练规则变成了：“如果两个区域重叠面积大，你们就要紧紧抱在一起（相似度极高）；如果重叠面积小，你们就要离得远一点。”
• 效果：这就像给 AI 提供了一个**“标准答案”。它不再瞎猜，而是根据精确的几何重叠比例来学习。这让 AI 学会了：“哦，原来真正的抄袭，是那些‘虽然变形了，但核心部分还能对得上’的东西。”**

为什么这很厉害？

1. 更准（SOTA 性能）：
   在著名的“图片相似度挑战赛”（DISC21）中，这套方法拿到了第一名。

   • 匹配器（Matcher）：就像是一个拿着放大镜的侦探，直接对比两张图，准确率高达 88.7%。
   • 描述器（Descriptor）：就像是一个给图片打标签的档案员，准确率也达到了 72.6%。
   • 这比以前的所有方法都要好，尤其是面对那些复杂的、经过多次“整容”的图片时。

2. 更懂行（可解释性）：
   以前的 AI 像个黑盒子，告诉你“这是抄袭”，但不知道为啥。
   现在的 AI 能画出**“热力图”**。如果你把鼠标移到松鼠的眼睛上，AI 能清晰地告诉你：“看！这张图的眼睛和那张图的眼睛，像素点是一一对应的！”这让结果非常透明，让人信服。

3. 更抗揍（鲁棒性）：
   即使图片被旋转、拉伸、甚至把背景全换了，只要核心的像素“身份证”还在，这套系统就能把原图和改图连起来。

总结

这篇论文的核心思想就是：不要只靠“感觉”去抓抄袭，要靠“数学”和“轨迹”去抓。

• PixTrace 是那个**“记账员”**，它精确记录了每个像素从原图到改图的旅行路线。
• CopyNCE 是那个**“严师”**，它利用记账员的数据，强迫 AI 学习正确的“连连看”规则，而不是瞎蒙。

这套组合拳，让 AI 在识别图片抄袭这件事上，从“大概齐”进化到了“精准打击”的水平。

技术摘要

这篇论文提出了一种名为 PixTrace 和 CopyNCE 的新方法，旨在解决图像复制检测（Image Copy Detection, ICD）中现有自监督学习（SSL）方法在处理复杂编辑时缺乏细粒度对应关系学习的问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心任务：图像复制检测（ICD）旨在识别图像对之间的篡改内容（如精确复制、近精确复制及经过编辑的复制品）。
• 现有局限：
  • 当前的自监督学习（SSL）方法主要采用**视图级（view-level）的对比学习，忽略了区域级或块级（patch-level）**的细粒度对应关系。
  • 现有的细粒度对应学习方法（如基于特征或位置的最近邻匹配，FeatNN/LocNN）通常是启发式的，存在**误匹配（false match）和部分匹配（partial match）**的问题。
  • 这些不准确的对应关系引入了监督噪声，导致梯度信号冲突，阻碍模型收敛，降低了对复杂编辑（如仿射变换、抠图、颜色抖动等）的鲁棒性。
• 关键洞察：编辑后的内容具有内在的几何可追溯性（Geometric Traceability）。如果已知编辑操作的具体变换函数，像素坐标的映射关系是可以被精确追踪的。

2. 方法论 (Methodology)

论文提出了两个核心创新模块：PixTrace 和 CopyNCE。

2.1 PixTrace：像素坐标追踪模块

• 目标：建立编辑图像与原始图像之间精确的像素级坐标映射，消除启发式匹配带来的噪声。
• 机制：
  • 维护一个坐标表（Coordinate Table, $T$），记录每个像素在编辑序列中的位置变化。
  • 初始化时，$T$ 将每个坐标映射到自身。
  • 当图像经过一系列编辑操作（如仿射变换、抠图、透视变换等）时，利用对应的变换函数 $f$ 更新坐标表：$T_{new} = f(T_{old})$。
  • 通过逆操作 $T^{-1}$，可以将编辑后图像中的像素反向追踪回原始图像。
  • 如果两张编辑图像 $I_a$ 和 $I_b$ 都源自同一原始图像 $I_o$，可以通过 $I_o$ 作为桥梁，建立 $I_a$ 和 $I_b$ 之间的像素对应关系。
• 优势：提供了确定性的、无噪声的像素级真值（Ground Truth），而非概率性的启发式匹配。

2.2 CopyNCE：几何引导的对比损失

• 目标：利用 PixTrace 提供的精确映射，正则化 Patch 之间的亲和力（Affinity），将像素级的可追溯性转化为 Patch 级的相似性学习。
• 核心思想：
  • 传统的 InfoNCE 假设每个样本只有一个正样本。但在 ICD 中，一个 Query Patch 可能对应 Reference 中的多个 Patch（由于编辑导致的形变或分割），且重叠程度不同。
  • CopyNCE 引入先验目标分布：根据 PixTrace 计算出的 Patch 重叠像素比例（Overlap Ratio），定义正样本的概率分布。
  • 损失函数：将 InfoNCE 转化为 KL 散度形式，最小化模型预测的 Patch 亲和力分布与基于重叠比例计算出的先验分布之间的差异。
  • 公式逻辑：
    $$\mathcal{L}_{CopyNCE} = \mathbb{E} [ \sum q(R_j^r | R_i^q) \cdot (-\log p(R_j^r | R^X, R_i^q)) ]$$
    其中 $q$ 是由重叠比例决定的先验分布，$p$ 是模型预测的概率。
• 优势：
  • 抑制了非对应区域的监督噪声。
  • 鼓励模型识别出重叠区域，并区分不同重叠程度的重要性（通过参数 $\gamma$ 调节置信度锐化）。
  • 同时适用于 Descriptor（提取特征向量）和 Matcher（直接对图像对进行分类）两种架构。

3. 关键贡献 (Key Contributions)

1. PixTrace 管道：开发了一个全面的坐标映射管道，能够追踪各种编辑操作后的像素坐标，解决了现有方法中对应关系不准确的问题。
2. CopyNCE 损失函数：提出了一种新的对比损失，利用像素级的几何监督信息来正则化 Patch 间的亲和力，显著提升了复制检测和本地化的能力。
3. SOTA 性能与可解释性：在 DISC21 数据集上取得了最先进的性能，同时证明了该方法具有更好的可解释性（能更清晰地定位复制区域）。

4. 实验结果 (Results)

在 DISC21 数据集（图像相似度挑战赛）上进行了广泛实验：

• Matcher（匹配器）性能：
  • 达到 88.7% µAP / 83.9% RP90。
  • 相比之前的 SOTA 方法（如 D2LV），在 µAP 上提升了 0.1%，在 RP90 上提升了 3.8%。
  • 即使使用较小的 ViT-S 模型，配合 CopyNCE 也能超越使用更大模型（ViT-L）的基线方法。
• Descriptor（描述子）性能：
  • 达到 72.6% µAP / 68.4% RP90。
  • 优于 SSCD、Lyakaap 等现有方法，且在无需额外数据微调的情况下表现优异。
• 消融实验：
  • 证明了 PixTrace 优于启发式的 FeatNN 和 LocNN 方法。
  • 证明了 CopyNCE 损失比单纯的余弦损失（Cosine Loss）更有效，能避免模型坍塌。
  • 展示了参数 $\gamma$（控制重叠比例的重要性）和 $w_{NCE}$（损失权重）对性能的影响。
• 可解释性：
  • 通过热力图可视化，CopyNCE 能够清晰地聚焦于复制区域（如松鼠的眼睛），而基线模型的热力图则显得混乱。
  • 通过计算亲和力熵（Affinity Entropy），证明了 CopyNCE 能更准确地定位复制块。

5. 意义与影响 (Significance)

• 理论突破：首次将像素级的几何可追溯性系统地引入到自监督图像复制检测中，填补了视图级学习和细粒度对应学习之间的空白。
• 解决噪声问题：通过精确的坐标追踪，彻底消除了传统近邻匹配带来的“假阳性”和“假阴性”监督噪声，提升了模型在复杂编辑下的鲁棒性。
• 通用性：该方法不仅适用于图像，其思路（利用变换函数追踪坐标）也可扩展至视频复制检测（VCD）。
• 实际价值：在多媒体反盗版、内容检索等实际应用场景中，提供了更高精度和更强可解释性的解决方案。

总结：该论文通过利用编辑操作的确定性几何特性，构建了 PixTrace 和 CopyNCE，成功地将像素级的精确追踪转化为 Patch 级的鲁棒学习信号，在图像复制检测任务上实现了性能与可解释性的双重突破。