技术摘要：LocateEdit-Bench

问题陈述

AI 驱动的图像编辑技术（特别是从基于掩码的修复向基于指令的编辑的转变，由多模态扩散 Transformer 等模型驱动）的快速发展，造成了数字取证领域的关键空白。虽然传统的伪造定位方法在面对由显式掩码定义的篡改（这些掩码提供低级边界信号）时非常有效，但它们在应对指令驱动的编辑时却显得力不从心。这些现代编辑具有语义连贯性和视觉无缝性，缺乏预定义的边界，使得现有的定位技术失效。目前缺乏专门用于评估针对这种新型指令驱动范式下定位方法的规模化、高质量数据集和基准测试。

方法论

1. 数据集构建 (LocateEdit-Bench)

作者引入了 LocateEdit-Bench，这是一个包含 231,000 张编辑图像及其对应像素级分割掩码的大规模数据集。其构建流程包含三个主要阶段：

• 数据收集： 从 OmniEdit 数据集（120 万个样本）开始，作者对原始图像和 GPT-4o 生成的指令进行了过滤。他们利用视觉语言模型（Qwen3-VL）来确保语义合理性，剔除了目标对象在上下文中不协调或不存在的指令。这最终产生了约 40 万个高质量的“图像-指令”对。
• 图像编辑： 过滤后的配对使用四种最先进的基于指令的编辑模型进行处理：Qwen-Image-Edit、Flux-Kontext、Step1X-Edit 和 BAGEL。这些模型代表了专门的编辑架构以及统一的生成-理解框架。图像被调整为约 1024×1024 像素，以匹配模型的偏好。
• 掩码生成： 由于基于指令的编辑不提供地面真值（ground-truth）掩码，作者采用了多模型分割框架。ChatGPT 分析指令以识别目标对象，随后使用 SAM3（Segment Anything Model 3）对目标进行分割。通过应用置信度阈值（>0.5）来确保掩码质量。

该数据集涵盖了三种基本的篡改类型：物体添加（Object Addition）、物体替换（Object Swap）以及属性修改（Attribute Modification）。

2. 评估协议

为了严格评估定位方法，作者设计了两种评估协议：

• 协议 1（全集评估）： 模型在包含所有编辑模型的复合数据集上进行训练，并在每个单独的类别上进行测试，以评估通用的定位能力。
• 协议 2（跨编辑器泛化）： 模型仅在来自单一编辑模型的数据上进行训练，并在所有其他类别上进行测试。这模拟了现实世界中取证工具遇到未见过的编辑算法的情景。

此外，还针对常见的后处理操作（特别是 JPEG 压缩和 高斯模糊）进行了鲁棒性测试。

3. 指标

评估侧重于像素级的性能表现，使用：

• 分类指标： 准确率（Accuracy）、AUC 和 F1 分数。
• 分割指标： Dice 相似系数（Dice Score）和交并比（IoU）。
• 阈值处理： 大多数模型使用标准的 0.5 阈值，而 ObjectFormer 使用等错误率（EER）阈值。

关键结果

现有方法的性能

对最先进的定位方法（如 ObjectFormer、PSCC-Net、IML-ViT、PIM-Net、Mesorch）以及原生分割模型（如 CLIP、SegFormer、DINOv3）进行的广泛基准测试揭示了显著的局限性：

• 具备可行性但难度极高： 虽然定位是可行的，但现有方法表现出巨大的性能差距。传统的像素级指标（准确率、AUC）往往会被大面积未受影响的背景区域所夸大，从而掩盖了在实际编辑区域上的糟糕表现。
• 语义推理至关重要： SegFormer（一种原生分割模型）取得了最佳的整体性能，紧随其后的是使用 SegFormer 作为骨干网络的 Mesorch。这表明，对于此类任务，深度集成语义特征比低级异常检测更为有效。依赖于低级信号的方法（如 ObjectFormer）在分割指标上的表现较差。
• 依赖于编辑器： 性能随编辑模型的变化而显著不同。BAGEL 编辑的图像最具挑战性，而 Flux-Kontext 编辑的图像则最容易定位。这表明伪造痕迹与编辑架构高度相关。

泛化性与鲁棒性

• 跨编辑器失败： 在跨编辑器泛化协议中，所有模型在测试未见过的编辑器时都出现了大幅度的性能下降。这凸显了当前方法无法捕捉跨模型的共性，原因可能是不同的编辑器引入了截然不同的视觉伪影和语义不一致性。
• 对退化的敏感性： 鲁棒性分析显示，在 JPEG 压缩和高斯模糊下，性能呈现一致性的下降。基于分割的指标（F1、Dice）尤其敏感，这表明图像质量的退化掩盖了细粒度的篡改痕迹。

意义与主张

本文将 LocateEdit-Bench 定位为下一代图像取证的基础资源。其主要贡献在于：

1. 弥补差距： 它是第一个致力于定位基于指令的图像编辑的大规模基准测试，解决了仅关注修复（inpainting）的数据集的过时问题。
2. 揭示局限： 该基准测试暴露了当前取证工具的关键局限性，证明了它们在面对现代指令驱动编辑的语义连贯性和视觉无缝性时缺乏鲁棒性。
3. 指导未来研究： 通过确立语义特征集成优于低级信号分析，并强调不同编辑器之间的泛化差距，本研究为开发编辑器无关（editor-agnostic）且具备语义感知能力的定位方法提供了明确的方向。

作者总结道，尽管这项任务极具挑战性，但该数据集提供了必要的设施，以跟上 AI 驱动的图像篡改不断演变的格局，最终支持开发更可靠的数字媒体完整性检测工具。