💻 计算机科学

Transfer-Learned DeepLabV3+ Semantic Segmentation for Pixel-Level Image Forgery Localisation

本文提出了一种通过迁移学习得到的 DeepLabV3+ 模型，该模型实现了具有高精确度和高召回率的最先进像素级图像伪造定位，尽管其卓越的性能很大程度上归因于严重的数据泄露，即几乎所有的测试帧都是训练集的近乎重复样本。

原作者： Abhishek Thakur, Chin-Shiuh Shieh, Vishal Jain

发布于 2026-10-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Abhishek Thakur, Chin-Shiuh Shieh, Vishal Jain

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代世界中，一张照片很少仅仅是一张照片。它可能是法庭上的证据、新闻网站上的头条，或是社交媒体上分享的一段记忆。几十年来，专家们一直依赖被动方法来识别伪造，寻找图像被篡改后留下的细微统计误差，例如不匹配的光照或照片颗粒中的奇异模式。然而，这些方法大多只能回答一个简单的“是或否”的问题：这张图像是伪造的吗？对于需要知道究竟在哪里发生了篡改的调查人员来说，这个答案往往是不够的。要成为真正有用的工具，取证工具必须绘制出一张地图，标出被触碰过的特定像素，同时保持其余部分未受影响。这就是像素级定位（pixel-level localisation）的挑战，由于伪造区域相对于广阔的真实背景通常非常微小，且伪造区域的设计旨在看起来与真实事物完全一致，没有任何明显的视觉线索，这使得该任务变得异常困难。

一个研究小组开发了一种应对这一问题的新方法，创建了一个系统，它就像一只经过高度训练的眼睛，能够扫描整幅图像并将其中的每个像素标记为真实或篡改。他们基于一种被称为 DeepLabV3+ 的深度学习架构构建了计算机模型，该架构旨在同时理解图像在多个尺度上的上下文信息。该系统是在一个包含近 48,000 张被篡改图像的海量集合上进行训练的，每张图像都配有一个完美的、像素级的地图，精确显示了伪造发生的位置。研究人员教会了模型去寻找统计学上的不一致性，而非明显的视觉差异，使用了一种特定的数学策略，迫使计算机去关注那些微小的、罕见的伪造区域，而不是忽略它们而去关注庞大的、常见的背景。

训练结果令人瞩目。当在来自相同源材料的数千张图像上进行测试时，该系统以极高的准确度正确识别了伪造像素，找出了超过 94% 的篡改区域，同时在真实部分几乎没有出错。该模型生成的空间图清晰地勾勒出了篡改的边界，遵循物体的轮廓而非绘制块状、不精确的线条。这种水平的精确度是通过结合两种不同的学习目标实现的：一种衡量预测形状与真实形状的匹配程度，另一种评估每个单个像素的正确性。这种结合防止了模型陷入一个常见的陷阱，即简单地猜测整个图像都是真实的——这种错误在书面上看起来很成功，但在实践中却毫无用处。

然而，研究人员谨慎地解释了他们成功的局限性。他们发现其测试数据包含大量的重复；近 90.4% 的测试帧与训练集中的地面真值掩码（ground-truth masks）在位对位（bit-for-bit）上是完全相同的，且 94.6% 的图像在训练拆分中具有近乎重复的图像。这意味着模型正在处理与其已经学习过的材料在统计学上非常接近的内容。此外，一半的训练数据和一半的测试数据来自于一个公共取证基准测试中并未使用的颜色空间，由经过色彩转换的非自然图像组成。虽然该系统在处理这类特定数据时表现异常出色，证明了它能够学习特定伪造流程的模式，但作者提醒说，这并不保证它在处理完全不同类型的图像或来自不同来源的图像时也能同样有效。该研究明确排除了该模型已解决所有图像伪造检测这一普遍问题的观点，指出其性能表现是衡量其处理与其训练数据接近的材料时表现如何的有效指标，但不一定代表它在面对未见过的素材时的表现。

他们发现的核心结论是，训练方法的选择比数据集的大小本身更为重要。在早期的实验中，同样的计算机架构在采用标准方法训练时完全失败了，它会忽略掉伪造像素，仅通过在到处都猜测为背景来报告高准确率。通过转向一种专门对稀有伪造区域进行权重分配的方法，研究人员治愈了这种失败，使模型能够学习到篡改的细微迹象。他们还发现，从一个已经从海量日常照片库中学习过通用特征的模型开始，有助于系统更快地学习取证任务，尽管它正在分析的图像与它之前见过的图像并不相同。

这项工作代表了数字取证领域迈出的重要一步，并不是因为它解决了每一个案例，而是因为它展示了一种生成图像篡改详细地图的可靠方法。该系统为调查人员提供了一个可以直接指向照片被修改部分的工具，将模糊的怀疑转化为具体的关注区域。虽然研究人员承认，未来的工作必须在更多样化且更具挑战性的数据集上测试该系统，以确保其在现实世界中有效，但他们目前的结果表明，通过正确的训练方法，计算机可以被教导以惊人的清晰度看穿数字欺骗中隐形的痕迹。

技术摘要：用于像素级图像篡改定位的迁移学习 DeepLabV3+ 语义分割

问题定义
本文并非将数字图像篡改视为二元分类任务（篡改 vs. 真实），而是将其视为一个像素级语义分割问题。其目标是生成一个空间图，为每个像素分配类别，即“篡改”（Forged）或“背景”（Background，即真实）。这种表述的动机在于定位的取证效用：二元判定无法为鉴定人员提供可操作的证据，而空间图则允许对特定的篡改区域进行检查。

该任务与标准的目标分割有两点关键区别：

严重的类别不平衡： 篡改区域仅占图像的一小部分（在本研究的语料库中为 8.46%）。如果模型在所有地方都预测为“真实”，虽然能获得极高的全局准确率，但在取证上是毫无意义的。
缺乏语义线索： 篡改区域旨在模仿周围环境，缺乏特征性的语义特征（例如“汽车”或“行人”）。网络必须转而检测低级统计不一致性，这些是不易通过剧烈下采样破坏的高频特征。

方法论
提出的解决方案是使用在 47,824 帧篡改帧语料库上训练的、带有 ResNet-18 主干网络的迁移学习 DeepLabV3+ 架构。

架构： 该模型采用编码器-解码器结构。编码器（ResNet-18）经过修改，通过空洞卷积（dilated convolutions）将输出步长维持在 16（而非 32），以保留高频边界细节。它结合了空洞空间金字塔池化（ASPP），以便在不进行下采样的情况下聚合多尺度上下文。来自 res2x 层的低级跳跃连接（skip connection）被用于恢复编码过程中丢失的空间精度。
迁移学习： 主干网络使用 ImageNet 权重进行初始化。一个关键的实现细节是替换了默认输入层，以恢复 ImageNet 特有的均值和标准差统计特性；否则，直接输入 0–255 的原始值会使预训练权重失效。
损失函数： 为了解决类别不平衡问题，训练目标结合了 Soft Dice 损失和交叉熵损失（Cross-Entropy loss）。Dice 项优化区域重叠度，并按面积而非像素计数对类别进行加权，从而防止模型坍缩为多数类（这是使用未加权交叉熵的基准实验中观察到的失败模式）。
数据划分与增强： 语料库使用固定种子进行划分（70% 训练集，15% 验证集，15% 测试集）。几何增强（翻转、旋转、平移、缩放）仅应用于训练集。
训练协议： 模型使用 Adam 优化器进行 10 个 epoch 的训练，初始学习率为 $1 \times 10^{-4}$ ，并在第 6 个 epoch 时降低 0.3 倍。通过验证集上的篡改类交并比（IoU）进行早停监控。

核心贡献

受控消融实验： 作者通过在相同数据划分上训练四种配置，分离了损失函数、几何增强、预训练主干网络和语料库规模的影响。
量化的数据泄露审计： 一项严格的审计显示，90.4% 的测试帧与训练帧具有位对位（bit-for-bit）完全相同的地面真值掩码，且 94.6% 的测试帧在训练集中存在近乎重复的副本。这明确界定了结果属于“语料库内”性能，而非对未见来源视频的泛化能力。
全面评估： 研究报告了基于 12 亿个测试像素的全分辨率地面真值指标，包括每类精确率（precision）、召回率（recall）、F1 值、IoU、马修斯相关系数（MCC）以及无阈值 ROC 和精确率-召回率（PR）曲线。
可复现性： 整个流程得到了完整描述，包括框图、流程图，以及在不同 MATLAB 版本和硬件配置下的独立结果重新验证。

结果
在留出的测试集（7,173 幅图像，1,239,449,400 个像素）上进行评估，所提模型达到了：

篡改类 F1 分数： 0.9438（精确率：0.9416，召回率：0.9459）。
篡改类 IoU： 0.8935。
全局像素准确率： 0.9905。
马修斯相关系数 (MCC)： 0.9385。
AUC-ROC： 0.9982；AUC-PR： 0.9870。

对比分析显示，该模型较本研究中表现最好的先前配置（经过调优的 U-Net）有显著提升，后者的篡改类 F1 仅为 0.7307。所提模型将其提高了 21.31 个百分点。至关重要的是，使用未加权交叉熵训练的基准 U-Net 坍缩至篡改类召回率 0.00008，证明了组合损失函数的必要性。

训练与测试之间的准确率差距仅为 0.01 个百分点，表明没有明显的过拟合。在 MATLAB R2022b 上使用较小 batch size 进行的独立重新验证得出了相近的结果（篡改 F1 ~0.93），证实了该架构和训练循环的鲁棒性。

意义与局限性
论文声称，大规模语料库、空洞编码器-解码器架构以及区域重叠损失函数的结合，使得在统计特性与训练数据相似的材料上实现高精度像素级定位成为可能。研究表明，即使不存在语义对应关系，从 ImageNet 进行迁移学习对于检测统计不一致性也是有效的。

然而，作者也明确指出了局限性：

数据泄露： 训练集与测试集之间高度的帧重复意味着报告的分数（F1 0.9438）代表的是针对与训练数据极其接近的材料的语料库内定位。作者明确指出，这些数值并非对未见来源视频或对抗性公开基准测试（如 CASIA、NIST16）的性能估计。
语料库构成： 语料库的一半由颜色变换后的渲染图组成，而非自然照片，这限制了其向标准取证基准的直接迁移能力。
缺乏鲁棒性测试： 模型未针对 JPEG 重压缩或噪声添加等后处理攻击进行评估。

论文总结道，虽然该架构和损失函数成功防止了模型坍缩并在特定语料库上实现了高性能，但针对对抗性、跨数据集场景的泛化差距仍是一个开放性问题，未来的工作需要进行片段级划分和跨数据集评估。

技术摘要：用于像素级图像篡改定位的迁移学习 DeepLabV3+ 语义分割

类似论文