💻 computer science

High-Fidelity Face Content Recovery via Tamper-Resilient Versatile Watermarking

本文提出了 VeriFi 框架，通过嵌入紧凑的语义潜在水印和关联图像特征，在无需牺牲视觉保真度的前提下，实现了集版权保护、像素级篡改定位与高保真人脸内容恢复于一体的抗 AIGC 攻击的通用水印方案。

原作者： Peipeng Yu, Jinfeng Xie, Chengfu Ou, Xiaoyu Zhou, Jianwei Fei, Yunshu Dai, Zhihua Xia, Chip Hong Chang

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Peipeng Yu, Jinfeng Xie, Chengfu Ou, Xiaoyu Zhou, Jianwei Fei, Yunshu Dai, Zhihua Xia, Chip Hong Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 VeriFi 的新系统，它就像是一个给照片（特别是人脸照片）安装的"超级智能隐形防盗锁"。

在现在的 AI 时代，生成假照片（Deepfake）太容易了，坏人可以轻易把张三的脸换到李四身上，或者把照片里的某个人 P 掉。这带来了两个大问题：

怎么证明照片是真的？（版权和来源）
如果照片被 P 了，能不能把原来的样子找回来？（内容恢复）

以前的技术要么只能防盗，要么只能发现哪里被 P 了，而且往往为了防盗，照片画质会变差。VeriFi 则是一个“三合一”的超级方案，它同时解决了这三个难题。

我们可以用三个生动的比喻来理解它的工作原理：

1. 核心秘密：给照片盖一个“隐形指纹”

想象一下，你在一张珍贵的照片里藏了一个极小的、肉眼看不见的“隐形指纹”。

版权证明：这个指纹里藏着主人的名字（比如“这是张三的照片”）。即使照片被坏人拿去 P 图、压缩或者换脸，只要指纹还在，就能证明“这照片原本是我的”。
高保真：以前的技术为了藏这个指纹，往往会让照片变得模糊（就像为了藏秘密把画弄脏了）。但 VeriFi 的指纹藏得非常巧妙，完全不影响照片的清晰度，看起来和原图一模一样。

2. 侦探功能：指纹坏了的地方，就是被 P 过的地方

这是 VeriFi 最聪明的地方。

以前的做法：为了找出哪里被 P 了，需要在照片里再藏一个“地图标记”，但这会让照片更模糊，而且标记容易被擦掉。
VeriFi 的做法：它不需要额外的标记。它利用那个“隐形指纹”来当侦探。
- 原理：想象指纹像一张完整的拼图。如果坏人把照片的一部分（比如把鼻子 P 了），那么指纹里对应鼻子的那部分就会断裂或损坏。
- 效果：VeriFi 只要检查指纹哪里“断”了，就能精准地画出哪里被篡改了。指纹没断的地方就是真的，断了的地方就是假的。这就像警察通过指纹的破损处，直接锁定了犯罪现场。

3. 时光机功能：用“记忆碎片”把脸修好

这是 VeriFi 最厉害的创新。

以前的困境：如果照片被 P 得面目全非，以前的技术只能告诉你“这里被 P 了”，但修不回来原来的样子。
VeriFi 的做法：它在藏指纹的时候，顺便藏了一张压缩版的“人脸记忆”（就像把原图压缩成一张极小的“记忆芯片”）。
- 过程：当照片被 P 坏了，VeriFi 先通过“侦探功能”找出坏掉的地方，然后取出那张“记忆芯片”。
- 结果：它利用这个“记忆芯片”作为参考，像3D 打印一样，把被 P 坏的脸原封不动地重新打印出来。哪怕坏人把整张脸都换了，VeriFi 也能根据藏起来的“记忆”，把张三原本的脸完美地恢复出来。

4. 训练场：在“模拟战场”里练级

为了让这个系统更强大，作者还设计了一个AI 攻击模拟器。

这就好比在训练一个保镖。普通的训练只是让他看几张假照片。
VeriFi 的训练场里，AI 会自己扮演坏人，用各种高难度的手段（比如把两张脸在代码层面混合、无缝融合）来攻击照片。
在这个“模拟战场”里练出来的 VeriFi，到了现实世界中，面对任何高明的 Deepfake 攻击都能轻松应对，非常 robust（鲁棒）。

总结：VeriFi 到底牛在哪里？

传统方法	VeriFi (本文方案)	比喻
画质 vs 功能	为了防盗，画质会变差。	为了防盗，把画弄脏了。
VeriFi	画质完美，功能强大。	画依然清晰，但锁更结实。
发现篡改	需要额外标记，容易出错。	指纹断裂处即真相，精准定位。
恢复原貌	做不到。只能报警，不能复原。	自带“时光机”，能完美复原原图。

一句话总结：
VeriFi 就像给每个人脸照片装了一个隐形的、不会损坏画质的、还能自动修复破损的“超级保险箱”。不管坏人怎么 P 图，它既能证明照片是谁的，能指出哪里被改了，还能把被改坏的部分完美地“变”回原来的样子。这对于打击网络谣言、保护肖像权和打击 AI 诈骗具有巨大的实用价值。

论文技术总结：基于抗篡改多功能水印的高保真人脸内容恢复 (VeriFi)

1. 研究背景与问题 (Problem)

随着 AIGC（人工智能生成内容）和深度伪造（Deepfake）技术的飞速发展，人脸合成与篡改变得极其逼真，给媒体来源的真实性、完整性及版权保护带来了严峻挑战。现有的防御手段存在以下核心痛点：

保真度与功能的权衡（Fidelity-Functionality Trade-off）： 现有的多功能水印系统（如 EditGuard, OmniGuard）通常依赖嵌入显式的“定位载荷”来实现篡改检测。为了容纳这些定位信息，往往需要增加嵌入强度，导致视觉质量下降（保真度降低），且在强生成式编辑下解码鲁棒性减弱。
缺乏内容恢复能力： 大多数水印方法仅能检测篡改或验证版权，无法在篡改发生后恢复原始人脸内容。当需要重建原始证据时，现有方法无能为力。
对 AIGC 攻击的鲁棒性不足： 传统的被动检测器难以应对未见过的复杂 AIGC 编辑，而现有的主动水印方法在模拟真实深度伪造流程（如潜在空间混合与无缝融合）方面训练不足。

2. 方法论 (Methodology)

作者提出了 VeriFi，一个统一的、抗篡改的多功能水印框架，旨在同时实现版权保护、像素级篡改定位和高保真人脸内容恢复。其核心架构包含四个紧密集成的模块：

2.1 统一恢复 - 版权水印嵌入与提取 (URW Embedder & Extractor)

双重信号嵌入： 系统同时嵌入两个信号：
1. 离散所有权代码 ( $w_{cop}$ )：用于版权验证。
2. 紧凑的语义人脸潜变量 ( $z_{face}$ )：基于预训练 VAE 提取的低维潜在编码，作为内容恢复的语义先验。
优势： 相比直接嵌入原始图像像素，嵌入紧凑的语义潜变量既保证了不可感知性，又保留了恢复原始人脸所需的关键信息。

2.2 水印引导的伪造定位网络 (Watermark-Guided Forgery Locator)

核心洞察： 篡改区域会导致嵌入的水印信号损坏或消失，从而产生空间不一致性。
机制： 采用双分支 Swin-Unet 架构。
- 图像分支：提取篡改图像的语义特征。
- 水印分支：提取解码后的水印特征。
- 相似度计算： 在多个尺度上计算两路特征图的余弦相似度。篡改区域的水印特征与图像特征不匹配（相似度低），从而生成高精度的篡改概率图 ( $\hat{M}$ )。
创新点： 无需嵌入额外的定位载荷，利用版权信号本身的损坏作为定位先验，解决了保真度与功能的矛盾。

2.3 水印引导的深度伪造恢复网络 (Watermark-Guided Deepfake Recovery)

输入： 篡改图像（根据掩码处理）、由 $z_{face}$ 重建的粗略人脸代理 ( $\hat{I}_b$ )、解码的人脸潜变量 ( $\hat{z}_{face}$ ) 以及预测的篡改掩码 ( $\hat{M}$ )。
架构： 基于双流 Transformer 的恢复网络。
- 利用空间门控交叉注意力机制 (Spatially Gated Cross-Attention)，将语义先验（水印）仅注入到预测的篡改区域，防止语义泄露到未篡改区域。
- 自适应融合篡改图像的局部细节与水印提供的全局语义结构，实现高保真恢复。

2.4 AIGC 攻击模拟器 (AIGC Attack Simulator)

目的： 在训练阶段模拟真实的深度伪造攻击流程，提升模型鲁棒性。
流程：
1. 潜在空间混合 (Latent Mixing)： 在 VAE 潜在空间中对水印图像和源人脸的潜变量进行通道级随机混合，模拟生成式模型的内部特征融合。
2. 图像融合 (Image Blending)： 使用泊松融合 (Poisson Blending) 将源人脸无缝集成到生成图像中，模拟真实的替换效果。
3. 随机退化： 加入 JPEG 压缩、高斯噪声等常见退化。

3. 主要贡献 (Key Contributions)

统一框架： 首次提出将版权保护、像素级定位和高保真内容恢复统一在一个抗篡改水印框架中。
无定位载荷的定位机制： 设计了水印引导的定位网络，利用解码后的版权信号作为空间先验，无需额外嵌入定位信息，打破了视觉质量与功能性的权衡。
基于语义先验的内容恢复： 引入紧凑的语义潜变量作为恢复先验，即使在严重篡改下也能高保真重建原始人脸。
高保真攻击模拟： 提出结合潜在空间混合与无缝融合的 AIGC 攻击模拟器，显著提升了模型对真实深度伪造攻击的鲁棒性。

4. 实验结果 (Results)

在 CelebA-HQ 和 FFHQ 数据集上进行了广泛实验，对比了包括 EditGuard, OmniGuard, StableGuard, WAM 等在内的 SOTA 方法。

篡改定位 (Tamper Localization)：
- 在 SD Inpainting, HD-painter, Splicing 三种攻击下，VeriFi 的 F1 分数分别达到 0.946, 0.975, 0.989，显著优于现有方法（如 EditGuard 的 0.867, OmniGuard 的 0.804）。
- 定位边界更加清晰，AUC 和 mIoU 指标均表现最佳。
人脸恢复 (Face Recovery)：
- 在 SD Inpainting 攻击下，VeriFi 在 CelebA-HQ 上达到 31.05 dB PSNR 和 0.894 SSIM，远超 Imuge+ (21.49 dB) 和 DFREC (21.14 dB)。
- 恢复的人脸在视觉细节和语义一致性上（低 FID）均优于基线，能够重建被遮挡或严重篡改的区域。
水印鲁棒性与保真度 (Robustness & Fidelity)：
- 水印提取平均准确率高达 97.70%，在多种 AIGC 攻击（如 InfoSwap, MaskFaceGAN）下保持高准确率。
- 嵌入后的图像质量极高（PSNR 42.53 dB, SSIM 0.948），实现了保真度与鲁棒性的最佳平衡。
效率分析：
- 端到端推理延迟约为 82.75 ms/图像（在单张 RTX 3090 上），满足近实时应用需求。

5. 意义与价值 (Significance)

解决核心矛盾： VeriFi 成功解决了现有水印技术中“视觉质量”、“定位精度”与“内容恢复”难以兼得的问题，提供了一种无需牺牲视觉质量即可实现多功能防御的方案。
主动防御新范式： 从被动的“检测伪造”转向主动的“验证来源 + 恢复证据”，为数字取证提供了完整的证据链（版权验证 + 篡改定位 + 原始内容重建）。
应对 AIGC 挑战： 通过创新的攻击模拟器和语义潜变量嵌入，显著提升了模型对生成式 AI 攻击的适应能力，为应对未来更复杂的深度伪造技术奠定了坚实基础。
实际应用潜力： 该方法在社交媒体、新闻验证、法律取证等场景中具有极高的应用价值，能够有效保护人脸数据的版权并还原被篡改的真相。