High-Fidelity Face Content Recovery via Tamper-Resilient Versatile Watermarking

1. Problema y Contexto

La proliferación de contenido generado por IA (AIGC) y deepfakes faciales representa una amenaza crítica para la autenticidad, la integridad y la protección de derechos de autor de los medios digitales. Los métodos de detección pasiva existentes son cada vez menos efectivos frente a manipulaciones sofisticadas y desconocidas.

Los sistemas de marcaje de agua versátiles actuales (que combinan protección de derechos y localización de manipulaciones) sufren de dos limitaciones principales:

1. Compromiso entre fidelidad y funcionalidad: Para localizar manipulaciones, estos sistemas suelen incrustar cargas útiles de localización explícitas y grandes, lo que degrada la calidad visual de la imagen y reduce la robustez de la marca de agua ante ediciones generativas fuertes.
2. Falta de recuperación de contenido: La mayoría de los métodos no permiten reconstruir la imagen original tras una manipulación, lo que limita su utilidad forense cuando se requiere evidencia fiel.

2. Metodología: VeriFi

Los autores proponen VeriFi, un marco unificado de marcaje de agua proactivo que integra tres funciones clave: protección de derechos de autor, localización de manipulaciones a nivel de píxel y recuperación de contenido facial de alta fidelidad.

Arquitectura General

El sistema consta de cuatro módulos integrados:

1. Incrustador Unificado de Marca de Agua (URW Embedder): Inserta dos señales en la imagen original ($I_{ori}$):
   • Un código de propiedad discreto ($w_{cop}$) para la verificación de derechos.
   • Un latente semántico compacto ($z_{face}$) derivado de un Autoencoder Variacional (VAE) preentrenado, que actúa como una "huella" semántica para la recuperación.
2. Simulador de Ataques AIGC: Utilizado exclusivamente durante el entrenamiento para mejorar la robustez. Combina:
   • Mezcla Latente: Grafting de características en el espacio latente entre la imagen marcada y una fuente externa.
   • Mezcla de Imágenes (Poisson Blending): Fusión suave de rostros para simular reemplazos realistas.
   • Degradación Aleatoria: Compresión JPEG, ruido gaussiano, etc.
3. Localizador de Falsificación Guiado por Marca de Agua:
   • En lugar de usar una carga útil separada para la localización, el sistema detecta inconsistencias espaciales.
   • Compara las características visuales de la imagen manipulada con las características derivadas de la señal de marca de agua decodificada.
   • Las áreas donde la marca de agua falla o se degrada indican la manipulación, generando un mapa de probabilidad de falsificación ($\hat{M}$).
4. Red de Recuperación de Deepfake Guiada por Marca de Agua:
   • Utiliza un transformador de doble flujo con atención cruzada espacialmente gateada.
   • Entradas: La imagen manipulada (enmascarada), el proxy de contenido reconstruido a partir del latente ($\hat{I}_b$), el latente semántico decodificado ($\hat{z}_{face}$) y el mapa de manipulación ($\hat{M}$).
   • Mecanismo: El mapa $\hat{M}$ actúa como una puerta (gating mechanism) que permite que las características semánticas del latente solo se fusionen en las regiones manipuladas, preservando el contenido auténtico en el resto de la imagen.

3. Contribuciones Clave

1. Recuperación de Alta Fidelidad: Introduce un esquema de marcaje de agua semántica compacta que permite reconstruir el rostro original incluso después de manipulaciones severas, actuando como un prior semántico fuerte.
2. Localización sin Artefactos Adicionales: Logra una localización precisa a nivel de píxel correlacionando las características de la imagen con la señal de derechos de autor decodificada, eliminando la necesidad de incrustar cargas útiles de localización que degraden la calidad visual.
3. Simulador de Ataques AIGC Realista: Desarrolla un simulador que modela tanto la mezcla en el espacio latente como la fusión en el espacio de la imagen, exponiendo la red a un espectro más amplio de perturbaciones realistas durante el entrenamiento.
4. Marco Unificado: Es la primera solución que unifica exitosamente protección de derechos, localización y recuperación en un solo sistema, superando el compromiso tradicional entre calidad visual y funcionalidad forense.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos CelebA-HQ y FFHQ, comparando VeriFi con métodos de vanguardia (EditGuard, OmniGuard, StableGuard, WAM, Imuge+, etc.).

• Localización de Manipulaciones: VeriFi superó consistentemente a los métodos pasivos y activos. En la tarea de Splicing (unión de imágenes), logró un F1 de 0.989 y un mIoU de 0.985, superando significativamente a los baselines (ej. EditGuard con 0.869 en F1).
• Recuperación de Contenido: Bajo ataques de SD Inpainting y HD-painter, VeriFi alcanzó un PSNR de ~31 dB y un SSIM de ~0.90, superando a Imuge+ y DFREC. Los rostros recuperados mostraron detalles finos y consistencia semántica con el original.
• Robustez de la Marca de Agua: Mantuvo una precisión de extracción promedio del 97.70% bajo diversas manipulaciones AIGC y degradaciones comunes, logrando un equilibrio óptimo entre fidelidad visual (PSNR 42.53 dB) y robustez.
• Eficiencia: El sistema tiene un tamaño total de ~157 millones de parámetros y una latencia de inferencia de 82.75 ms por imagen en una GPU RTX 3090, lo que lo hace viable para aplicaciones en tiempo real o casi real.

5. Significado e Impacto

VeriFi representa un avance significativo en la ciberseguridad y la forense de medios. Al resolver el dilema entre la calidad visual y la capacidad de recuperación/localización, ofrece una solución práctica para:

• Protección de Derechos de Autor: Verificación robusta de la procedencia de imágenes.
• Forense Digital: Capacidad no solo para detectar falsificaciones, sino para reconstruir la evidencia original, crucial para procesos legales y de verificación de hechos.
• Defensa Proactiva: A diferencia de los detectores reactivos, VeriFi se integra en el flujo de creación/distribución, proporcionando una defensa resiliente contra la evolución de los modelos generativos.

En resumen, el trabajo establece un nuevo estándar para la defensa proactiva contra deepfakes, demostrando que es posible recuperar la integridad del contenido original sin sacrificar la calidad visual ni la capacidad de detección.