DiffusionPrint: Learning Generative Fingerprints for Diffusion-Based Inpainting Localization

1. El Problema: Localización de Falsificaciones en Inpainting Generativo

El auge de modelos de inteligencia artificial generativa basados en difusión (como Stable Diffusion, FLUX y Adobe Firefly) ha transformado la manipulación de imágenes. A diferencia de las técnicas tradicionales de "splicing" (donde solo se reemplazan píxeles en una región específica), estos modelos modernos utilizan un proceso de inpainting totalmente regenerativo.

• Desafío Principal: En estos modelos, la generación y la mezcla ocurren en un espacio latente comprimido, y la imagen final se reconstruye completamente mediante un decodificador VAE (Autoencoder Variacional). Esto significa que todos los píxeles de la imagen, incluso aquellos fuera de la máscara de inpainting que semánticamente no cambiaron, son reconstruidos globalmente.
• Fallo de Métodos Existentes: Las técnicas forenses actuales (como Noiseprint++) dependen de patrones de ruido de la cámara o artefactos de adquisición que se preservan en las regiones no manipuladas. La reconstrucción latente global destruye estos patrones de ruido locales e induce un desplazamiento espectral global en todos los píxeles, haciendo que las señales forenses tradicionales sean ineficaces o confusas.

2. Metodología: DiffusionPrint

Los autores proponen DiffusionPrint, un marco de aprendizaje contrastivo a nivel de parches diseñado para aprender una "huella digital generativa" robusta frente a las distorsiones espectrales.

A. Estrategia de Pares Positivos Asimétricos

El núcleo del método es una construcción de pares de entrenamiento diseñada para enseñar al modelo a ser invariante a la reconstrucción latente en regiones auténticas, pero sensible a la huella generativa en regiones creadas:

1. Pares Generados (Dentro de la máscara): Se toma una imagen generada por un modelo $g_i$ y se le aplica inpainting usando la variante de inpainting del mismo modelo $g_i$. Los parches originales y los nuevos parches sintetizados en la misma posición espacial forman un par positivo. Esto enseña al codificador a capturar la huella digital generativa compartida.
2. Pares Auténticos (Fuera de la máscara): Se toman imágenes reales y se les aplica inpainting con múltiples generadores. Los parches originales (reales) se emparejan con sus contrapartes reconstruidas por los diferentes modelos. Esto fuerza al codificador a aprender representaciones invariantes a los artefactos de reconstrucción latente, ignorando el desplazamiento espectral global.

B. Entrenamiento Contrastivo Estilo MoCo

DiffusionPrint utiliza una arquitectura similar a MoCo (Momentum Contrast):

• Codificador de Momento: Un codificador objetivo ($f_{\bar{\theta}}$) actualizado mediante un promedio móvil exponencial para estabilizar los embeddings de los pares positivos.
• Cola de Negativos Duros Cruzados (Cross-Category Hard Negative Mining): Se mantiene una cola de embeddings etiquetados por categoría (auténtico vs. inpaintado). Para cada ancla, se seleccionan los negativos más similares de la categoría opuesta. Esto enfoca el aprendizaje en los casos más difíciles (parches generados que se parecen a reales y viceversa), empujando al modelo a encontrar las señales forenses discriminativas.
• Cabeza de Clasificación Consciente del Generador: Se añade una cabeza de clasificación lineal (opcional durante el entrenamiento) que predice no solo si es real/falsificado, sino también el modelo generativo específico (SD 2.1, SDXL, Flux). Esto ayuda al backbone a aprender huellas digitales específicas del generador que generalizan mejor.

C. Arquitectura

Utiliza una red convolucional (DnCNN) que mantiene las dimensiones espaciales, produciendo un mapa de características denso que puede fusionarse con las características RGB en marcos de localización posteriores.

3. Contribuciones Clave

1. Nuevo Marco de Aprendizaje: DiffusionPrint es el primer enfoque diseñado específicamente para el escenario de inpainting totalmente regenerativo, aprendiendo una señal forense invariante a la reconstrucción latente.
2. Estrategia de Emparejamiento Innovadora: La construcción de pares asimétricos (generados vs. reconstruidos) permite separar la señal forense de los artefactos de reconstrucción global.
3. Generalización Robusta: El método demuestra capacidad de generalización a arquitecturas generativas no vistas durante el entrenamiento (ej. entrenar solo en SD y probar en Flux).
4. Mejora en Marcos de Fusión: Se integra como un módulo "plug-and-play" en frameworks de fusión forense existentes (TruFor, MMFusion), reemplazando a Noiseprint++.

4. Resultados Experimentales

El modelo se evaluó en el benchmark TGIF (Text-guided Image Forgery) utilizando modelos SD 2.1, SDXL y varias variantes de Flux.

• Rendimiento de Localización: DiffusionPrint superó consistentemente a Noiseprint++ en todos los frameworks de fusión probados.
  • Logró mejoras de hasta +28% en la precisión de localización (F1-score) en tipos de máscaras no vistos durante el entrenamiento (máscaras aleatorias).
  • En el escenario de generalización (entrenado solo en SD 2.1/SDXL y probado en Flux), DiffusionPrint mantuvo un rendimiento competitivo o superior, demostrando que aprende una señal fundamental y no solo "atajos" específicos de un modelo.
• Análisis de Representación: En pruebas de "linear probing" (evaluación de la calidad de los embeddings sin ajustar el clasificador final), DiffusionPrint alcanzó una precisión del 88.17%, superando significativamente a las líneas base de emparejamiento estándar.
• Análisis Cualitativo: Los mapas de localización generados por DiffusionPrint son más limpios y precisos, con menos falsos positivos en regiones auténticas en comparación con los métodos basados en ruido.

5. Significado e Impacto

Este trabajo es fundamental porque aborda una brecha crítica en la forense digital: la obsolescencia de los métodos tradicionales frente a la nueva generación de editores de IA que reconstruyen imágenes completas.

• Cambio de Paradigma: Demuestra que la detección de falsificaciones en inpainting generativo no debe basarse en la preservación de ruido de sensor, sino en la detección de huellas digitales generativas inherentes al proceso de difusión.
• Aplicabilidad Práctica: Al funcionar como un extractor de características que se puede integrar en sistemas existentes, DiffusionPrint ofrece una solución inmediata para mejorar la detección de desinformación visual generada por IA, incluso cuando los atacantes utilizan modelos de vanguardia o máscaras complejas.
• Futuro: Abre la puerta a pipelines forenses unificados que puedan manejar tanto manipulaciones tradicionales (splicing) como regenerativas, independientemente del tipo de manipulación o del modelo generativo utilizado.

En resumen, DiffusionPrint establece un nuevo estado del arte para la localización de falsificaciones en imágenes editadas con difusión, superando las limitaciones físicas de los métodos basados en ruido mediante un aprendizaje contrastivo inteligente y específico del dominio.