Resumen Técnico: Evaluación de la Marca de Agua en Conjuntos de Datos para la Trazabilidad del Ajuste Fino de Modelos de Difusión Personalizados

1. Declaración del Problema

La adopción rápida de técnicas de ajuste fino (por ejemplo, DreamBooth, LoRA, Inversión Textual) para modelos de difusión ha permitido la generación de contenido que imita identidades y estilos artísticos específicos. Sin embargo, esta capacidad introduce riesgos significativos de seguridad y ética, principalmente en lo que respecta a la infracción de derechos de autor (uso no autorizado de imágenes propietarias para el entrenamiento) y la responsabilidad (rastrear la fuente de contenido generado dañino o inapropiado).

Para abordar esto, se ha propuesto la marca de agua en conjuntos de datos, donde se incrustan marcas de agua imperceptibles en las imágenes de entrenamiento. Teóricamente, estas marcas de agua deberían persistir a través del proceso de ajuste fino y permanecer detectables en las salidas del modelo, permitiendo la atribución post-hoc. Sin embargo, los enfoques existentes adolecen de la falta de un marco de evaluación unificado, lo que dificulta evaluar su efectividad en diversos escenarios del mundo real. Además, la robustez de estos métodos frente a ataques de eliminación adversarios permanece en gran medida inexplorada.

2. Metodología

2.1. Modelo de Amenaza Unificado y Marco de Evaluación

Los autores formalizan un modelo de amenaza universal que involucra a dos partes: el Propietario de la Imagen (que incrusta marcas de agua para la protección de derechos de autor y la trazabilidad) y el Usuario de la Imagen (que puede utilizar conjuntos de datos mixtos o aplicar post-procesamiento para eliminar las marcas de agua).

Basándose en este modelo, el artículo propone un marco de evaluación integral que comprende tres dimensiones:

1. Universalidad: La capacidad de los métodos de marca de agua para funcionar a través de diversos paradigmas de ajuste fino (por ejemplo, Inversión Textual, DreamBooth, LoRA, Full-UNet) y tareas de generación (rostros, objetos virtuales, estilos artísticos).
2. Transmisibilidad: La capacidad de la señal de la marca de agua para propagarse a través del proceso de ajuste fino incluso cuando solo un subconjunto de los datos de entrenamiento está marcado con agua (por ejemplo, ratios de mezcla del 20% al 80%).
3. Robustez: La resiliencia de la marca de agua frente a operaciones comunes de procesamiento de imágenes (ruido gaussiano, desenfoque, compresión JPEG) y ataques adversarios dirigidos de eliminación.

2.2. Benchmark Integral

Los autores construyeron un benchmark que evalúa cuatro métodos de marca de agua en conjuntos de datos de código abierto de última generación: DIAGNOSIS, DiffusionShield, SIREN y WatermarkDM.

• Conjuntos de datos: CelebA-HQ (identidad facial), Pokémon (objetos virtuales) y WikiArt (estilos artísticos).
• Métricas: Calidad de generación (FID, CLIP-T) y precisión de detección de marcas de agua (Acc).
• Configuraciones: Los experimentos se realizaron en Stable Diffusion v1.4 (SD1.4) con diversas configuraciones de ajuste fino, incluyendo la congelación o el entrenamiento del codificador de texto.

2.3. Enfoque de Eliminación Propuesto (DeAttack)

Para evaluar la dimensión de robustez, el artículo introduce DeAttack, un marco práctico de eliminación de marcas de agua.

• Mecanismo: DeAttack utiliza una columna vertebral de autoencoder unificada que combina degradaciones multi-dominio (espacio de píxeles y espacio latente) con restauración de alta calidad.
• Proceso: Simula la degradación (por ejemplo, desenfoque gaussiano, inyección de ruido) seguida de una restauración adaptativa utilizando redes preentrenadas (IRNeXt para la eliminación de desenfoque, SwinIR para la eliminación de ruido y corrección de artefactos JPEG).
• Objetivo: Estimar una reconstrucción limpia que minimice la energía residual de la marca de agua mientras preserva la calidad perceptual de la imagen.

3. Resultados Clave

3.1. Universalidad y Transmisibilidad

• Universalidad: DiffusionShield demostró la mayor universalidad, logrando una precisión de detección cercana al 100% en todos los métodos de ajuste fino y conjuntos de datos. SIREN tuvo un rendimiento deficiente (~50% de precisión, equivalente a adivinar al azar), mientras que DIAGNOSIS y WatermarkDM mostraron un rendimiento variable dependiendo del método específico de ajuste fino (por ejemplo, el rendimiento disminuyó significativamente cuando se entrenó el codificador de texto).
• Transmisibilidad: Al utilizar conjuntos de datos mixtos (por ejemplo, 20% de imágenes con marca de agua), DiffusionShield mantuvo una alta precisión de detección (acercándose al 100%), mientras que DIAGNOSIS y WatermarkDM experimentaron caídas significativas en la precisión a medida que disminuía la proporción de imágenes con marca de agua.

3.2. Robustez frente a Distorsiones Comunes

Los métodos existentes generalmente mostraron resiliencia frente a operaciones comunes de procesamiento de imágenes como desenfoque gaussiano, compresión JPEG y ruido gaussiano. La precisión de detección se mantuvo alta para DiffusionShield y WatermarkDM bajo estas condiciones.

3.3. Vulnerabilidad a la Eliminación Dirigida

El hallazgo más crítico concierne a la dimensión de Robustez frente a ataques adversarios.

• Efectividad de DeAttack: El método propuesto DeAttack eliminó con éxito las marcas de agua en conjuntos de datos de todos los métodos evaluados, reduciendo la precisión de detección a niveles cercanos al azar (por ejemplo, ~50-55% para DiffusionShield, que anteriormente era ~100%).
• Preservación de la Calidad: Crucialmente, DeAttack logró esta eliminación manteniendo la calidad perceptual de las imágenes y el rendimiento de los modelos ajustados finamente (las puntuaciones FID y CLIP-T permanecieron comparables a las líneas base limpias).
• Generalizabilidad: La efectividad de DeAttack se validó en diferentes arquitecturas de difusión (SD1.4 y SDXL) y diversas estrategias de ajuste fino, lo que indica que los diseños actuales de marcas de agua no son robustos frente a ataques de eliminación principistas.

4. Significado y Contribuciones

El artículo realiza tres contribuciones principales:

1. Fundamento de Evaluación Principista: Establece un modelo de amenaza unificado y un marco de evaluación tridimensional (Universalidad, Transmisibilidad, Robustez) para evaluar sistemáticamente la marca de agua en conjuntos de datos para modelos de difusión.
2. Benchmark Integral: Proporciona un benchmark riguroso que revela que, si bien los métodos existentes (particularmente DiffusionShield) son efectivos en universalidad y transmisibilidad, carecen de robustez frente a la eliminación dirigida.
3. Exposición de Vulnerabilidades: Al proponer DeAttack, el artículo demuestra que las técnicas actuales de marca de agua en conjuntos de datos son frágiles frente a estrategias de eliminación avanzadas. Esto destaca una brecha crítica en los diseños actuales y subraya la necesidad urgente de desarrollar estrategias de marca de agua más robustas y conscientes del adversario.

Los autores concluyen que, si bien la marca de agua en conjuntos de datos muestra promesa para la trazabilidad, sus implementaciones actuales son insuficientes para escenarios de seguridad del mundo real donde actores maliciosos pueden emplear técnicas de eliminación dirigidas. El trabajo sirve como un llamado a la acción para que la comunidad desarrolle métodos de marca de agua que puedan resistir tales presiones adversarias.