SemBind: Binding Diffusion Watermarks to Semantics Against Black-Box Forgery Attacks

Resumen Técnico: SemBind – Vinculación de Marcas de Agua de Difusión a la Semántica contra Ataques de Falsificación de Caja Negra

Planteamiento del Problema

Las marcas de agua basadas en el espacio latente, que incrustan información en el ruido inicial de los Modelos de Difusión Latente (LDM), ofrecen un método robusto para la atribución de imágenes y la protección de derechos de autor. Son favorecidas por su capacidad de ser indetectables (estadísticamente indistinguibles de los resultados no marcados) y robustas ante transformaciones comunes de imagen. Sin embargo, estos esquemas enfrentan una vulnerabilidad crítica: ataques de falsificación de caja negra (black-box forgery attacks).

En estos ataques, un adversario con acceso de caja negra al modelo de un proveedor y al menos una imagen marcada puede transferir la marca de agua a contenido ilícito generado bajo diferentes prompts o desde diferentes modelos. Dos estrategias principales permiten esto:

1. Imprinting (Impronta): El atacante optimiza una perturbación en el latente de una imagen objetivo para que, al ser invertida a través de un modelo proxy, coincida con el latente de la marca de agua robada.
2. Reprompting (Re-prompteado): El atacante reutiliza el latente inicial invertido de una imagen marcada para generar nuevas imágenes con diferentes prompts, potencialmente maliciosos.

Las defensas actuales son ineficaces porque las marcas de agua basadas en latentes residen puramente en el ruido inicial. Fortalecer la robustez contra perturbaciones naturales aumenta inadvertidamente la tolerancia a latentes falsificados, creando un compromiso (trade-off) donde mejorar una métrica degrada la seguridad contra la falsificación.

Metodología: SemBind

Los autores proponen SemBind, el primer marco de defensa diseñado para resistir la falsificación de caja negra mediante la vinculación de las señales de la marca de agua latente a la semántica de la imagen. El mecanismo central consiste en un máscara semántica aprendida que modula el latente marcado basándose en el contenido semántico de la imagen generada.

1. Arquitectura y Entrenamiento del Máscara Semántica

• Arquitectura: El máscara $f_\theta$ consiste en un codificador de imágenes semánticas congelado (por ejemplo, DINOv2-Giant) acoplado con una red de hashing ligera basada en MLP. Mapea una imagen $x$ a un código binario $m \in \{0, 1\}^B$.
• Objetivo de Entrenamiento: El máscara se entrena utilizando aprendizaje contrastivo sobre un gran corpus de imágenes condicionadas por prompts. El objetivo es producir:
  • Códigos casi invariantes para imágenes generadas desde el mismo prompt (baja distancia de Hamming).
  • Códigos casi ortogonales para imágenes de diferentes prompts (distancia de Hamming $\approx B/2$).
• Entrenamiento en Dos Etapas:
  • Etapa 1: Aprende un espacio de representación compacto y agrupable utilizando una pérdida contrastiva supervisada sobre características normalizadas.
  • Etapa 2: Entrena una cabeza de hashing para cuantizar estas características en códigos binarios, optimizado con una pérdida contrastiva en el espacio de códigos más regularizadores para cuantización, equilibrio de bits, decorrelación y consistencia.

2. Procedimiento de Incrustación
Para incrustar una marca de agua, SemBind no altera el esquema de marca de agua subyacente (por ejemplo, Tree-Ring, Gaussian Shading). En su lugar:

1. El proveedor genera una imagen limpia auxiliar $x$ para el prompt objetivo usando el modelo de difusión.
2. El máscara semántico extrae un código binario $m = f_\theta(x)$.
3. Este código se expande en una máscara espacial mediante tiling, selección de ratio (controlada por el parámetro $\sigma$) y permutación usando una clave secreta.
4. El resultado, la máscara de signo $S(x; \sigma, K_{perm}) \in \{-1, +1\}^{C \times H \times W}$, se multiplica elemento a elemento con el latente inicial marcado estándar $z_T^{(w)}$:
   $$z_T^{(w, sem)} = S(x; \sigma, K_{perm}) \odot z_T^{(w)}$$
5. El programador de eliminación de ruido (denoising scheduler) procede desde este latente modulado para generar la imagen final.

3. Procedimiento de Extracción
Durante la verificación:

1. El verificador extrae el código binario de la imagen marcada $\hat{x}$ usando el mismo máscara semántico para reconstruir la máscara $\hat{S}$.
2. La imagen se invierte para estimar el latente inicial $\hat{z}_T^{(w, sem)}$.
3. La modulación semántica se elimina multiplicando con la máscara: $\hat{z}_T^{(w)} = \hat{S} \odot \hat{z}_T^{(w, sem)}$.
4. El decodificador de la marca de agua subyacente procesa $\hat{z}_T^{(w)}$ para extraer el mensaje.

Mecanismo de Defensa: Si un atacante intenta falsificar una imagen con semánticas diferentes (prompt diferente), la máscara reconstruida $\hat{S}$ no coincidirá con la máscara de modulación original. Este desajuste introduce una perturbación fuerte que causa que la extracción de la marca de agua falle, incluso si la estructura del latente se asemeja a la marca de agua robada.

Contribuciones Clave

1. Primera Defensa contra la Falsificación de Caja Negra: SemBind es el primer marco diseñado específicamente para proteger las marcas de agua basadas en latentes contra ataques de falsificación de caja negra sin sacrificar las capacidades generativas del modelo.
2. Vinculación Semántica mediante Aprendizaje Contrastivo: Introduce un máscara semántico aprendido que vincula las señales latentes a la semántica de la imagen, asegurando que las marcas de agua sean válidas solo cuando la semántica de la imagen coincida con el contexto de generación original.
3. Preservación de la Indetectabilidad Teórica: Los autores demuestran teóricamente que para los esquemas que admiten indetectabilidad demostrable (por ejemplo, Gaussian Shading, PRC), la variante SemBind preserva esta garantía. Dado que la máscara de signo es independiente y $\{-1, +1\}$, multiplicar un latente distribuido como Gaussiano por esta máscara deja la distribución invariante.
4. Compromiso Ajustable: Un único parámetro, el ratio de máscara ($\sigma$), permite a los usuarios controlar el equilibrio entre la fuerza de anti-falsificación y la robustez frente a distorsiones naturales.

Resultados Experimentales

Los autores evaluaron SemBind en cuatro esquemas representativos basados en latentes: Tree-Ring, Gaussian Shading, PRC y Gaussian Shading++.

• Calidad de Imagen: SemBind mantiene una calidad de imagen comparable a las bases de comparación. Los puntajes FID y CLIP muestran que no hay una degradación estadísticamente significativa (las pruebas t confirman la indistinguibilidad de los outputs originales de SD 2.1). Para Tree-Ring, SemBind incluso mejoró ligeramente el FID.
• Defensa contra Imprinting:
  • En escenarios de "coincidencia" (el atacante usa el mismo modelo, SD 2.1), SemBind redujo las tasas de detección de 100% a <10% para Tree-Ring y Gaussian Shading, y la precisión de bits cayó a un nivel cercano al azar (0.5).
  • En escenarios de "desajuste" (el atacante usa SD 1.5), las tasas de detección cayeron a casi cero en todos los esquemas, con la precisión de bits aproximándose a 0.5.
• Defensa contra Reprompting: SemBind redujo las tasas de detección en más del 40% y la precisión de bits en al menos un 25% en todos los esquemas y conjuntos de datos (SDP y COCO). En configuraciones de desajuste, las imágenes falsificadas rara vez eran aceptadas.
• Robustez: SemBind introduce solo una ligera caída en la robustez frente a perturbaciones comunes (compresión JPEG, ruido, desenfoque, etc.). Los esquemas con alta robustez base (Tree-Ring, Gaussian Shading) retuvieron un rendimiento cercano al original, mientras que los esquemas con bases más débiles (PRC, Gaussian Shading++) mostraron una degradación moderada pero aceptable (caída del 3–5% en la detección).

Significancia y Reivindicaciones

El artículo afirma que SemBind resuelve la tensión fundamental entre robustez y seguridad en el marcaje de agua basado en latentes. Al vincular la marca de agua a la semántica, evita que los atacantes transfieran marcas de agua a imágenes con contenidos diferentes, neutralizando efectivamente la falsificación de caja negra.

Crucialmente, los autores enfatizan que SemBind preserva la indetectabilidad demostrable de los esquemas subyacentes. Esta es una mejora significativa, ya que los intentos previos de endurecer las marcas de agua a menudo comprometían la invisibilidad estadística requerida para un despliegue de IA responsable. El marco se presenta como una defensa general y de tipo "plug-in" compatible con los métodos de marca de agua basados en latentes existentes, ofreciendo un compromiso controlable entre seguridad y robustez mediante el parámetro de ratio de máscara.