🤖 AI

Efficient, Robust, and Anti-Collusion Fingerprinting of Image Diffusion Models

Este artículo propone un método de huella digital robusto, eficiente y anticolección para modelos de difusión de texto a imagen que incrusta identificadores específicos del usuario en un módulo de normalización personalizado, permitiendo una extracción fiable mientras degrada la calidad de los modelos coludidos para prevenir la redistribución no autorizada.

Autores originales: Jianwei Fei, Yunshu Dai, Zhihua Xia, Xiaochun Cao, Jiantao Zhou, Alessandro Piva, Benedetta Tondi

Publicado 2026-06-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jianwei Fei, Yunshu Dai, Zhihua Xia, Xiaochun Cao, Jiantao Zhou, Alessandro Piva, Benedetta Tondi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el dueño de una panadería que crea una receta de pastel famosa y deliciosa. Para proteger tu negocio, quieres vender copias de esta receta a miles de clientes diferentes. Sin embargo, necesitas una forma de demostrar que un pastel específico proviene de tu panadería y no de un imitador, y necesitas evitar que los clientes intercambien secretamente sus páginas de recetas para crear una "super-receta" que no pertenece a nadie.

Este artículo presenta una nueva y astuta forma de "imprimir la huella digital" (fingerprinting) a los generadores de imágenes de IA (específicamente a los modelos de Texto-a-Imagen) para resolver exactamente este problema. Aquí está el desglose en términos sencillos:

El Problema: El Ataque de "Intercambio de Recetas"

Actualmente, las empresas venden modelos de IA a los usuarios. Para rastrear quién posee cada copia, incrustan un ID digital oculto (una huella digital) en el modelo. Si alguien roba el modelo, el propietario puede escanear las imágenes que este crea y decir: "Ah, esta imagen fue hecha por la copia robada del Usuario #5".

La Falla: El artículo descubrió una debilidad importante. Si el Usuario A y el Usuario B roban sus respectivas copias del modelo, simplemente pueden promediar sus configuraciones entre sí.

Piensa en esto como dos personas mezclando sus ingredientes de recetas secretas en un tazón.
En los métodos existentes, esta mezcla crea una nueva receta funcional que sigue horneando pasteles excelentes, pero los IDs ocultos de "Usuario A" y "Usuario B" se desvanecen. El nuevo pastel no tiene huella digital, por lo que el propietario no puede rastrearlo. Esto se llama un Ataque de Colusión.

La Solución: El "Agitador Mágico" (Anti-Colusión)

Los autores proponen un nuevo sistema que detiene este truco de mezcla. Introducen un módulo especial llamado Módulo de Normalización Personalizada (PNM). Piensa en esto como un "agitador mágico" personalizado construido dentro del cerebro de la IA que ajusta cómo funciona basándose en un ID único.

Así es como funciona su sistema en tres pasos:

1. La Tinta Invisible (Huella Digital)

En lugar de solo cambiar ligeramente la receta, incrustan el ID del usuario en la mecánica misma del "agitador mágico".

Cómo funciona: Entrenan la IA para que, cuando genere una imagen, el ID oculto esté tejido en los píxeles.
El Resultado: Puedes observar cualquier imagen que la IA produzca y extraer el ID para demostrar quién es el dueño del modelo. El artículo afirma que esto funciona con una precisión del 99.5%, incluso si la imagen es recortada, comprimida o editada.

2. El Truco de "Anti-Colusión" (La Real Innovación)

Este es el mayor avance del artículo. Antes de entregar el modelo a un usuario, aplican una transformación especial llamada ACT (Transformación Anti-Colusión).

La Analogía: Imagina que le das al Usuario A una receta donde la "sal" se mide en cucharaditas, pero el "azúcar" se mide en gramos. Le das al Usuario B una receta donde la "sal" está en gramos y el "azúcar" está en cucharaditas.
El Detalle: Ambas recetas siguen horneando un pastel perfecto porque el agitador sabe cómo traducir las unidades internamente.
La Trampa: Si el Usuario A y el Usuario B intentan mezclar sus recetas (promediarlas), las unidades se confunden. El resultado es una receta que dice "añadir 500 gramos de sal" cuando debería ser cucharaditas. El pastel se convierte en un desastre salado e incomestible.
La Afirmación del Artículo: Si dos o más usuarios intentan coludir, el modelo resultante produce imágenes de calidad terrible (tan malas que son inutilizables). Esto detiene el ataque porque los atacantes no pueden obtener un modelo funcional sin la huella digital.

3. El Entrenamiento del "Peor Escenario"

Para asegurar que la huella digital sobreviva incluso si alguien intenta retocar el modelo (como el ajuste fino o fine-tuning), los autores entrenaron la IA utilizando una estrategia de "peor escenario".

La Analogía: Imagina a un guardia de seguridad entrenando al practicar contra el atacante más fuerte posible.
El Resultado: La huella digital está tan profundamente incrustada que, incluso si alguien intenta "podar" (cortar partes de) el modelo o añadir ruido, el ID sigue siendo legible.

Los Resultados

El artículo probó esto en generadores de imágenes de IA populares (como Stable Diffusion) y encontró que:

Calidad: Las imágenes generadas por el modelo con huella digital se ven tan bien como la original (sin desenfoques o artefactos extraños).
Seguridad: Cuando los atacantes intentaron mezclar modelos, la calidad de la imagen colapsó (la puntuación "FID", que mide la calidad, saltó de un buen 23 a un terrible 79).
Eficiencia: El propietario puede crear miles de copias únicas para diferentes usuarios instantáneamente sin tener que reentrenar la IA desde cero cada vez.

Resumen

Este artículo introduce un "cerrojo" para los modelos de IA. Si intentas romper el cerrojo combinando dos llaves (colusión), el cerrojo no solo se queda abierto; bloquea toda la máquina para que no pueda producir nada útil. Protege los derechos del creador asegurando que no puedes robar un modelo, mezclarlo con otro y obtener un producto funcional que oculte tus huellas.

Resumen Técnico: Huellas Digitales Eficientes, Robustas y Anti-Colusión para Modelos de Difusión de Imágenes

1. Planteamiento del Problema

El rápido avance de los modelos de difusión de Texto-a-Imagen (T2I) ha creado riesgos significativos para la propiedad intelectual (PI), particularmente en lo que respecta a la redistribución no autorizada de modelos. Aunque los métodos de huella digital existentes incrustan identificadores específicos del usuario en las salidas del modelo para garantizar la trazabilidad, sufren de una vulnerabilidad crítica y previamente inexplorada: el ataque de colusión.

En un ataque de colusión, múltiples usuarios malintencionados que poseen distintas copias de modelos con huellas digitales pueden combinar sus parámetros del modelo (por ejemplo, mediante un simple promedio) para crear un nuevo modelo "colusionado". Los métodos existentes no logran prevenir esto porque:

Interpolación de Parámetros: Las redes neuronales profundas a menudo exhiben conectividad de modo, donde la interpolación lineal entre modelos entrenados de forma independiente produce soluciones funcionales.
Eliminación de Costo Cero: Los atacantes pueden promediar los parámetros para borrar efectivamente las huellas digitales únicas de los usuarios individuales, preservando al mismo tiempo la capacidad de generación de imágenes de alta calidad del modelo.
Falta de Defensa Proactiva: La investigación actual se basa en la atribución post-hoc (identificar a los coludores después del hecho) en lugar de prevenir la creación de un modelo colusionado funcional.

2. Metodología

El marco propuesto introduce un sistema de huella digital robusto para modelos T2I que integra tres componentes principales: un Módulo de Normalización Personalizada (PNM), una estrategia de Optimización del Peor Caso y una Transformación Anti-Colusión (ACT).

A. Descripción General del Marco

El flujo de trabajo consta de tres fases:

Ajuste Fino (Fine-tuning): Un modelo T2I base (específicamente el decodificador VAE) se ajusta para incrustar las huellas digitales.
Inicialización: Se generan copias con huellas digitales únicas para los usuarios sin necesidad de reentrenamiento.
Verificación: Las huellas digitales se extraen de las imágenes generadas para verificar la propiedad.

B. Módulo de Normalización Personalizada (PNM)

En lugar de modificar todo el modelo, el método inserta un PNM ligero en el decodificador del Autoencoder Variacional (VAE).

Estructura: El PNM sigue una estructura de Conv–Norm–Conv.
Mecanismo: Un mensaje de huella digital $m$ (una cadena binaria) se introduce en dos redes de codificación ( $F_\gamma$ y $F_\beta$ ) para generar parámetros de escala ( $\gamma$ ) y de desplazamiento ( $\beta$ ). Estos parámetros modulan la capa de normalización dentro del PNM.
Eficiencia: Una vez que los codificadores y el modelo base han sido entrenados, las nuevas copias de usuario se crean simplemente generando nuevos vectores $\gamma$ y $\beta$ a partir de la huella digital única del usuario, eliminando la necesidad de reentrenamiento.

C. Transformación Anti-Colusión (ACT)

Para derrotar la colusión de manera proactiva, el método aplica una transformación sin pérdida e invariante de la función a los parámetros del PNM específicos de cada usuario. Esta transformación asegura que, si bien el modelo funciona correctamente para un solo usuario, la combinación de parámetros de diferentes usuarios destruye la utilidad del modelo.
La ACT consta de tres operaciones secuenciales:

Permutación por Canales (CP): Reorganiza los filtros y los parámetros de normalización basándose en una función de permutación específica del usuario $\pi$ .
Escalamiento de Parámetros (SC): Escala los núcleos convolucionales y los parámetros de normalización mediante vectores $\alpha$ tales que el producto de los factores de escala a través de la capa sea igual a 1, preservando la función de salida.
Inversión de Signo (SF): Invierte los signos de parámetros específicos (un caso especial de escalamiento donde los factores son $\{-1, 1\}$ ).

Base Teórica: Estas transformaciones rompen la "conectividad de modo" entre los diferentes modelos de usuario. Si bien cada modelo transformado produce salidas idénticas a su contraparte no transformada, sus parámetros se vuelven casi ortogonales. En consecuencia, la interpolación lineal (colusión) entre dos modelos protegidos por ACT cae en una región de alta pérdida en el espacio de parámetros, causando un fallo catastrófico en la generación de imágenes.

D. Optimización del Peor Caso

Para mejorar la robustez contra ataques a nivel de modelo (por ejemplo, ajuste fino, poda), el objetivo de entrenamiento incluye una pérdida de regularización del peor caso.

El modelo se optimiza para minimizar la pérdida de la huella digital bajo la suposición de la perturbación de parámetros del peor caso ( $\delta^*$ ) dentro de un vecindario definido.
Esto se aproxima mediante un ascenso de gradiente de un solo paso sobre la pérdida, fomentando que el modelo converja a un mínimo "plano" que es menos sensible a las modificaciones de los parámetros.

3. Contribuciones Clave

Defensa Proactiva Anti-Colusión: El artículo presenta el primer marco de huella digital para T2I diseñado explícitamente para volver inutilizables los modelos colusionados. Al integrar ACT, cualquier intento de fusionar modelos resulta en una degradación severa de la calidad de la imagen (FID alto, PSNR bajo), neutralizando efectivamente el ataque.
Despliegue Eficiente y Sin Reentrenamiento: La arquitectura PNM permite a los desarrolladores generar distintas copias de modelos con huella digital para miles de usuarios instantáneamente mediante la reparametrización de las capas de normalización, sin el costo computacional del reentrenamiento.
Robustez Mejorada: La introducción de una estrategia de optimización del peor caso mejora significativamente la resiliencia contra ataques a nivel de modelo, incluyendo el ajuste fino y la poda, manteniendo una alta precisión de extracción de la huella digital incluso tras perturbaciones significativas de los parámetros.
Evaluación Exhaustiva: El estudio proporciona una evaluación rigurosa a través de múltiples conjuntos de datos (COCO, ImageNet, MagicBrush, InstructPix2Pix) y tareas (generación y edición), estableciendo nuevos puntos de referencia para la seguridad contra la colusión.

4. Resultados Experimentales

El método fue evaluado en los modelos Stable Diffusion v2 e InstructPix2Pix.

Fidelidad y Calidad: El método propuesto mantiene una alta calidad de imagen. En el conjunto de datos COCO, la puntuación FID (24.03) es comparable a los métodos basados en VAE de última generación (por ejemplo, Per. Norm., Sta. Sig.) y significativamente mejor que los métodos de marcas de agua basados en U-Net. La diferencia visual entre las imágenes con y sin huella digital es insignificante.
Precisión de Extracción de la Huella Digital: El método logra una Precisión de Bits de >99.5% en todos los conjuntos de datos y tareas, superando a los métodos existentes.
Robustez ante Ataques:
- A nivel de imagen: El método sigue siendo robusto contra ruido Gaussiano, desenfoque, recorte y compresión JPEG, especialmente cuando se utiliza una aumentación de capa de ruido durante el entrenamiento.
- A nivel de modelo: Bajo ataques de ajuste fino (10,000 pasos), la Precisión de Bits se mantiene por encima del 90%, superando significativamente a los competidores que caen por debajo del 70%.
Desempeño Anti-Colusión:
- Colusión de 2 Partes: Cuando dos usuarios promedian sus modelos, los métodos existentes mantienen una alta calidad de imagen (FID ~24) pero pierden la validez de la huella digital (la TPR cae a ~0.4). En contraste, el método propuesto con ACT causa que el FID aumente a 79.51 y el PSNR caiga drásticamente, volviendo el modelo colusionado inutilizable.
- Colusión de Múltiples Partes: A medida que aumenta el número de coludores (hasta 20), los métodos existentes mantienen una alta fidelidad. El método propuesto causa una degradación continua en la calidad (el PSNR cae a ~11 dB para 10 coludores), impidiendo la síntesis de un modelo funcional.
- Ataques No Lineales: El método sigue siendo efectivo contra estrategias de colusión no lineales avanzadas (Selección aleatoria, Media de potencia, Valor absoluto máximo), donde todas las estrategias probadas fallan en preservar tanto la calidad de la imagen como la integridad de la huella digital.

5. Significancia y Reivindicaciones

El artículo afirma abordar una brecha fundamental en la seguridad de los modelos generativos: la vulnerabilidad a la colusión. Los autores argumentan que, mientras la huella digital tradicional de medios depende de códigos de rastreo de traidores para identificar a los atacantes después de una brecha, la huella digital de modelos generativos requiere un enfoque proactivo.

La importancia de este trabajo radica en el cambio de paradigma de la atribución a la disuasión. Al asegurar que el acto de colusión destruya por sí mismo la utilidad del modelo, el método previene efectivamente la redistribución no autorizada. Los autores enfatizan que esto se logra sin comprometer la eficiencia de la distribución del modelo (sin reentrenamiento) ni la calidad del contenido generado para los usuarios legítimos.

El trabajo concluye que la combinación de la incrustación basada en PNM, la optimización del peor caso y la ACT proporciona una solución robusta y escalable para proteger la propiedad intelectual de los modelos T2I en entornos comerciales y bajo licencia.