🤖 AI

Fingerprinting Text-to-Image Diffusion Models via Collapsed Generation

Este artículo introduce un marco no invasivo para verificar la propiedad de modelos de difusión de texto a imagen mediante el aprovechamiento de la "generación colapsada", un fenómeno específico del modelo donde ciertas condiciones de entrada producen consistentemente imágenes idénticas a través de semillas estocásticas, permitiendo una detección de propiedad confiable tanto en entornos de caja blanca como de caja negra sin marcas de agua invasivas.

Autores originales: Yuanmin Huang, Chen Chen, Geng Hong, Xiaoyu You, Hui Xue, Zhenxing Qian, Mi Zhang, Min Yang

Publicado 2026-08-13

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuanmin Huang, Chen Chen, Geng Hong, Xiaoyu You, Hui Xue, Zhenxing Qian, Mi Zhang, Min Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los artistas no solo pintan con pinceles, sino con palabras mágicas. Escribes una frase como "un gato cyberpunk comiendo pizza", y una computadora conjura instantáneamente una imagen nueva y de alta definición. Este es el reino de los Modelos de Difusión de Texto a Imagen, los magos digitales detrás de la última fiebre del arte por IA. Estos modelos funcionan comenzando con una pantalla llena de ruido estático (como un televisor viejo sin señal) y limpiándola lentamente, paso a paso, hasta que emerge una imagen clara. Debido a que estos modelos son tan poderosos, las empresas los venden como servicios o comparten la "receta" (el archivo del modelo) para que otros la usen. Pero esto crea un problema complicado: si alguien roba la receta secreta de una empresa o la modifica ligeramente y la vende como propia, ¿cómo puede el propietario original demostrar que es suya? No pueden simplemente mirar dentro del código si el ladrón lo oculta, y no siempre pueden cambiar el modelo para plantar una marca de agua digital secreta sin arruinar el arte. Necesitan una forma de atrapar al ladrón simplemente observando lo que el modelo hace.

Este artículo presenta un nuevo y astuto truco de detective llamado "Generación Colapsada" (Collapsed Generation). Piensa en esto como un test de personalidad para la IA. Normalmente, si le pides a una IA que dibuje una imagen cinco veces usando las mismas palabras pero un punto de partida aleatorio diferente (como lanzar dados), obtienes cinco imágenes totalmente diferentes y únicas. Es como pedirle a un chef que haga una hamburguesa cinco veces; esperarías cinco hamburguesas ligeramente distintas. Sin embargo, los investigadores descubrieron que, para ciertas palabras específicas, algunos modelos de IA se quedan "atascados" en un bucle. No importa cuántas veces lances los dados, el modelo produce casi la misma imagen cada vez. Es como si el chef, al pedirle una "hamburguesa", de repente olvidara cómo variar la receta y sirviera la misma hamburguesa idéntica cinco veces seguidas. El artículo sugiere que este comportamiento extraño y repetitivo es una huella digital única del entrenamiento de ese modelo específico. Si encuentras un modelo sospechoso que produce estas imágenes de "hamburguesas idénticas" cuando haces las preguntas adecuadas, has atrapado al uso de la receta secreta del propietario original, incluso si el ladrón intentó disfrazarlo.

La Nueva Herramienta del Detective: Atrapar a la IA por su Tartamudeo

Los investigadores, un equipo de la Universidad de Fudan y otros, se dieron cuenta de que este "tartamudeo" o generación colapsada no es un error, sino una característica de cómo aprenden estos modelos. Cuando un modelo memoriza ciertos patrones de sus datos de entrenamiento, a veces pierde su capacidad de ser creativo para esos prompts específicos. En lugar de explorar una amplia gama de posibilidades, colapsa en un resultado único y altamente consistente. El equipo determinó que este comportamiento es como una huella de voz única. Así como dos personas pueden decir la misma frase pero con diferentes acentos, dos modelos de IA diferentes entrenados con datos distintos reaccionarán de manera diferente al mismo prompt. Uno puede producir un conjunto de imágenes caótico y diverso, mientras que el "robado" puede producir un conjunto aburridamente idéntico.

El artículo propone un juego de gato y ratón de dos pasos para probar la propiedad. Primero, el propietario original (el detective) necesita encontrar las "palabras mágicas" o "ajustes mágicos" que provocan este tartamudeo en su propio modelo. Hacen esto de dos maneras, dependiendo de cuánto acceso tengan al sospechoso:

El enfoque de "Caja Blanca" (El de adentro): Si el detective puede ver los engranjes internos del modelo (como si el ladrón filtrara el código), puede usar una computadora para buscar matemáticamente el "embedding" perfecto (una versión digital de un prompt) que obligue al modelo a tartamudear. No necesitan esperar a la imagen final; pueden ver al modelo quedándose atascado temprano en el proceso, lo que ahorra una enorme cantidad de potencia de cómputo.
El enfoque de "Caja Negra" (El de afuera): Si el modelo sospechoso está oculto detrás de un sitio web o una aplicación donde solo puedes escribir texto y recibir una imagen, el detective no puede manipular los engranajes internos. En su lugar, explora los datos de entrenamiento originales para encontrar frases reales y naturales que ya causen que el modelo tartamudee. Descubrieron que estos "prompts tartamudos" a menudo corresponden a imágenes que el modelo aprendió muy fácilmente (pérdida o "loss" baja durante el entrenamiento). Al probar estas frases naturales, pueden ver si el modelo sospechoso también tartamudea con ellas.

El Veredicto: ¿Es un Imitador?

Una vez que el detective tiene su lista de "disparadores de tartamudeo", pone a prueba al modelo sospechoso. Le pide al modelo sospechoso que genere imágenes usando estos disparadores, lanzando los dados (cambiando la semilla aleatoria) muchas veces. Si el modelo sospechoso es un imitador, producirá una pila de imágenes casi idénticas, al igual que el original. Si es un modelo totalmente diferente e no relacionado, producirá un montón desordenado de imágenes diferentes, demostrando que no comparte la misma "memoria" de esos prompts específicos.

Los investigadores probaron esta idea en varios tipos diferentes de modelos de IA, incluyendo algunos basados en diseños antiguos de "UNet" y diseños más nuevos de "Transformer". Descubrieron que este método funciona muy bien. Puede distinguir entre dos modelos que fueron entrenados por separado, incluso si se ven similares en la superficie. Más importante aún, la huella es difícil de romper. Incluso si el ladrón intenta ocultar sus rastros mediante:

Ajuste fino (Fine-tuning) (enseñarle al modelo nuevos trucos),
Poda (Pruning) (cortar partes del modelo para hacerlo más pequeño),
Cuantización (Quantization) (simplificar los números que usa el modelo),
O incluso intentar ofuscar los resultados,

...el comportamiento de "tartamudeo" a menudo sobrevive. El artículo muestra que no necesitas hacer millones de preguntas para atrapar a un ladrón; un número modesto de pruebas es suficiente para obtener una respuesta estadísticamente sólida.

Lo Que Esto Significa (y lo Que No)

El artículo es cuidadoso al decir que esto no es una varita mágica que resuelve todos los problemas de derechos de autor instantáneamente. No afirma que detenga el robo, ni sugiere que todos los modelos tengan estas huellas digitales (aunque encontraron que existen en los que probaron). También señala que, si bien el método de "caja blanca" es muy eficiente, el método de "caja negra" depende de encontrar los prompts naturales adecuados, lo cual puede ser un poco como buscar una aguja en un pajar, aunque su método de buscar muestras de entrenamiento de "baja pérdida" lo hace mucho más rápido.

Crucialmente, los autores argumentan en contra de la idea de que sea necesario plantar una marca de agua secreta dentro del modelo para probar la propiedad. Demuestran que el propio comportamiento natural del modelo —su tendencia a quedarse atrapado en un bucle para ciertas entradas— es evidencia suficiente. Esto es importante porque significa que no tienes que cambiar el modelo para protegerlo. Simplemente puedes observar cómo se comporta.

Al final, esta investigación sugiere que la generación colapsada es una forma confiable y no invasiva de verificar quién es el dueño de un modelo de arte de IA. Convierte las peculiaridades del propio modelo en una firma. Si un modelo produce la misma imagen una y otra vez cuando debería estar siendo creativo, podría estar cantando la canción del propietario original, sin importar cuánto intente el ladrón cambiar la letra.

Resumen Técnico: Huellas Dactilares de Modelos de Difusión de Texto a Imagen mediante la Generación Colapsada

Declaración del Problema

La rápida proliferación de modelos de difusión de texto a imagen (T2I) propietarios, distribuidos como servicios alojados o checkpoints descargables, ha intensificado las disputas de propiedad intelectual (PI) relacionadas con la filtración de modelos, la copia no autorizada y la propiedad de derivados. Los mecanismos de protección de PI existentes enfrentan limitaciones significativas:

Marcado de Agua Invasivo: Los métodos que incrustan señales en los parámetros del modelo u objetivos de entrenamiento suelen introducir una sobrecarga computacional, comprometen la calidad de la generación y no pueden aplicarse retrospectivamente a modelos ya entrenados.
Huellas Dactilares No Invasivas: Los enfoques no invasivos actuales suelen estar restringidos por supuestos de acceso. Los métodos de caja blanca (white-box) que dependen de representaciones internas o trayectorias de eliminación de ruido fallan cuando el modelo sospechoso es una API de caja negra (black-box). Por el contrario, los métodos de caja negra que dependen de sufijos de prompts optimizados suelen producir consultas lingüísticamente anormales que son fácilmente detectables o filtradas, y su evidencia está ligada a desviaciones semánticas específicas en lugar de un comportamiento intrínseco del modelo.

Existe una necesidad crítica de un marco de huellas dactilares no invasivo que funcione tanto en entornos de caja blanca (checkpoint) como de caja negra (API), que se base en comportamientos intrínsecos del modelo en lugar de parámetros modificados, y que sea robusto contra las ofuscaciones del modelo (por ejemplo, ajuste fino, poda, cuantización).

Metodología

Los autores proponen un marco basado en la Generación Colapsada, un fenómeno donde condiciones de entrada específicas causan que un modelo de difusión produzca imágenes altamente consistentes a través de múltiples semillas estocásticas, suprimiendo la diversidad habitual de la generación.

Concepto Central: Generación Colapsada

Bajo condiciones normales, los muestreos estocásticos independientes de un modelo de difusión producen imágenes diversas. Sin embargo, bajo ciertas condiciones de entrada dependientes del modelo, la estocasticidad del muestreo se suprime, causando que las diferentes trayectorias de generación converjan en salidas visualmente similares. Los autores formalizan esto mediante la consistencia entre semillas (cross-seed consistency), medida por la similitud perceptual (usando puntuaciones SSCD) de $K$ imágenes generadas a partir de la misma condición pero de diferentes semillas de ruido inicial.

Construcción de la Huella Dactilar

El marco construye las huellas dactilares de manera diferente según el acceso disponible al modelo sospechoso, pero ambos dependen del mismo principio de verificación:

Caja Blanca (Acceso al Pipeline) – Síntesis de Embedding Continuo:
- Objetivo: Sintetizar embeddings de condicionamiento continuos que induzcan el colapso.
- Desafío: Optimizar directamente para la consistencia de la imagen final es computacionalmente costoso debido a la necesidad de diferenciar a través de todo el proceso de eliminación de ruido.
- Solución: Los autores observan que la estructura estable de las generaciones colapsadas emerge temprano en el proceso de eliminación de ruido. Emplean una estrategia de optimización truncada que minimiza la dispersión entre los latentes intermedios después de unos pocos pasos de eliminación de ruido ( $t_{trunc}$ ). Este objetivo sustituto reduce significativamente los costos computacionales y de memoria, mientras sintetiza eficazmente los embeddings de la huella dactilar ( $C_f$ ).
Caja Negra (Solo API) – Minería de Prompts Naturales:
- Objetivo: Identificar prompts de lenguaje natural que induzcan el colapso sin una búsqueda exhaustiva.
- Solución: Los autores explotan la correlación entre la generación colapsada y la baja pérdida de entrenamiento. Filtran los datos de entrenamiento del modelo fuente para identificar muestras con pérdidas de eliminación de ruido inusualmente bajas. Estas muestras de baja pérdida están altamente enriquecidas con prompts colapsados. El marco mina estos prompts, evalúa su consistencia entre semillas en el modelo fuente y selecciona los mejores candidatos para formar un conjunto de prompts de huella dactilar de lenguaje natural ( $P_f$ ). Esto asegura que las consultas parezcan interacciones de servicio ordinarias, mejorando la sigilosidad.

Protocolo de Verificación

Proceso: El verificador aplica las condiciones de la huella dactilar (embeddings o prompts) al modelo sospechoso y genera $K$ imágenes por condición.
Métrica: La consistencia entre semillas se calcula para cada condición. Los resultados se agregan a través del conjunto de la huella dactilar.
Decisión: Una prueba t predictiva de cola derecha compara la consistencia agregada del modelo sospechoso contra una distribución de referencia del comportamiento de generación normal establecida en el modelo fuente. Una consistencia alta estadísticamente significativa ( $p_{val} < \tau_f$ ) indica propiedad.

Principales Contribuciones

Identificación de la Generación Colapsada: El artículo identifica la generación colapsada como una firma conductual intrínseca del modelo. Demuestra que este comportamiento es específico del proceso de generación aprendido (influenciado por la arquitectura, los datos y la dinámica de optimización) y es difícil de reproducir para modelos entrenados de forma independiente.
Marco Unificado: Un solo marco une la verificación de caja blanca y de caja negra. Sintetiza embeddings continuos para pipelines controlables y mina prompts naturales para servicios de solo API, ambos verificados mediante la misma métrica de consistencia entre semillas.
Eficiencia y Sigilosidad:
- La estrategia de optimización truncada para la huella dactilar de caja blanca evita el costo de la diferenciación de la eliminación de ruido completa.
- La estrategia de minería de prompts naturales para la verificación de caja negra evita las anormalidades lingüísticas de los sufijos adversarios, haciendo que las consultas sean indistinguibles de las interacciones normales de los usuarios.
Robustez: Las huellas dactilares siguen siendo verificables en derivados con ajuste fino y bajo ofuscaciones comunes (cuantización, poda) e intervenciones adaptativas a nivel de consulta.

Resultados

Se realizaron experimentos extensos en modelos de difusión basados en UNet y transformadores (incluyendo variantes de Stable Diffusion).

Discriminación: Las huellas dactilares distinguen con éxito entre diferentes modelos fuente con una confusión baja. Los pares de prompt-modelo coincidentes exhiben una consistencia entre semillas significativamente mayor que los pares no coincidentes.
Robustez: El método sigue siendo efectivo incluso después de que el modelo sospechoso se somete a ajuste fino, poda o cuantización.
Presupuesto: La verificación requiere solo un presupuesto de consultas modesto, lo que la hace práctica para el despliegue en el mundo real.

Significado y Reivindicaciones

El artículo afirma establecer la generación colapsada como una fuente de evidencia intrínseca y confiable para la verificación de la propiedad de modelos de difusión no invasivos. Al aprovechar un fenómeno que es inherente a la distribución de datos aprendida por el modelo y a su dinámica de optimización, el marco evita los problemas del marcado de agua invasivo (degradación de calidad, sobrecarga de entrenamiento) y las limitaciones de los métodos no invasivos existentes (restricciones de acceso, consultas detectables).

Los autores posicionan su trabajo como una solución a la creciente tensión en las disputas de PI, proporcionando un mecanismo que:

No requiere modificar el modelo sospechoso.
Funciona independientemente de si el modelo se expone como un checkpoint o como una API alojada.
Proporciona evidencia estadísticamente rigurosa de propiedad que es robusta contra las ofuscaciones adversarias comunes.

El significado radica en el cambio de paradigma de "incrustar señales" a "provocar firmas conductuales intrínsecas", ofreciendo una herramienta versátil para proteger la propiedad intelectual de los modelos de IA generativa en diversos escenarios de despliegue.