💻 computer science

Diffusion Model Attribution via Spectral Coupling of Denoiser Responses

Este artículo presenta las Firmas de Denoisado Espectral (SDS, por sus siglas en inglés), un método de atribución no invasivo que identifica la fuente de las imágenes generadas por difusión mediante la huella de la geometría espectral única de cada modelo en su comportamiento de denoisado, logrando una alta precisión a través de diversas arquitecturas y condiciones de entrenamiento sin requerir inversión u optimización.

Autores originales: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Publicado 2026-06-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva de arte, pero cada pintura se ve exactamente igual ante el ojo humano. No puedes distinguir si una pintura específica fue hecha por el "Artista A" o el "Artista B" solo con mirar la imagen final. En el mundo de la IA, este es el problema con los Modelos de Difusión. Estos son los motores detrás de herramientas como Stable Diffusion que crean imágenes a partir de texto. Incluso si dos modelos de IA diferentes han sido entrenados con diferentes conjuntos de fotos, a menudo aprenden a pintar de forma tan similar que sus imágenes finales son indistinguibles.

Este artículo presenta una nueva herramienta de detección llamada Firmas de Denoising Espectral (SDS, por sus siglas en inglés) para resolver este misterio. Así es como funciona, explicado de forma sencilla:

El Problema: La "Pintura Terminada" es un Callejón sin Salida

La mayoría de los métodos actuales intentan identificar al artista mirando la pintura terminada (la imagen generada).

El Defecto: Si dos artistas usan el mismo tipo de lienzo y pintura (la misma tecnología de "Autoencoder" subyacente), sus pinturas terminadas son estadísticamente idénticas. Es como intentar saber si un pastel fue horneado por dos panaderos distintos que usaron exactamente la misma receta y el mismo horno; el pastel en sí no ofrece pistas.
La Forma Antigua: Algunos métodos intentan la ingeniería inversa de la pintura para volver a los ingredientes básicos (un proceso llamado "inversión"). Esto es lento, costoso computacionalmente y falla por completo si los panaderos usaron el mismo horno.

La Solución: Escuchar el Proceso de "Denoising" (Eliminación de Ruido)

Los autores se dieron cuenta de que el secreto no está en la imagen final, sino en cómo el artista limpia el ruido para crearla.

Piensa en un modelo de difusión como un escultor que comienza con un bloque de arcilla lleno de ruido y estática. Para obtener la estatua final, el escultor tiene que ir eliminando el ruido paso a paso.

La Intuición: Incluso si dos escultores terminan con la misma estatua, pueden ir eliminando la arcilla con patrones ligeramente diferentes. Uno puede ser muy cuidadoso con los detalles finos (frecuencias altas), mientras que otro se enfoca primero en las formas grandes (frecuencias bajas).
La Parte "Espectral": Los autores tratan estos "patrones de tallado" como ondas sonoras. Descomponen el ruido en diferentes "frecuencias" (como los bajos, medios y agudos en la música).

Cómo Funciona SDS: La "Sonda de Frecuencia"

En lugar de esperar a que la estatua esté terminada, el método SDS actúa como un diapasón o un sonar que golpea al escultor mientras está trabajando.

La Configuración: El sistema toma una imagen estándar y la convierte en un código "latente" (una versión comprimida de la imagen).
El Golpe: Inyecta una cantidad diminuta y controlada de "ruido" en una banda de frecuencia específica (como susurrar una nota específica al oído del escultor).
La Reacción: Le pide al modelo de IA que realice solo un paso de su proceso de limpieza (denoising).
La Huella Digital: El sistema mide cómo ese susurro específico de ruido se dispersó. ¿Se quedó el ruido en el rango de los bajos? ¿Saltó a los agudos? ¿Desapareció?
- Cada modelo de IA tiene una "personalidad" única en la forma en que mueve esta energía. Este patrón de movimiento es la Firma de Denoising Espectral.

Por qué es un Cambio de Juego

No requiere reentrenamiento: No tienes que modificar la IA ni añadir marcas de agua ocultas. Simplemente le haces una pregunta y escuchas la respuesta.
Funciona con "Gemelos": El artículo probó esto en modelos que son casi idénticos (como Stable Diffusion v1.4 y v1.5, que comparten el 99% de su código). Aunque producen imágenes que se ven idénticas, sus "patrones de tallado" (geometría espectral) eran lo suficientemente distintos como para que SDS pudiera distinguirlos con una precisión del 99.9%.
Es Robusto: Incluso si tomas la imagen final y la desenfocas, la recortas o cambias su brillo, la "huella digital" permanece intacta porque la huella trata sobre cómo piensa el modelo, no sobre cómo se ve la imagen.

La Conclusión

El artículo demuestra que para identificar un modelo de IA, no se debe mirar el resultado (la imagen); se debe mirar el proceso (cómo limpia el ruido).

Al tratar el comportamiento interno de "limpieza" de la IA como un instrumento musical único, los autores crearon un método que puede decir de manera fiable: "Esta imagen fue hecha por el Modelo X", incluso cuando el Modelo X y el Modelo Y se ven exactamente iguales a nuestros ojos. Es como ser capaz de identificar a un cantante no por la canción que terminó, sino por la forma única en que se aclara la garganta antes de cantar una sola nota.

Resumen Técnico: Atribución de Modelos de Difusión mediante el Acoplamiento Espectral de las Respuestas del Denoiser

1. Declaración del Problema

El artículo aborda el desafío de la atribución de modelos de difusión: determinar qué modelo de difusión específico generó una imagen determinada. Esto es crítico para la verificación de procedencia, la protección de la propiedad intelectual y la detección de usos indebidos.

La dificultad central radica en que los modelos de difusión entrenados con diferentes conjuntos de datos a menudo convergen en funciones de puntuación (score functions) similares, produciendo salidas visualmente indistinguibles. En consecuencia, los métodos de atribución que dependen únicamente de las imágenes generadas (señales en el espacio de salida) enfrentan una ambigüedad inherente. Los enfoques no invasivos existentes sufren limitaciones fundamentales:

Los métodos basados en clasificadores tienen dificultades para distinguir variantes arquitectónicamente similares que producen salidas visualmente similares.
Los métodos basados en inversión (por ejemplo, RONAN, LATENTTRACER) dependen de pérdidas de reconstrucción. Cuando los modelos candidatos comparten el mismo autoencoder (VAE), estas pérdidas carecen de información, lo que provoca que estos métodos colapsen hacia el azar.
Los métodos invasivos (por ejemplo, marcas de agua/watermarking) requieren la modificación o el reentrenamiento del modelo, lo que degrada la calidad de la generación y es inaplicable a los modelos de código abierto existentes.

El artículo postula que la señal discriminativa no reside en la salida generada, sino en la función de eliminación de ruido (denoising function) misma, específicamente en su geometría espectral.

2. Metodología: Firmas de Denoising Espectral (SDS)

Los autores proponen las Firmas de Denoising Espectral (SDS), un método de atribución no invasivo que identifica un modelo sondeando su comportamiento de eliminación de ruido en lugar de analizar sus salidas.

Percepción Central (Core Insight)

La función de puntuación de eliminación de ruido de un modelo exhibe una geometría espectral distintiva, reflejada en cómo redistribuye la energía a través de las bandas de frecuencia espacial durante el proceso de denoising. Este comportamiento es intrínseco a la función de puntuación aprendida por el modelo y es independiente del prompt o la semilla de ruido específica utilizada para la generación.

El Pipeline de SDS

Estandarización: Para asegurar que las firmas reflejen la identidad del modelo y no artefactos, todos los modelos candidatos utilizan un VAE compartido para codificar imágenes de entrada en un espacio latente consistente ( $z_0$ ) y un scheduler compartido. El sondeo se realiza con embeddings de texto vacíos para eliminar señales dependientes del prompt.
Partición Espectral: El plano de frecuencia del espacio latente se particiona en $K$ anillos radiales concéntricos. El Anillo 0 cubre las frecuencias bajas (estructura global), mientras que el Anillo $K-1$ cubre las frecuencias altas (textura fina).
Sondeo Controlado por Frecuencia:
- Inyección: Se inyecta ruido limitado por banda ( $\eta^{(k)}$ ) en un anillo de frecuencia $k$ específico en un paso de tiempo $t$ elegido.
- Consulta al Denoiser: Se consulta al denoiser $\hat{\epsilon}_\theta(z_t, t, \emptyset)$ para predecir el ruido.
- Análisis de Residuales: Se calcula el residual $r = \hat{\eta} - \eta^{(k)}$ . La energía de este residual se mide a través de todos los anillos de frecuencia de salida $j$ .
- Matriz de Acoplamiento: Esto genera una matriz de acoplamiento $C \in \mathbb{R}^{K \times K}$ , donde $C[k, j]$ cuantifica cómo la energía inyectada en el anillo $k$ es dirigida al anillo $j$ por el denoiser. Esta matriz es una proyección del Jacobiano del denoiser.
Agregación de la Firma:
- Las mediciones se toman a través de múltiples amplitudes de perturbación ( $S$ ) y múltiples pasos de tiempo ( $T_n$ ) que abarcan la trayectoria de denoising.
- Las matrices de acoplamiento resultantes se concatenan y se aplanan para formar un vector de firma de alta dimensión $\Phi(M, z_0)$ .
- Construcción de Prototipos: Para cada modelo, se crea un prototipo de firma $\Psi(M)$ promediando las firmas de $N$ imágenes de referencia. Se aplica una normalización de fila para eliminar las variaciones de escala dependientes del contenido.
Identificación: Una imagen de consulta se codifica, se sondea para generar su firma y se compara contra los prototipos almacenados mediante una coincidencia de prototipo más cercano (argmin) o un clasificador lineal entrenado (LinearSVC).

3. Contribuciones Clave

Marco de Trabajo SDS: Un método de atribución no invasivo que sondea la geometría espectral del denoiser mediante solo pasadas hacia adelante (forward passes) estándar, sin requerir inversión, optimización o modificación del modelo.
Firmas de Modelo Intrínsecas: Demostración de que las firmas de acoplamiento espectral son intrínsecas al modelo, robustas a la distorsión y discriminativas ante variaciones en los datos de entrenamiento, la arquitectura y los procedimientos de entrenamiento.
Resolución de Modos de Fallo de Baselines: Prueba de que el sondeo directo del denoiser resuelve el fallo fundamental de los baselines basados en inversión cuando los modelos comparten el mismo autoencoder.

4. Resultados Experimentales

El método fue evaluado en una tarea de conjunto cerrado que involucró ocho modelos de difusión diversos (incluyendo Stable Diffusion v1.4/v1.5, SDXL, PixArt-α y variantes ajustadas/fine-tuned) con variaciones en datos de entrenamiento, arquitecturas y procedimientos de entrenamiento.

Precisión de Atribución: SDS logró una precisión de ≈99.9% en los ocho modelos utilizando un clasificador LinearSVC. Logró distinguir exitosamente entre SD v1.4 y SD v1.5 (que comparten casi todos los pesos y el mismo VAE), un caso donde las características basadas en la salida fallaron completamente.
Generalización de Dominio Cruzado: Cuando los prototipos construidos con prompts de SD fueron probados en imágenes generadas con prompts de MS-COCO, el LinearSVC mantuvo una precisión del 96.2%, una caída de solo 3.8 puntos porcentuales. Esto indica que las firmas son mayoritariamente intrínsecas al modelo y no dependen del prompt.
Robustez: SDS se mantuvo altamente robusto frente a fuertes distorsiones de post-procesamiento (rotación, compresión JPEG, recorte, escalado de brillo, ruido y desenfoque). Mientras que las distorsiones en el espacio de píxeles degradaron significamente la calidad de la imagen, la firma de enrutamiento espectral permaneció intacta, logrando el LinearSVC una precisión >90% incluso bajo ruido y desenfoque severos.
Comparación con Baselines:
- RONAN y LATENTTRACER (basados en inversión) colapsaron a una precisión de ~20–27% (cerca del azar) para los cinco modelos que comparten el mismo VAE.
- SDS logró una precisión del 100% en estos mismos modelos, superando al mejor baseline (LATENTTRACER) por 55 puntos porcentuales y a RONAN por 70 puntos porcentuales en los pares de modelos más desafiantes.

5. Significado y Reivindicaciones

El artículo sostiene que la identidad del modelo está codificada en la geometría espectral del Jacobiano del denoiser, no en las salidas generadas. Este hallazgo establece una base sólida para la atribución que es independiente del autoencoder específico utilizado.

Practicidad: SDS requiere solo pasadas estándar hacia adelante, lo que lo hace aplicable al vasto ecosistema de modelos de difusión de código abierto existentes sin necesidad de reentrenamiento o marcas de agua.
Perspectiva Fundamental: El trabajo demuestra que incluso cuando los modelos convergen a funciones de puntuación visualmente similares, retienen "huellas espectrales" distintas en cómo enrutan la energía a través de las bandas de frecuencia.
Limitaciones: Los autores reconocen que SDS actualmente opera en un entorno de conjunto cerrado (el modelo fuente debe estar en el registro) y requiere acceso de caja blanca (white-box) a los pesos del modelo candidato (aunque esto se cumple con los modelos de código abierto). No detecta la manipulación post-generación.

En resumen, el artículo argumenta que al cambiar el enfoque de qué genera un modelo a cómo elimina el ruido, se puede lograr una atribución fiable y no invasiva, incluso en los escenarios más desafiantes donde los modelos comparten arquitecturas y autoencoders.