📊 statistics

MAD: Manifold Attracted Diffusion

Este artículo presenta Manifold Attracted Diffusion (MAD), un método que aprovecha la hipótesis de la variedad para modificar el procedimiento de inferencia de los modelos de difusión basados en puntuación, permitiendo la generación eficiente de muestras sin ruido a partir de datos de entrenamiento con ruido mediante la supresión de pequeñas variaciones fuera de la variedad mientras se preservan las estructuras significativas sobre la variedad.

Autores originales: Dennis Elbrächter, Giovanni S. Alberti, Matteo Santacesaria

Publicado 2026-06-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dennis Elbrächter, Giovanni S. Alberti, Matteo Santacesaria

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a dibujar dibujos perfectos de gatos. Le das al robot una enorme pila de fotos de referencia, pero con un inconveniente: cada una de las fotos en la pila está cubierta por una capa gruesa de estática, arañazos y motas de polvo aleatorias.

Si le pides a una IA estándar que aprenda de estas fotos sucias, aprenderá a dibujar gatos con la estática y los arañazos. Cree que el polvo es parte del gato.

El artículo que compartiste presenta un nuevo método llamado MAD (Manifold Attracted Diffusion). Piensa en MAD no como un nuevo profesor, sino como un filtro especial que el robot utiliza después de haber terminado de aprender, justo antes de dibujar la imagen final.

Así es como funciona, usando analogías sencillas:

1. El "Manifold" (La pista invisible)

El artículo se basa en una idea llamada Hipótesis del Manifold. Imagina que todas las fotos de "gatos reales" existen en una pista de tren muy específica e invisible que flota en un espacio tridimensional masivo.

Sobre la pista: Estas son las partes significativas de la imagen (la forma de la oreja, la curva de la cola, el color del pelaje). Moverse a lo largo de la pista cambia el gato de un gatito a un adulto, o de un siamés a un persa.
Fuera de la pista: Este es el espacio vacío alrededor de la pista. Si te mueves en estas direcciones, no estás cambiando al gato; solo estás añadiendo ruido aleatorio, polvo o estática.

El problema es que los datos de entrenamiento del robot son tan ruidosos que la "pista" es difícil de ver. El robot se confunde y piensa que el polvo es parte de la pista.

2. El "Extended Score" (La brújula magnética)

Los modelos de IA estándar utilizan algo llamado "score" (puntuación) para averiguar hacia dónde moverse para que la imagen sea más clara. Es como una brújula que apunta hacia el "camino más probable" siguiente. Pero si los datos tienen ruido, esta brújula se vuelve errática y apunta en la dirección incorrecta (hacia el polvo).

Los autores inventaron una nueva herramienta llamada Extended Score.

La analogía: Imagina que la brújula estándar es una aguja sensible que se ve arrastrada por una brisa suave (ruido). El Extended Score es como una brújula pesada y magnetizada.
Cómo funciona: Tiene una propiedad especial: si el viento (ruido) es muy débil, el imán tira de la aguja directamente hacia el centro de la pista e ignora la brisa. Pero si el viento es en realidad un cambio significativo y real (como girar la cabeza de un gato), el imán permite que la aguja se mueva con él.

En términos técnicos, el artículo dice que esta herramienta trata las variaciones diminutas (ruido) como si no existieran, reduciéndolas efectivamente a cero. Pero deja intactas las variaciones grandes e importantes (las características reales de la imagen).

3. El proceso: "Atraer" la imagen

Cuando el robot genera una imagen, comienza con una nube de estática aleatoria.

Método estándar: El robot limpia lentamente la estática, pero como aprendió de fotos sucias, deja los patrones de "polvo" en la imagen final.
Método MAD: El robot utiliza la brújula del Extended Score. A medida que limpia la imagen, esta brújula actúa como un potente imán que atrae los píxeles de la imagen hacia la "pista invisible" de los datos reales.
- Cualquier píxel que sea solo ruido aleatorio es atraído con fuerza de vuelta a la pista (eliminado).
- Cualquier píxel que sea parte de la forma real del gato tiene permitido quedarse donde pertenece.

El resultado es un efecto de "umbralización suave" (soft thresholding). Es como un tamiz que deja pasar las piedras grandes y pesadas (características reales) pero sacude y elimina todo el polvo pequeño y ligero (ruido).

¿Qué demostraron?

Los autores probaron esta idea de tres maneras:

Problemas de juguete: Dibujaron formas simples en una computadora y demostraron que el método podía extraer las formas de un caos de ruido, mientras que los métodos estándar solo reproducían el desorden.
Fotos reales: Tomaron modelos entrenados con versiones ruidosas de conjuntos de datos famosos (como caras de FFHQ o animales de ImageNet). Cuando usaban el método estándar, las caras se veían granulosas. Cuando usaban MAD, las caras se veían limpias y los fondos se convertían en colores sólidos (porque el ruido aleatorio del fondo fue "atraído" lejos).
Datos científicos reales: Lo probaron con imágenes de Criomicroscopía Electrónica (imágenes de partículas biológicas diminutas). Estas imágenes son increíblemente ruidosas. El método estándar producía manchas borrosas y ruidosas. MAD logró extraer formas claras que coinciden con lo que los científicos saben que son las partículas, a pesar de que la IA nunca había visto una versión limpia de estas partículas.

La conclusión fundamental

El artículo afirma que MAD permite tomar un modelo de IA entrenado con datos sucios y ruidosos y utilizar un simple ajuste matemático durante el proceso de dibujo para generar imágenes limpias.

No necesitas reentrenar la IA desde cero. Solo cambias la "brújula" que utiliza al final del proceso. Es una forma de decirle a la IA: "Ignora los pequeños movimientos; son solo ruido. Solo escucha los movimientos grandes".

Nota importante: El artículo establece explícitamente que esto es para generar nuevas imágenes limpias a partir de un conjunto de datos ruidoso. No es una herramienta para arreglar una foto específica que ya tienes (como limpiar un viejo retrato familiar); es para crear nuevos ejemplos de cómo debería verse ese objeto sin el ruido.

Resumen Técnico: Difusión Atraída por Variedades (Manifold Attracted Diffusion - MAD)

Planteamiento del Problema
Los modelos de difusión basados en puntuación (score-based) se han consolidado como métodos de vanguardia para la síntesis de imágenes, superando a menudo a las GAN y a los VAE en calidad y diversidad de las muestras. Sin embargo, surge una limitación significativa cuando los datos de entrenamiento están corrompidos por ruido proveniente de errores de medición, artefactos de compresión o procesos de recolección de datos. Los modelos de difusión estándar entrenados directamente sobre tales conjuntos de datos ruidosos aprenden a reproducir la corrupción, generando muestras que retienen las características del ruido de los datos de entrenamiento. Aunque los enfoques existentes para el entrenamiento con ruido suelen requerir la modificación del proceso de entrenamiento (por ejemplo, adaptando las funciones de pérdida o requiriendo una mezcla de datos limpios y ruidosos), existe una falta de métodos eficientes que puedan generar muestras limpias a partir de una distribución ruidosa utilizando marcos de trabajo establecidos y redes preentrenadas sin necesidad de reentrenamiento.

Metodología
El método propuesto, Manifold Attracted Diffusion (MAD), aborda esto modificando el procedimiento de inferencia de los modelos basados en puntuación en lugar del proceso de entrenamiento. El enfoque se fundamenta en la hipótesis de la variedad (manifold hypothesis), que postula que los datos significativos residen en una variedad de baja dimensión dentro de un espacio ambiente de alta dimensión. Los autores interpretan el ruido como variaciones de baja magnitud en direcciones ortogonales (fuera de la variedad) a esta estructura, mientras que las variaciones de los datos significativos ocurren a lo largo de la variedad (dentro de la misma).

La innovación técnica central es la introducción de la puntuación extendida (extended score).

Definición: Para una medida de probabilidad $p$ y un parámetro $\gamma > 0$ , la puntuación extendida $H_\gamma p$ se define como $(1 + \gamma)S(p * g_\gamma) + \gamma \frac{d}{d\gamma}S(p * g_\gamma)$ , donde $S$ es el operador de puntuación estándar ( $\nabla \log p$ ) y $g_\gamma$ es un núcleo gaussiano.
Propiedades: A diferencia de la puntuación estándar, que no está definida para distribuciones delta de Dirac (que representan datos en una variedad de menor dimensión con varianza cero en ciertas direcciones), la puntuación extendida está bien definida. Crucialmente, para una delta de Dirac, la puntuación extendida se comporta de manera similar a la puntuación de una Gaussiana con varianza unitaria. Esto permite que el proceso de inferencia trate las direcciones de baja varianza (fuera de la variedad) como si tuvieran una varianza no nula, aplicando efectivamente un efecto de "umbralización suave" (soft thresholding).
Algoritmo de Inferencia: Los autores proponen un algoritmo de inferencia iterativo que utiliza una aproximación de la puntuación extendida. Dada una red de eliminación de ruido (denoiser) preentrenada $D_\theta$ (que aproxima la puntuación estándar), la puntuación extendida se aproxima evaluando la red en un nivel de ruido ligeramente perturbado y computando una diferencia finita para aproximar la derivada con respecto a $\gamma$ .
Implementación: El algoritmo introduce hiperparámetros ( $a, b, p$ ) que controlan la fuerza de la "atracción por la variedad". Al ajustar estos parámetros, el procedimiento de inferencia suprime las pequeñas variaciones en las direcciones fuera de la variedad (ruido) mientras preserva las variaciones mayores en las direcciones dentro de la variedad (señal). El método es compatible con marcos establecidos, como la formulación de la ODE de flujo de probabilidad de Karras et al. (2022), y puede utilizar redes preentrenadas.

Contribuciones Clave

Definición Formal y Análisis: El artículo proporciona una definición matemática rigurosa de la puntuación extendida, analizando su comportamiento tanto en distribuciones estándar como en medidas delta de Dirac, demostrando su capacidad para generalizar el operador de puntuación a distribuciones degeneradas.
Algoritmo de Inferencia Eficiente: Los autores presentan un algoritmo de inferencia que reduce el ruido en las muestras generadas sin requerir un procedimiento de entrenamiento especial. Esto hace que el método sea compatible con los flujos de trabajo de entrenamiento y los modelos preentrenados existentes.
Validación Empírica: La eficacia del enfoque se demuestra a través de problemas de juguete, datos sintéticos y conjuntos de datos del mundo real, incluyendo FFHQ, AFHQ, ImageNet y datos de criomicroscopía electrónica (Cryo-EM).

Resultados

Datos de Juguete y Sintéticos: En ejemplos ilustrativos en 2D, la puntuación extendida logra colapsar exitosamente las trayectorias de Gaussianas de baja varianza hacia sus medias (imitando deltas de Dirac) mientras preserva la dispersión de los componentes de alta varianza. En conjuntos de datos sintéticos con ruido Gaussiano añadido y eliminación de píxeles, MAD supera significativamente la inferencia de puntuación estándar, generando muestras que recuperan las formas originales limpias.
Datos de Imágenes del Mundo Real: Los experimentos en FFHQ, AFHQv2 e ImageNet muestran que aumentar el parámetro de atracción de la variedad ( $b$ ) resulta en fondos más limpios y características primarias más nítidas, umbralizando eficazmente el ruido de alta frecuencia y las variaciones secundarias.
Métricas Cuantitativas: En los conjuntos de datos CIFAR-10 y FFHQ corrompidos con ruido Gaussiano, de disparo (shot) y de eliminación de píxeles, MAD logra puntuaciones de Distancia de Fréchet Inception (FID) significativamente más bajas en comparación con la inferencia estándar. Notablemente, las FID de la inferencia estándar se asemejan estrechamente a las FID de los datos de entrenamiento ruidosos, confirmando que los modelos estándar reproducen la corrupción, mientras que MAD logra eliminar el ruido con éxito.
Aplicación en Cryo-EM: Aplicado al conjunto de datos EMPIAR-11618 (imágenes de criomicroscopía electrónica de partícula única ruidosas), MAD generó muestras que se asemejan fuertemente a las formas refinadas obtenidas por métodos tradicionales, a pesar de que la red fue entrenada exclusivamente con datos ruidosos.

Significación y Reivindicaciones
El artículo afirma que MAD ofrece una solución práctica para la "denoising generativo ciego" (blind generative denoising), donde el modelo de degradación específico es desconocido y solo se dispone de datos ruidosos. La significación del método radica en su capacidad para aprovechar la estructura geométrica de las variedades de datos para filtrar el ruido durante la fase de generación, en lugar de depender de adaptaciones complejas durante el tiempo de entrenamiento.

Los autores son modestos respecto al alcance de sus afirmaciones:

No pretenden resolver problemas inversos (como la eliminación de ruido de una sola imagen dada), sino aprender de un conjunto de datos ruidoso para producir nuevas muestras limpias de la distribución subyacente.
Reconocen que alcanzar un rendimiento de vanguardia en dominios específicos (como Cryo-EM) requeriría incorporar conocimiento previo más específico del dominio, lo cual está fuera del alcance de este trabajo.
Señalan que, aunque el método es efectivo, el costo computacional es a lo sumo el doble que el de la inferencia estándar (debido a la evaluación adicional de la red), aunque las observaciones empíricas sugieren que utilizar la puntuación extendida solo en la segunda mitad de los pasos de inferencia podría ser suficiente.

El trabajo posiciona la puntuación extendida como un mecanismo con fundamento geométrico para mejorar la calidad de la generación, potencialmente aplicable incluso a modelos entrenados con datos limpios, y abre vías para la investigación futura en la selección adaptativa de parámetros e integración con modelos de difusión condicionales.