💬 NLP

A Tutorial on Diffusion Theory: From Differential Equations to Diffusion Models

Este tutorial proporciona un marco unificado para los modelos de difusión derivando sus dinámicas hacia adelante y hacia atrás a partir de ecuaciones diferenciales, demostrando la equivalencia entre los objetivos de entrenamiento estándar y la coincidencia de puntuaciones, y aclarando las conexiones teóricas entre diversos métodos de muestreo como DDPM, DDIM y la generación guiada.

Autores originales: Jiayi Fu, Yuxia Wang

Publicado 2026-05-22

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiayi Fu, Yuxia Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una fotografía hermosa y de alta resolución de un gato. Ahora, imagina aumentar lentamente el ruido estático de un televisor antiguo hasta que esa imagen se pierda completamente en un mar de ruido blanco. Ese es el Proceso Inverso.

Ahora, imagina que tienes a un detective superinteligente que puede observar ese ruido estático y decir: "Si elimino solo un poquito de ruido de este punto específico, la oreja del gato comenzará a asomar". Si este detective puede realizar ese paso a paso, una y otra vez, puede convertir el ruido estático de nuevo en una imagen clara de un gato. Ese es el Proceso Inverso, y así es como los Modelos de Difusión generan imágenes.

Este artículo de Jiayi Fu y Yuxia Wang es esencialmente un "manual de usuario" escrito en el lenguaje de las ecuaciones diferenciales (las matemáticas que describen cómo cambian las cosas con el tiempo). Unifica varias formas diferentes en las que los científicos han estado pensando sobre estos modelos en una sola historia grande y coherente.

Aquí está el desglose de su historia, utilizando analogías simples:

1. Las Dos Maneras de Describir el Viaje (ODE vs. SDE)

El artículo comienza diciendo que el proceso de convertir una imagen clara en ruido (y viceversa) puede describirse en dos lenguajes matemáticos diferentes:

El Camino Estocástico (SDE): Piensa en esto como un excursionista caminando por un bosque neblinoso. Tiene un mapa (la dirección en la que debería ir), pero el viento (ruido aleatorio) sigue desviándolo ligeramente de su curso. Cada paso es una mezcla de una dirección planificada y una ráfaga aleatoria. Esta es la Ecuación Diferencial Estocástica (SDE).
El Camino Determinista (ODE): Ahora, imagina al mismo excursionista, pero esta vez el viento es perfectamente predecible, o está caminando sobre una cinta transportadora gigante y suave que lo mueve exactamente a donde necesita ir sin ninguna aleatoriedad. Esta es la Ecuación Diferencial Ordinaria (ODE).

La Gran Idea: El artículo demuestra que, aunque estos dos caminos parecen diferentes (uno es inestable, el otro es suave), ambos comienzan en el mismo lugar (una imagen clara) y terminan en el mismo lugar (ruido puro). Más importante aún, ambos siguen exactamente el mismo "mapa de densidad" en cualquier momento dado. Puedes cambiar entre el camino inestable y el camino suave sin cambiar el resultado final.

2. El "Puntaje" (El Instinto del Detective)

¿Cómo sabe el detective hacia dónde ir? Utiliza algo llamado Puntaje.

En matemáticas, el "puntaje" es simplemente el gradiente de la probabilidad. En lenguaje sencillo, piénsalo como una pendiente.

Si estás de pie en una colina, la pendiente te dice hacia dónde está "arriba" (donde están los datos) y hacia dónde está "abajo" (donde está el ruido).
La tarea del modelo es aprender esta pendiente. Aprende a mirar una imagen ruidosa y decir: "La dirección 'cuesta arriba' (hacia una imagen real) es por aquí".

El artículo muestra que la forma estándar en que entrenamos estos modelos (pidiéndoles que adivinen el ruido que se agregó) es matemáticamente idéntica a pedirles que aprendan esta "pendiente" o Puntaje. Es como enseñar a un estudiante a resolver un problema matemático pidiéndole que encuentre la respuesta, en lugar de enseñarle la fórmula directamente. El artículo demuestra que estos dos métodos de enseñanza son en realidad lo mismo.

3. El Entrenamiento: Aprendiendo a Eliminar el Ruido

El artículo explica que no necesitamos enseñarle al modelo las matemáticas complejas de la "pendiente" directamente. En su lugar, simplemente podemos mostrarle una imagen ruidosa y preguntar: "¿Cuál fue el ruido que agregamos?".

Si el modelo aprende a predecir el ruido perfectamente, automáticamente aprende la pendiente.
Una vez que conoce la pendiente, puede invertir el proceso: comenzar con ruido puro y caminar "cuesta arriba" para crear una imagen nueva y realista.

4. Los Diferentes "Caminantes" (DDPM, DDIM, DPM-Solver)

El artículo unifica varios algoritmos famosos que la gente utiliza para generar imágenes. Explica que todos son simplemente diferentes formas de dar pasos a lo largo de esa "pendiente":

DDPM (El Excursionista Cuidadoso): Este método da pasos pequeños y cautelosos. Agrega un poco de aleatoriedad en cada paso (como la SDE). Es preciso pero lento.
DDIM (El Deslizador Suave): Este método ignora el viento aleatorio y simplemente sigue la cinta transportadora suave (la ODE). Es mucho más rápido porque no pierde tiempo reaccionando a ráfagas aleatorias, pero requiere un mapa muy bueno (un modelo bien entrenado).
DPM-Solver (El Ascensor Express): Este es un nuevo método sofisticado que utiliza trucos matemáticos para dar saltos grandes y eficientes cuesta arriba en lugar de pequeños pasos. Llega a la cima (la imagen final) en tiempo récord.

El artículo muestra que DDPM es esencialmente una versión discreta del camino inestable (SDE), y DDIM es una versión discreta del camino suave (ODE). Son dos caras de la misma moneda.

5. Guiando el Proceso (Guía con Clasificador)

A veces no quieres solo un gato; quieres un gato negro. ¿Cómo diriges al detective?

Guía con Clasificador: Traes a un segundo experto (un clasificador) que grita: "¡Más negro! ¡Menos blanco!". El detective escucha tanto la pendiente de la imagen como el grito del experto, ajustando su camino para crear un gato negro.
Guía sin Clasificador: En lugar de contratar a un segundo experto, entrenas al detective principal para que pueda decir "No sé lo que quieres" (sin condición) y "Sé que quieres un gato negro" (con condición). Durante la generación, mezclas estas dos respuestas para dirigir el resultado. El artículo explica las matemáticas detrás de por qué esta "mezcla" funciona tan bien.

6. La Gran Unificación: Flow Matching (Ajuste de Flujo)

Finalmente, el artículo conecta los Modelos de Difusión con un campo más nuevo llamado Flow Matching (Ajuste de Flujo).

Flow Matching es como dibujar una línea recta desde una nube de ruido hasta una nube de datos.
Difusión es como un camino de río sinuoso.

El artículo demuestra que, aunque parecen diferentes, si los entrenas de la misma manera (prediciendo ruido/puntaje), terminan describiendo exactamente el mismo viaje. La función de pérdida de "predicción de ruido" es en realidad una función de pérdida de "ajuste de flujo" disfrazada. Es como darse cuenta de que, ya sea que conduzcas un coche o montes una bicicleta, si sigues las mismas coordenadas de GPS, terminas en el mismo destino.

Resumen

Este artículo es un puente. Toma el mundo desordenado y complejo de diferentes algoritmos de difusión (DDPM, DDIM, Flow Matching) y muestra que todos son simplemente diferentes formas de resolver la misma ecuación diferencial.

Inverso: Convertir datos en ruido (fácil).
Reverso: Convertir ruido en datos (difícil).
El Secreto: Aprender la "pendiente" (puntaje) adivinando el ruido.
El Resultado: Ya sea que camines con un palo inestable (SDE) o te deslices sobre un riel suave (ODE), si sigues la pendiente, generarás imágenes hermosas.

Resumen Técnico: Un Tutorial sobre la Teoría de Difusión: Desde Ecuaciones Diferenciales hasta Modelos de Difusión

Declaración del Problema

Los modelos de difusión han surgido como un paradigma dominante en el modelado generativo, sin embargo, el campo se caracteriza por una proliferación de formulaciones: cadenas de Markov discretas (DDPM), ecuaciones diferenciales estocásticas continuas (SDE), ecuaciones diferenciales ordinarias de flujo de probabilidad (ODE), ajuste de puntuación (score matching) y ajuste de flujo (flow matching). Aunque se sabe que estos enfoques están relacionados, las correspondencias matemáticas precisas entre ellos, particularmente en lo que respecta a sus objetivos de entrenamiento, dinámicas de tiempo inverso y procedimientos de muestreo, a menudo quedan oscurecidas por notaciones divergentes y perspectivas discretas versus continuas. Este tutorial busca unificar estas perspectivas derivando modelos de difusión estrictamente desde el punto de vista de las ecuaciones diferenciales, estableciendo un puente riguroso entre procesos gaussianos condicionales, dinámicas forward marginalizadas y sus formulaciones correspondientes de tiempo inverso.

Metodología

El artículo adopta un marco matemático riguroso arraigado en el cálculo estocástico y las ecuaciones diferenciales parciales para reconstruir la teoría de los modelos de difusión. La metodología procede a través de las siguientes etapas lógicas:

Proceso Forward Condicional: Los autores comienzan definiendo un proceso forward gaussiano condicional $X_t | X_0 = x_0$ gobernado por los parámetros $\alpha_t$ y $\sigma_t$ . Demuestran que esta trayectoria específica admite dos representaciones equivalentes:
- Una ODE Condicional impulsada por un campo de velocidad derivado de la puntuación condicional.
- Una SDE Condicional impulsada por un término de deriva y un movimiento browniano.
  El artículo prueba que la densidad condicional satisface tanto la ecuación de continuidad (para la ODE) como la ecuación de Fokker–Planck (para la SDE).
Marginalización: Al promediar el proceso condicional sobre la distribución de datos $p_0$ , los autores derivan el proceso forward marginalizado. Muestran que la densidad marginal $p_t(x)$ también satisface una ecuación de continuidad y una ecuación de Fokker–Planck. Crucialmente, utilizan la Identidad de Fisher para relacionar la puntuación marginal $\nabla \log p_t(x)$ con la esperanza de la puntuación condicional, estableciendo que el campo de velocidad marginal es la esperanza del campo de velocidad condicional.
Dinámicas Inversas: El artículo introduce la variable de tiempo inverso $\tau = 1-t$ y deriva las dinámicas de tiempo inverso.
- SDE Inversa: Utilizando la reversión temporal de la SDE forward, los autores derivan la SDE inversa, la cual está gobernada por la puntuación marginal $\nabla \log p_t(x)$ .
- ODE Inversa (Flujo de Probabilidad): Derivan una ODE determinista que comparte la misma trayectoria de densidad marginal que la SDE inversa. Se demuestra que esta "ODE de flujo de probabilidad" tiene un campo de velocidad que es una transformación afín de la puntuación.
Objetivos de Entrenamiento: El tutorial conecta el objetivo estándar de predicción de ruido utilizado en la práctica con el objetivo teórico de ajuste de puntuación. Utilizando una identidad de ortogonalidad, los autores prueban que minimizar el error cuadrático esperado entre la predicción de ruido de una red neuronal y el ruido verdadero es equivalente (salvo una constante) a minimizar la pérdida de ajuste de puntuación. Esto establece que el objetivo estándar de entrenamiento aprende la puntuación marginal requerida tanto para la SDE inversa como para la ODE inversa.
Muestreo y Unificación: El artículo detalla algoritmos de muestreo tanto para la SDE inversa aprendida (Euler–Maruyama) como para la ODE inversa (Euler, Heun y DPM-Solver). Finalmente, mapea explícitamente los algoritmos discretos DDPM y DDIM sobre este marco continuo:
- DDPM se muestra que corresponde a una aproximación discreta de la SDE inversa, donde el término estocástico utiliza la varianza posterior exacta de la cadena discreta.
- DDIM se muestra que corresponde a una aproximación discreta de la ODE inversa (determinista), con un parámetro de estocasticidad $\eta$ que permite la interpolación entre ambos.
Guía y Ajuste de Flujo: El marco se extiende para incluir la guía con clasificador y la guía sin clasificador, mostrando cómo estas modifican la deriva inversa. Además, el artículo unifica el Ajuste de Puntuación y el Ajuste de Flujo, demostrando que la pérdida estándar de difusión puede interpretarse como un objetivo de ajuste de flujo ponderado para la ODE de flujo de probabilidad inducida.

Contribuciones Clave

Derivación Unificada: El artículo proporciona una derivación única y coherente que muestra que la trayectoria forward gaussiana condicional admite representaciones tanto de ODE como de SDE, y que marginalizar esta trayectoria produce formulaciones marginales consistentes de ODE y SDE.
Equivalencia de Objetivos: Prueba rigurosamente que la pérdida estándar de predicción de ruido es equivalente al ajuste de puntuación, y demuestra además que esta misma pérdida induce un objetivo de ajuste de flujo para la ODE inversa determinista.
Unificación DDPM/DDIM: El trabajo conecta explícitamente los algoritmos discretos DDPM y DDIM con los marcos continuos de SDE inversa y ODE inversa, respectivamente. Aclara que el muestreo DDPM es una discretización de primer orden de la SDE inversa (con un manejo específico de la varianza), mientras que DDIM es una discretización de la ODE inversa.
Clarificación de Términos de Ruido: El apéndice proporciona una aclaración detallada de los tres símbolos de ruido distintos ( $W_t$ , $W^{rev}_\tau$ , $\bar{W}_t$ ) utilizados en tiempo forward y tiempo inverso, resolviendo la confusión notacional común sobre el movimiento browniano en configuraciones de tiempo revertido.
Generalización de la Guía: El tutorial formaliza tanto la guía con clasificador como la guía sin clasificador dentro del marco de SDE/ODE inversa, mostrando cómo modifican el término de deriva a través de la puntuación condicional.

Resultados

El artículo no presenta nuevos resultados empíricos ni puntos de referencia experimentales. En cambio, sus "resultados" son derivaciones teóricas y pruebas:

Teorema 1.2 y 1.4: Prueba de que la trayectoria gaussiana condicional es generada tanto por una ODE específica como por una SDE.
Teorema 2.1 y 2.2: Prueba de que el proceso marginalizado es generado por formulaciones marginales de ODE y SDE.
Teorema 3.3 y 3.5: Derivación de la SDE inversa y la ODE de flujo de probabilidad inversa, probando que comparten la misma trayectoria de densidad.
Teorema 4.2: Prueba de la equivalencia entre la pérdida de predicción de ruido y la pérdida de ajuste de puntuación.
Teorema 7.6 y 7.7: Demostración de que el entrenamiento e inferencia de DDPM corresponden al marco de SDE inversa en una cuadrícula discreta.
Teorema 7.8: Demostración de que DDIM determinista corresponde al marco de ODE inversa.
Proposición 8.1: Prueba de que la pérdida de difusión es un objetivo de ajuste de flujo ponderado para la velocidad de la ODE inversa.

Significado y Afirmaciones

El artículo se posiciona como un tutorial destinado a aclarar los fundamentos teóricos de los modelos de difusión modernos. Su significado radica en:

Conectar lo Discreto y lo Continuo: Resuelve la aparente desconexión entre las formulaciones de cadenas de Markov discretas (DDPM) y las formulaciones continuas de SDE/ODE (Song et al., 2020; Lipman et al., 2023), mostrando que son diferentes discretizaciones de la misma dinámica continua subyacente.
Unificar Perspectivas: Unifica la perspectiva "basada en puntuación" (aprender $\nabla \log p_t$ ) con la perspectiva "basada en flujo" (aprender un campo de velocidad $v_t$ ), mostrando que en el contexto de difusión, estas están vinculadas por una simple transformación afín.
Rigor Pedagógico: Al derivar cada paso desde los primeros principios (núcleos gaussianos condicionales, ecuaciones de Fokker–Planck, cálculo de Itô), el artículo proporciona una referencia autocontenida que evita las inconsistencias notacionales que a menudo se encuentran entre diferentes subcampos del modelado generativo.

Los autores afirman que este marco ofrece un "lenguaje único" para comprender los modelos de difusión, el ajuste de flujo y el ajuste de puntuación, permitiendo a los investigadores ver que la SDE inversa es el modelo generativo estocástico, mientras que la ODE inversa es el modelo de flujo determinista, ambos impulsados por la misma función de puntuación aprendida.