📊 statistics

Benign Overfitting Does Not Occur in Diffusion Models

Este artículo demuestra que, a diferencia de los modelos estándar de aprendizaje profundo donde el sobreajuste puede ser benigno, los modelos de difusión fundamentalmente no pueden lograr una buena generalización mientras se sobreajustan debido a la falta de alineación de la covarianza del objetivo en el ajuste de puntuación (score matching), lo que resulta en una curva de generalización clásica en forma de U en lugar de un descenso doble.

Autores originales: Tyler Farghly, Benjamin Dupuis, Alain Durmus, Umut Simsekli

Publicado 2026-07-07

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tyler Farghly, Benjamin Dupuis, Alain Durmus, Umut Simsekli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La gran idea: Por qué los modelos de difusión son diferentes

En el mundo de la IA moderna (como las que generan imágenes), existe una regla famosa llamada "Sobreajuste benigno" (Benign Overfitting).

Imagina a un estudiante tomando un examen.

Aprendizaje normal: El estudiante estudia los conceptos y responde las preguntas correctamente.
Sobreajuste (Overfitting): El estudiante memoriza las respuestas exactas del examen de práctica pero no entiende los conceptos. Por lo general, esto es malo; reprueba el examen real.
Sobreajuste benigno: En el aprendizaje profundo estándar, los investigadores descubrieron una excepción extraña. A veces, si el estudiante es tan inteligente (tiene un cerebro/modelo enorme) que memoriza perfectamente el examen de práctica (incluso los errores), de alguna manera logra aprobar el examen real. Es como memorizar un mapa tan perfectamente que puedes navegar por una ciudad nueva sin perderte.

Este artículo argumenta que los Modelos de Difusión (la tecnología detrás de herramientas como DALL-E o Midjourney) NO tienen este superpoder.

Si un Modelo de Difusión memoriza los datos de entrenamiento perfectamente, fallará con los datos nuevos. No puede tenerlo todo.

El problema central: La "moneda de dos caras"

Los autores explican que, para los Modelos de Difusión, estás atrapado en un compromiso clásico, no en una victoria mágica doble.

La analogía: La radio con ruido
Imagina que estás intentando sintonizar una radio para escuchar una canción específica (la distribución de datos "real").

Los datos de entrenamiento: Son grabaciones de la canción, pero están ligeramente distorsionadas por estática (ruido).
El objetivo: Quieres construir un filtro (el modelo de IA) que elimine la estática para escuchar la canción claramente.

En la IA estándar, podrías construir un filtro tan complejo que memorizara cada crujido y chasquido de la estática en tus grabaciones, pero que de alguna manera lograra reproducir la canción perfectamente en una radio nueva.

En los Modelos de Difusión, los autores demuestran que esto es imposible.
Demuestran que si tu filtro es lo suficientemente complejo como para memorizar cada crujido de las grabaciones de entrenamiento (puntuación de entrenamiento perfecta), inevitablemente comenzará a reproducir solo los crujidos y la estática cuando intentes escuchar una canción nueva. La "puntuación de prueba" (qué tan bien funciona con datos nuevos) empeora, no mejora.

¿Por qué sucede esto? (El misterio de la "alineación")

El artículo investiga por qué la IA regular logra esto, pero los Modelos de Difusión no.

La analogía: El blanco y el viento

Regresión estándar (IA convencional): Imagina lanzar dardos a un blanco. Si el viento (ruido) sopla en una dirección específica, y tu blanco está alineado con ese viento, puedes acertar accidentalmente al centro incluso si solo estás lanzando disparos erráticos. El "viento" y el "blanco" se ayudan mutuamente. Esto se llama alineación.
Modelos de Difusión (Score Matching): Imagina intentar predecir la dirección del viento en sí misma. El artículo argumenta que en los Modelos de Difusión, el "viento" y el "blanco" nunca están alineados. Las matemáticas simplemente no funcionan de esa manera. Debido a que no hay una alineación útil, si intentas memorizar el ruido, solo estás memorizando el caos. No hay "almuerzo gratis".

La forma de la curva: Forma de U vs. Forma de W

Los investigadores suelen graficar qué tan bien funciona un modelo a medida que se hace más grande (más parámetros).

IA estándar (La forma de "W" / Descenso doble):
1. El modelo es pequeño: Mal en todo.
2. El modelo crece a un nivel medio: Comienza a memorizar los datos de entrenamiento perfectamente, y el rendimiento con datos nuevos se vuelve peor (el pico de la "W").
3. El modelo se vuelve enorme: Memoriza todo, pero de alguna manera el rendimiento con datos nuevos vuelve a ser mejor. Esta es la zona de "Sobreajuste benigno".
Modelos de Difusión (La forma de "U"):
1. El modelo es pequeño: Mal en todo.
2. El modelo crece a un nivel medio: Comienza a memorizar los datos de entrenamiento.
3. El modelo se vuelve enorme: Sigue memorizando, y el rendimiento con datos nuevos sigue empeorando. Nunca vuelve a subir. Forma una forma de "U". Cuanto más te sobreajustas, peor se vuelve el modelo.

Entonces, ¿cómo es que funcionan?

Si los Modelos de Difusión no pueden confiar en el "Sobreajuste benigno", ¿cómo es que generan imágenes increíbles sin memorizar el conjunto de entrenamiento? El artículo identifica dos "mecanismos de seguridad" que actúan como frenos naturales:

1. Suavidad temporal (El efecto de "desenfoque")
Los Modelos de Difusión no solo aprenden una imagen estática; aprenden cómo revertir un proceso a través del tiempo (del ruido a la imagen).

Analogía: Imagina entrenar a un estudiante para dibujar un rostro. En lugar de dejar que memorice una foto específica, lo obligas a aprender cómo dibujar el rostro en cada etapa de una transición lenta y suave desde un desastre borroso hasta una imagen clara.
El resultado: Debido a que el modelo debe ser suave y consistente a través de todos estos pasos temporales, no puede simplemente memorizar el ruido específico de una imagen de entrenamiento. El requisito de ser "suave" a través del tiempo actúa como un filtro natural que evita la mala memorización.

2. Parada temprana (La regla de "Detente antes de olvidar")

Analogía: Imagina a un estudiante estudiando para un examen. Si estudia durante 1 hora, aprende el material. Si estudia durante 100 horas, comienza a memorizar las manchas de tinta en el papel y la fuente específica del libro de texto, lo que lo confunde.
El resultado: El artículo muestra que si detienes el entrenamiento del Modelo de Difusión antes de que haya memorizado completamente los datos de entrenamiento (antes de llegar a la zona de "sobreajuste"), este funciona mejor. Si dejas que entrene hasta que memorice perfectamente los datos, se rompe.

Resumen

El mito: "Los modelos más grandes que lo memorizan todo siempre funcionarán mejor".
La realidad para los Modelos de Difusión: "Los modelos más grandes que memorizan todo en realidad funcionarán peor".
La solución: Los modelos de difusión dependen de la suavidad temporal (aprender el proceso, no solo el resultado) y la parada temprana (detenerse antes de que se establezca la memorización) para generalizar bien. No disfrutan del "beneficio mágico" del sobreajuste que otros modelos de IA a veces disfrutan.

Resumen Técnico: El sobreajuste benigno no ocurre en los modelos de difusión

Planteamiento del problema

Si bien el "sobreajuste benigno" (benign overfitting) y la "doble descenso" (double descent) son fenómenos bien establecidos en el aprendizaje profundo tradicional —donde los modelos sobreparametrizados pueden memorizar perfectamente los datos ruidosos de entrenamiento manteniendo una buena generalización—, sigue sin estar claro si estas propiedades se mantienen en los modelos de difusión. Los modelos de difusión comparten gran parte de la arquitectura y la maquinaria de optimización del aprendizaje profundo estándar (por ejemplo, redes neuronales, ADAM, objetivos de tipo regresión), lo que lleva a la suposición natural de que exhiben comportaciones de generalización similares. Este artículo desafía esa suposición, investigando si los modelos de difusión pueden lograr simultáneamente un bajo error de entrenamiento (interpolación) y un bajo error de población (generalización) sin requerir tamaños de muestra exponencialmente grandes.

Metodología

Los autores emplean un enfoque multifacético que combina resultados teóricos de imposibilidad fundamental, análisis asintótico de modelos simplificados y validación empírica de alta dimensión.

Resultos de imposibilidad fundamental: El artículo deriva cotas inferiores para la suma de las pérdidas de coincidencia de puntuación (score matching) empírica y de población. Utilizando conceptos de la teoría de la información (información de Fisher, divergencia de Kullback-Leibler) y procesos estocásticos (teorema de Girsanov), los autores establecen que, para que las pérdidas empírica y de población sean simultáneamente pequeñas, la distribución empírica debe ser extremadamente cercana a la distribución real.
Redes de características aleatorias lineales (RFNNs): Para obtener una visión más detallada, los autores analizan una clase tratable de modelos: redes de características aleatorias de dos capas ($s(x) = AWx$). Estudian el comportamiento de estas redes en un régimen asintótico proporcional donde la dimensión de los datos $d$ , el tamaño de la muestra $n$ y el ancho del modelo $p$ tienden todos al infinito con proporciones fijas ( $\psi_p = p/n$ , $\psi_d = d/n$ ). Esto permite una caracterización precisa del exceso de riesgo utilizando la teoría de matrices aleatorias (distribuciones de Marchenko-Pastur).
Comparación con la regresión: El análisis contrasta explícitamente la coincidencia de puntuación con la regresión multisalida clásica. Mientras que la regresión se beneficia de una alineación entre el objetivo y la covarianza empírica (lo que permite que las soluciones de norma mínima generalicen), los autores demuestran que la coincidencia de puntuación carece de este mecanismo de alineación.
Mecanismos de regularización implícita: El artículo investiga dos mecanismos específicos inherentes al entrenamiento de difusión que pueden prevenir el sobreajuste:
- Suavidad temporal (Time-Smoothness): Analizar el efecto de entrenar una sola red a través de un rango continuo de niveles de ruido (integración temporal) frente a redes independientes para cada paso de tiempo.
- Parada temprana (Early Stopping): Estudiar la dinámica del flujo de gradiente de los parámetros de la red de puntuación para determinar si detener el entrenamiento antes de la convergencia mitiga la explosión del error de prueba.
Validación empírica: Los hallazgos teóricos se verifican mediante experimentos de alta dimensión utilizando arquitecturas U-Net en CIFAR-10, variando el ancho del modelo y la duración del entrenamiento.

Contribuciones clave y resultados

1. Limitaciones fundamentales del sobreajuste

El artículo establece que el sobreajuste benigno es fundamentalmente imposible en los modelos de difusión bajo configuraciones prácticas.

Teorema 3.1: Los autores demuestran que, a menos que el tamaño de la muestra $n$ crezca exponencialmente con la dimensión de los datos (específicamente $n \gtrsim (C\sqrt{d})^{-d'}$ , donde $d'$ es la dimensión de Rényi inferior), es imposible que tanto la pérdida de coincidencia de puntuación empírica como la de población sean pequeñas simultáneamente.
Implicación: A diferencia de la regresión tradicional donde el sobreajuste puede ser benigno, en los modelos de difusión, la interpolación perfecta de los datos de entrenamiento conduce inevitablemente a una mala generalización (pérdida de población alta) a menos que el conjunto de datos sea prohibitivamente grande.

2. Ausencia de doble descenso

Curva de riesgo en forma de U: A través del análisis de las RFNN lineales (Proposición 4.1), el artículo demuestra que la pérdida de población sigue una curva clásica en forma de U con respecto a la complejidad del modelo, en lugar de la curva de doble descenso observada en la regresión.
Incompatibilidad mutua: En el régimen sobreparametrizado ( $p > d > n$ ), el riesgo empírico puede reducirse a cero (interpolación), pero el riesgo de población explota, particularmente a medida que $t \to 0$ . Esta explosión es impulsada por el espacio nulo de la matriz de covarianza empírica, que la coincidencia de puntuación no puede regularizar sin restricciones explícitas.

3. Mecanismos que previenen el sobreajuste

Dado que el sobreajuste benigno no ocurre de forma natural, el artículo identifica mecanismos que actúan como regularización implícita para permitir la generalización:

Suavidad temporal (Sección 5.1): Entrenar una sola red a través de un intervalo de tiempo (integrar la pérdida) actúa como un regularizador implícito. El análisis teórico (Proposición 5.1) muestra que la suavidad temporal evita la explosión de la pérdida de población observada en configuraciones de tiempo fijo. Empíricamente, aumentar el rango de tiempo de entrenamiento $r$ aumenta el error de entrenamiento pero disminuye el error de prueba, confirmando su efecto regularizador.
Parada temprana (Sección 5.2): El artículo muestra que el sobreajuste en los modelos de difusión se manifiesta más tarde en el entrenamiento. Al analizar el flujo de gradiente, demuestran que la parada temprana (en un tiempo $\tau$ del orden de $\sigma^{-2}_t$ ) evita que la pérdida de prueba explote. Esto concuerda con la observación de que los modelos de difusión suelen generalizar bien cuando el entrenamiento se detiene antes de la convergencia total.

4. Verificación empírica

Modelos lineales: Los experimentos con redes de características aleatorias confirman la curva de riesgo en forma de U y la divergencia entre los errores de entrenamiento y de prueba en el régimen sobreparametrizado.
Imágenes de alta dimensión: Los experimentos en CIFAR-10 utilizando U-Nets muestran que, a medida que aumenta la capacidad del modelo, este transiciona del subajuste a la generalización y, finalmente, a la memorización (bajo error de entrenamiento, alto error de prueba). Además, variar la duración del entrenamiento confirma que la parada temprana produce una generalización óptima, mientras que entrenar hasta la convergencia conduce al sobreajuste.

Significado y afirmaciones

El artículo afirma que redefine fundamentalmente la comprensión de la generalización en los modelos de difusión. Su principal significancia radica en demostrar que:

Mecanismos distintos: La generalización en los modelos de difusión está gobernada por mecanismos distintos a los de la regresión tradicional. La "regularización autoinducida" que permite el sobreajuste benigno en la regresión sobreparametrizada no se transfiere a la coincidencia de puntuación.
Sin doble descenso: El fenómeno de doble descenso, una característica distintiva de la teoría del aprendizaje profundo moderno, no se aplica a los modelos de difusión en el sentido estándar; en su lugar, exhiben un compromiso clásico entre sesgo y varianza (bias-variance tradeoff).
Necesidad de regularización: Una buena generalización en los modelos de difusión depende de propiedades específicas del marco de entrenamiento —a saber, la suavidad temporal y la parada temprana— en lugar de la mera escala de la sobreparametrización.

Los autores concluyen que la suposición de que los modelos de difusión heredan las propiedades de sobreajuste benigno del aprendizaje profundo estándar es, en gran medida, incorrecta. Este hallazgo motiva el desarrollo de nuevos marcos teóricos diseñados específicamente para el objetivo de coincidencia de puntuación y la dinámica única de los procesos de difusión.