Resumen Técnico: Comprender los Modelos de Difusión Requiere Repensar la Generalización

Enunciado del Problema

El artículo sostiene que comprender la generalización en los modelos de difusión no puede basarse en la teoría clásica del aprendizaje estadístico (por ejemplo, dimensión de VC, complejidad de Rademacher) ni en el paradigma de "sobreajuste benigno" desarrollado para el aprendizaje supervisado. En el aprendizaje supervisado, la interpolación (memorización) y la generalización pueden coexistir. En contraste, para los modelos de difusión entrenados mediante ajuste de puntuación de eliminación de ruido, alcanzar el mínimo global del riesgo empírico corresponde a la función de puntuación de la medida empírica ruidosa —una mezcla de Gaussianas centradas en los puntos de entrenamiento—. Muestrear desde este mínimo produce copias casi exactas de los datos de entrenamiento en lugar de muestras novedosas.

Aunque los modelos de difusión prácticos generan datos diversos y novedosos, lo que implica que alguna forma de regularización previene la memorización completa, las explicaciones teóricas de este fenómeno siguen siendo fragmentadas. La literatura existente atribuye esto a tres factores distintos: (i) limitaciones de capacidad en relación con el tamaño del conjunto de datos, (ii) regularización implícita derivada de la dinámica de optimización (por ejemplo, parada temprana, tasa de aprendizaje) y (iii) sesgos inductivos arquitectónicos. El artículo postula que las interacciones entre estos factores se comprenden mal y que el campo se ha centrado demasiado en por qué los modelos no memorizan, en lugar de qué aprenden durante la fase pre-memorización.

Metodología

Para abordar estas lagunas, los autores realizan un estudio empírico utilizando arquitecturas U-Net entrenadas en el conjunto de datos CIFAR-10. El estudio está diseñado como una investigación a escala intermedia, cerrando la brecha entre los análisis teóricos sobre datos Gaussianos y los sistemas prácticos a gran escala.

Configuración Experimental:

• Datos: Se utilizan las primeras $N$ muestras del conjunto de entrenamiento de CIFAR-10, con $N$ variando en $\{2048, 4096, 8192, 16384\}$. La evaluación utiliza un conjunto de prueba fijo de 5.120 muestras.
• Arquitectura: U-Nets con diferentes conteos de parámetros ($P \in \{3M, 8M, 26M, 93M, 201M\}$).
• Entrenamiento: Formulación de flujo rectificado con 250 pasos de muestreo y fuerza de guía sin clasificador de 0.0.
• Barridos de Hiperparámetros: Variación sistemática del tamaño del conjunto de datos ($N$), tamaño del modelo ($P$), tamaño de lote ($B \in \{16, 32, 64, 128\}$) y tasa de aprendizaje ($\eta \in \{10^{-5}, 5\cdot10^{-5}, 10^{-4}, 4\cdot10^{-4}\}$).

Métricas:
Los autores rastrean cuatro cantidades clave en ambas divisiones de entrenamiento y prueba:

1. Pérdida de Ajuste de Puntuación de Eliminación de Ruido: Calculada en un solo lote (entrenamiento) y en el conjunto completo (prueba).
2. Puntuación de Memorización: La relación de muestras generadas con alta similitud coseno (>0.6) con los datos de entrenamiento en un espacio de características auto-supervisado (SSCD).
3. Distancia de Wasserstein Recortada: Calculada entre las muestras generadas y las divisiones de referencia en el espacio de características Inception.
4. FID (Distancia Fréchet Inception): Calculada entre las muestras generadas y las divisiones de referencia.

El estudio define el tiempo de memorización ($\tau_{mem}$) como el punto donde la pérdida de prueba comienza a divergir de la pérdida de entrenamiento. Distingue entre novedad (ausencia de memorización, $\tau < \tau_{mem}$) y fidelidad (calidad/precisión distribucional).

Contribuciones y Resultados Clave

1. Reevaluación del "Por Qué" de la No Memorización

Los autores confirman que la transición de memorización es sistemática y observable. Validan que el tiempo hasta la memorización ($\tau_{mem}$) escala linealmente con el tamaño del conjunto de datos. Esto respalda la conclusión de que la pregunta de por qué los modelos prácticos a gran escala no memorizan está resuelta en gran medida: el tiempo de entrenamiento requerido para alcanzar la fase de memorización simplemente excede los presupuestos razonables. Los autores argumentan que el campo debe pivotar de explicar la ausencia de memorización a analizar la fase pre-memorización.

2. Limitaciones de las Métricas Estándar

Un hallazgo crítico es que las métricas distribucionales estándar (Wasserstein recortada, FID) no logran disociar la novedad de la fidelidad.

• Brecha Entrenamiento-Prueba: A diferencia del aprendizaje supervisado, la brecha entrenamiento-prueba en la distancia distribucional es poco informativa. Debido a que los conjuntos de entrenamiento y prueba se extraen de la misma distribución, la distancia desde las muestras generadas hacia cualquiera de los conjuntos permanece casi idéntica incluso cuando el modelo transita de generar imágenes novedosas a copiar datos de entrenamiento.
• Doble Descenso: Los autores observan un fenómeno de "doble descenso" en las distancias distribucionales (FID y Wasserstein recortada) para ambos conjuntos de entrenamiento y prueba. Esto contradice las teorías clásicas de doble descenso donde las métricas de entrenamiento y prueba divergen. En su lugar, el modelo alcanza un estado intermedio con baja pérdida de entrenamiento pero pobre alineación distribucional, lo que sugiere que el fenómeno es impulsado puramente por la dinámica de optimización en lugar de argumentos de capacidad.

3. Roles Distintos del Tamaño del Conjunto de Datos y del Modelo

El estudio revela que el tamaño del conjunto de datos y el tamaño del modelo desempeñan roles opuestos en la dinámica de entrenamiento:

• Tamaño del Conjunto de Datos: Aumentar $N$ retrasa el inicio de la memorización y mejora la fidelidad máxima.
• Tamaño del Modelo: Aumentar $P$ acelera el inicio de la memorización pero también mejora la fidelidad máxima.
  Esto sugiere que la generalización en los modelos de difusión no puede explicarse únicamente por la relación entre la capacidad del modelo y el tamaño de la muestra; la trayectoria a través del espacio de parámetros moldeada por la dinámica de optimización es un factor distinto.

4. Hiperparámetros de Optimización y Fidelidad

Los autores encuentran que los hiperparámetros de optimización influyen significativamente en la fidelidad antes de que ocurra la memorización:

• Tamaño de Lote: Los tamaños de lote más pequeños conducen a una mejor fidelidad máxima (menor distancia distribucional mínima) sin alterar significativamente la tasa de memorización o el tiempo de inicio. Esto se alinea con la literatura de "estabilidad mínima", pero se manifiesta a lo largo de la trayectoria de entrenamiento en lugar de en la convergencia.
• Tasa de Aprendizaje: Las tasas de aprendizaje más grandes mejoran la fidelidad máxima y retrasan el inicio normalizado de la memorización. Esto respalda la hipótesis del "borde de la estabilidad", pero nuevamente, el efecto se observa durante la trayectoria, no solo en la solución final.

Significado y Posición

El artículo afirma que el marco teórico para la generalización en los modelos de difusión requiere un cambio fundamental. Los autores argumentan que:

1. El "Por Qué" está Resuelto: La falta de memorización en aplicaciones a gran escala se explica por la escala lineal del tiempo de memorización con el tamaño del conjunto de datos combinada con la parada temprana.
2. El "Qué" es la Pregunta Abierta: El principal desafío teórico es comprender qué se aprende durante la fase pre-memorización y cómo la novedad y la fidelidad emergen conjuntamente de la interacción entre optimización, arquitectura y geometría de los datos.
3. Se Necesita un Nuevo Marco: Las brechas de generalización clásicas (en pérdida o espacio distribucional) son insuficientes para los modelos generativos. La pérdida de entrenamiento (ajuste de puntuación) es un proxy indirecto de la calidad de la muestra, y las métricas estándar no logran distinguir entre un modelo que generaliza y uno que memoriza.

Los autores concluyen que la investigación futura debe centrarse en desarrollar métricas que capturen la distinción entre copiar y generalizar, y formular una teoría de regularización implícita que describa las propiedades de las iteraciones intermedias en el ajuste de puntuación, en lugar de solo la solución final convergente.