Resumen Técnico: ¿Cuándo son dos puntuaciones mejores que una? Investigación de conjuntos de modelos de difusión

Planteamiento del problema

Si bien el ensamble es una técnica bien establecida en el aprendizaje supervisado para mejorar la robustez y la precisión de los modelos mediante la agregación de múltiples predictores, su aplicación a los modelos de difusión incondicionales basados en puntuación permanece en gran medida inexplorada. Las estrategias estándar para mejorar los modelos de difusión suelen implicar el escalado de la profundidad del modelo o de la duración del entrenamiento, lo que incurre en costos computacionales significativos. Los autores investigan si el ensamble de múltiples modelos de difusión —específicamente mediante la agregación de sus funciones de puntuación estimadas— proporciona beneficios tangibles para el modelado generativo, particularmente en términos de calidad perceptual de las muestras.

Metodología

El estudio emplea un marco de ensamble "democrático" donde $K$ modelos entrenados independientemente contribuyen equitativamente al proceso de agregación. La investigación abarca tanto enfoques basados en aprendizaje profundo (redes neuronales) como enfoques no profundos (árboles de decisión).

1. Construcción del ensamble

• Ensamble de Aprendizaje Profundo (DE): Los autores entrenan $K$ U-Nets (o arquitecturas ADM) de forma independiente en el mismo conjunto de datos utilizando diferentes semillas aleatorias. También exploran el Dropout de Monte Carlo (MC) como una alternativa ligera al entrenamiento de redes separadas.
• Ensambles de Árboles de Decisión: Para datos tabulares, utilizan Random Forests, entrenando distintos árboles en varios niveles de ruido para aproximar la función de puntuación.

2. Estrategias de agregación

El núcleo de la investigación reside en cómo combinar los $K$ predictores de puntuación $\{s^{(k)}_\theta(x, t)\}_{k=1}^K$ en cada paso de tiempo $t$ durante el proceso de difusión inversa. El artículo evalúa varias reglas de agregación:

• Media Aritmética: El enfoque estándar, promediando las puntuaciones coordenada a coordenada.
• Media Geométrica y Mediana: Alternativas de agregación por coordenada.
• Característica Dominante: Seleccionar el componente con el valor absoluto más grande entre todos los expertos para cada coordenada.
• Mezcla de Expertos (MoE): Selección aleatoria de un único modelo experto antes de la ejecución del muestreo.
• Muestreo Alterno: Selección aleatoria de un experto diferente en cada nivel de ruido $t_n$.
• Suma de Puntuaciones: Sumar las puntuaciones (interpretadas como un producto de expertos no normalizado).

3. Análisis Teórico

Los autores proporcionan perspectivas teóricas sobre la relación entre la agregación de puntuaciones y la composición de densidades. Analizan si el promedio de las puntuaciones corresponde al muestreo de una distribución de "Producto de Expertos" (PoE). Demuestran que la difusión (añadir ruido) y la composición de densidades (PoE) no conmutan, lo que significa que promediar las puntuaciones en pasos de tiempo intermedios no corresponde estrictamente al muestreo de la media geométrica de las distribuciones de datos iniciales.

4. Configuración Experimental

Los experimentos se realizaron en:

• Conjuntos de Datos de Imágenes: CIFAR-10 (32x32) y FFHQ (256x256).
• Conjuntos de Datos Tabulares: Iris, Airfoil Self-Noise y Wine Quality.
• Métricas: Distancia de Fréchet Inception (FID), Distancia de Inception de Kernel (KID), pérdida de Denoising Diffusion Score Matching (LDDSM) y distancia de Wasserstein (para datos tabulares).

Resultados Clave

1. Mejora Limitada en la Calidad Perceptual

Contrario al éxito del ensamble en el aprendizaje supervisado, los autores encuentran que el ensamble de modelos de difusión no logra mejorar consistentemente las métricas de calidad perceptual (FID, KID).

• En CIFAR-10 y FFHQ, la media aritmética de las puntuaciones generalmente produce una mejora marginal o nula respecto al promedio de los modelos individuales y nunca supera al mejor modelo individual.
• En algunos casos (por ejemplo, CIFAR-10 con configuraciones específicas), el ensamble funcionó peor que el modelo individual más débil.
• Esto se mantiene a través de varias estrategias de agregación (Media geométrica, Mediana, Característica dominante), con la excepción de la Mezcla de Expertos (MoE) en contextos específicos.

2. Mejora en el Objetivo de Entrenamiento

Mientras que las métricas de percepción se estancan, la pérdida LDDSM disminuye consistentemente a medida que el tamaño del ensamble $K$ aumenta. Esto se alinea con las expectativas teóricas basadas en la desigualdad de Jensen, donde el promedio de los estimadores reduce la varianza en el objetivo de coincidencia de puntuación (score matching). Sin embargo, esta reducción en la pérdida de entrenamiento no se traduce en una mejor calidad de muestra.

3. Casos de Éxito Específicos

• Mezcla de Expertos (MoE): En FFHQ, el MoE superó incluso al mejor modelo individual. Esto sugiere que aprovechar la variabilidad entre modelos mediante el muestreo de un único experto por ejecución puede ser beneficioso, aunque no constituye un "ensamble" real en el sentido de combinar predicciones para una sola muestra.
• Datos Tabulares (Característica Dominante): Para Random Forests en datos tabulares, la estrategia de agregación de Característica Dominante superó significativamente a la media aritmética y a otros métodos. Los autores atribuyen esto a que el promedio simple subestima sistemáticamente la magnitud del ruido, algo que la estrategia Dominante corrige.

4. La Desconexión entre Pérdida y Calidad

El estudio destaca una desconexión fundamental: la pérdida de coincidencia de puntuación (lo que el modelo optimiza) y las métricas de calidad perceptual (cómo se evalúa el modelo) evolucionan de manera diferente. Perturbar la función de puntuación provocó variaciones caóticas en el FID que no podían predecirse mediante cambios en la pérdida, reforzando que una alta verosimilitud o un bajo error de coincidencia de puntuación no garantizan una alta calidad perceptual.

Significado y Reivindicaciones

La principal contribución del artículo es una investigación empírica y teórica rigurosa que demuestra que las técnicas estándar de ensamble no proporcionan los mismos beneficios para los modelos de difusión que para los modelos supervisados.

• Ganancias Modestas: Los autores afirman que el ensamble produce mejoras, si acaso, marginales en la calidad de la muestra, a pesar de las reducciones consistentes en el objetivo de entrenamiento.
• Perspectiva Teórica: Clarifican que el promedio de puntuaciones paso a paso no equivale a muestrear de una distribución de Producto de Expertos debido a la no conmutatividad de la difusión y la composición de densidades.
• Análisis Costo-Beneficio: Dado el aumento sustancial en los costos de entrenamiento y muestreo, el ensamble estándar ofrece retornos limitados para los modelos de difusión incondicionales.
• Excepciones: El artículo identifica nichos específicos donde el ensamble ayuda: (1) cuando los modelos son suficientemente complementarios (MoE), y (2) al utilizar reglas de agregación específicas para datos tabulares (Característica Dominante) para corregir el sesgo.

Los autores concluyen que, si bien el ensamble mejora la estimación de la puntuación, la brecha entre la coincidencia de puntuación y la calidad perceptual impide que estas mejoras se manifiesten en mejores imágenes generadas, lo que sugiere que el progreso futuro requiere estrategias más allá de la simple agregación de puntuaciones.