DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models

Resumen Técnico: DASH: Destilación de Puntuación de Doble Rama para Modelos de Difusión Compactos con Calibración de Guía

Planteamiento del Problema
Los modelos de difusión condicionales por clase que utilizan la Guía de Clasificador Libre (CFG, por sus siglas en inglés) dependen de una única red para producir tanto las predicciones condicionales ($\epsilon_y$) como las no condicionales ($\epsilon_\emptyset$). El mecanismo de guía amplifica la brecha $\Delta = \epsilon_y - \epsilon_\emptyset$ para dirigir la generación. Sin embargo, la compresión de estos modelos mediante la reducción de parámetros introduce un fallo estructural crítico en los objetivos de destilación existentes.

La destilación estándar supervisa únicamente la predicción compuesta guiada ($\tilde{\epsilon}_S \approx \tilde{\epsilon}_T$) o la rama condicional por sí sola. Esto crea un problema de optimización subdeterminado: múltiples descomposiciones de las ramas del estudiante pueden satisfacer la función de pérdida, incluyendo una solución degenerada donde la brecha de guía colapsa ($\Delta_S \to 0$). En este estado, las predicciones condicionales y no condicionales convergen, invalidando el peso de la guía $w$ durante la inferencia, incluso si la pérdida de entrenamiento compuesta se minimiza. Además, los métodos existentes no logran transferir el currículo de importancia de entrenamiento por paso de tiempo (ponderación de importancia) aprendido por el profesor, obligando al estudiante a reaprender este esquema dentro de presupuestos de destilación limitados, lo que a menudo corrompe la trayectoria óptima de entrenamiento.

Metodología: Marco de Trabajo DASH
El artículo propone DASH (Dual-Branch Score Distillation), un marco diseñado para resolver la subdeterminación y preservar la calibración de la guía mediante dos mecanismos principales:

1. Supervisión Independiente de Doble Rama:
   En lugar de igualar la salida compuesta, DASH supervisa independientemente ambas ramas de puntuación utilizando términos de pérdida distintos:

   • Pérdida de Imitación ($L_{im}$): Iguala la rama condicional ($\epsilon^y_S \approx \epsilon^y_T$).
   • Pérdida No Condicional ($L_{un}$): Iguala la rama no condicional ($\epsilon^\emptyset_S \approx \epsilon^\emptyset_T$).
   • Pérdida de Anclaje ($L_{an}$): Un regularizador ligero que ancla la rama condicional al ruido real ($\epsilon$) para evitar la deriva durante las etapas tempranas del entrenamiento.

   Al imponer restricciones en ambas ramas simultáneamente, el marco especifica de forma unívoca los resultados objetivo para cada muestra, eliminando el espacio de soluciones factibles que permite el colapso de la brecha de guía. Los autores definen una razón de brecha de guía $\rho = E[\|\Delta_S\|] / E[\|\Delta_T\|]$ para monitorear la calibración, donde $\rho \approx 1$ indica una preservación exitosa.

2. Transferencia TIRT (Transferencia de Entrenamiento Rebalanceado por Importancia de Paso de Tiempo):
   El modelo profesor utiliza TIRT, una extensión de la ponderación Min-SNR que aprende factores de escala por paso de tiempo ($\lambda_t$) para concentrar el entrenamiento en regiones de trayectoria media con mayor dificultad de contenido. DASH introduce la Transferencia TIRT, que copia el currículo de importancia por paso de tiempo convergido del profesor ($\hat{\omega}_T$) directamente en el estudiante como un prior congelado. Esto evita que el estudiante corrompa el currículo con gradientes de destilación que recompensan la facilidad de coincidencia de predicción en lugar de la dificultad del contenido.

Contribuciones Clave

• Resolución de la Subdeterminación Estructural: El artículo identifica y resuelve el colapso degenerativo de la brecha de guía en modelos de difusión comprimidos de parámetros. Demuestra que la supervisión no condicional no es solo beneficiosa sino esencial, representando más del 60% de la ganancia total de la destilación.
• Transferencia de Currículo: La introducción de la Transferencia TIRT, que inicializa al estudiante con el esquema de ponderación de pasos de tiempo aprendido del profesor como un prior congelado, eliminando la necesidad de que el estudiante reaprenda el currículo.
• Marco de Doble Rama: Un flujo de trabajo de destilación unificado que restringe de forma independiente las ramas condicional y no condicional, validado como esencial empíricamente para mantener la fidelidad de la guía bajo compresión.

Resultados Experimentales
Los experimentos se realizaron en CIFAR-10 y CIFAR-100 utilizando un modelo profesor (35.8M de parámetros) y un estudiante comprimido (6.1M de parámetros, compresión de 5.9×).

• Rendimiento: El estudiante DASH logra un FID de 8.87 (CIFAR-10) y 10.47 (CIFAR-100) con muestreo DDIM de 50 pasos. Esto se encuentra a menos de 4 puntos de FID del profesor (FID 5.47 / 6.80) y supera significamente el entrenamiento desde cero (FID 20.47 / 26.14) y las líneas base de restricción única.
• Calibración de la Guía: DASH mantiene una razón de brecha de guía $\rho$ de 0.91 (CIFAR-10) y 0.89 (CIFAR-100), con un coseno direccional $\cos(\Delta)$ cercano a 0.94. En contraste, las líneas base de destilación compuesta sufren un colapso parcial ($\rho \approx 0.68$), y la supervisión solo condicional conduce a un colapso casi total ($\rho \approx 0.09$), degradando el rendimiento por debajo del entrenamiento desde cero.
• Estudios de Ablación:
  • Eliminar $L_{un}$ (pérdida no condicional) provoca una caída de 7.77 puntos de FID en CIFAR-10 y colapsa $\rho$ a 0.61, confirmándola como el componente dominante.
  • Eliminar la Transferencia TIRT (reemplazándola con Min-SNR fijo) resulta en una caída de 2.60 puntos de FID, validando la necesidad de transferir el currículo aprendido.
  • La relación de rendimiento entre conjuntos de datos (1.18× para DASH frente a 1.51× para las líneas base) confirma una generalización robusta a través de complejidades de etiquetas.

Significancia y Afirmaciones
El artículo afirma que DASH establece un nuevo estándar para la difusión eficiente en parámetros al abordar un fallo estructural en los objetivos de destilación existentes. Los autores sostienen que:

1. La supervisión no condicional es innegociable: No puede ser sustituida por objetivos compuestos o condicionales; sin ella, la CFG se vuelve ineficaz bajo compresión.
2. La transferencia de currículo es distinta de la destilación de características: Transferir el esquema de entrenamiento (TIRT) como un prior congelado es una contribución novedosa que evita la corrupción de la ponderación de dificultad adaptativa a los datos aprendida por el profesor.
3. Eficiencia sin Compromisos: El marco permite una reducción significativa de parámetros (5.9×) mientras preserva el mecanismo de guía calibrado, permitiendo la generación de alta calidad en entornos con recursos limitados sin aumentar los pasos de inferencia.

El trabajo se posiciona en la intersección de la compresión de parámetros y la calibración a nivel de rama, ofreciendo una solución que es ortogonal a los métodos de reducción de pasos y composible con ellos.