Resumen Técnico: Guía Libre de Clasificador con Optimización de Programación Adaptativa basada en la Teoría de la Información

Planteamiento del Problema

Los modelos de difusión han alcanzado un rendimiento de vanguardia en tareas generativas, siendo la Guía Libre de Clasificador (Classifier-Free Guidance o CFG) el mecanismo estándar para controlar la generación condicional (por ejemplo, para adherirse a prompts de texto o etiquetas de clase). La CFG opera combinando estimaciones de puntuación (score estimates) condicionales e incondicionales utilizando un peso de guía $w$. Si bien aumentar $w$ mejora la consistencia de la condición y la calidad perceptual, típicamente degrada la diversidad de las muestras y la cobertura de la distribución.

Existe una brecha crítica en la comprensión de cómo controlar el compromiso entre consistencia y cobertura a lo largo de la trayectoria de difusión inversa. La inturesión predominante trata la CFG como una inclinación distributiva de tiempo fijo hacia la condición. Sin embargo, el artículo demuestra que la distribución real inducida por la CFG no es simplemente la distribución de inclinación de tiempo fijo dada por el campo de puntuación guiado en cualquier paso individual. En cambio, la distribución final generada es el resultado acumulado de toda la trayectoria inversa. En consecuencia, un compromiso deseado especificado en el punto final limpio (por ejemplo, un equilibrio específico entre la alineación con la condición y la proximidad a la distribución de los datos) no se traduce directamente en un peso de guía constante $w$ aplicado durante todo el proceso. Sintonizar la CFG sigue siendo difícil porque la relación entre el programa de guía (guidance schedule) y la distribución final es no local e implícita, lo que dificulta la estimación directa de los objetivos de consistencia-cobertura a partir de las muestras.

Metodología

Los autores proponen un marco de teoría de la información para optimizar los programas de CFG apuntando explícitamente a la distribución real inducida por el muestreador guiado.

1. Objetivo de la Teoría de la Información

El núcleo del método es una función objetivo que minimiza la divergencia de Kullback-Leibler (KL) directa entre la distribución real inducida por la CFG $q^w_0(x_0|y)$ y una "referencia de punto final limpio" $q^\lambda_{0,clean}(x_0|y)$.

• Distribución de Referencia: Definida como $q^\lambda_{0,clean}(x_0|y) \propto p_0(x_0)p_0(y|x_0)^\lambda$, donde $\lambda$ es un parámetro de referencia que especifica el compromiso deseado. El término $p_0(x_0)$ ancla la referencia a la distribución original de los datos, mientras que $\lambda$ controla el peso en la consistencia de la condición.
• Descomposición: Minimizar la divergencia KL $KL(q^w_0 \parallel q^\lambda_{0,clean})$ se descompone en dos términos interpretables:
  1. Término de Consistencia: $-\lambda \mathbb{E}[\log p_0(y|x_0)]$, que recompensa la alineación con la condición.
  2. Término de Cobertura: $KL(q^w_0 \parallel p_0)$, que penaliza la desviación de la distribución original de datos limpios.
• Estimación a Nivel de Trayectoria: Dado que la distribución inducida $q^w_0$ es implícita y solo está disponible a través de trayectorias generadas, los autores derivan identidades a nivel de trayectoria para estimar el objetivo sin necesidad de una estimación de densidad explícita.
• Estimador de Consistencia: Utilizando identidades de tipo de Bruijn, el término de consistencia se expresa como una integral a lo largo de la trayectoria de flujo de probabilidad que involucra la divergencia y los productos internos de la diferencia de puntuación $s^{diff}_t = s^{con}_t - s^{un}_t$ y el campo de puntuación guiado.
• Estimador de Cobertura: De manera similar, la cobertura KL se reescribe como una integral a lo largo de la trayectoria, permitiendo la estimación utilizando únicamente evaluaciones de puntuación ($s^{un}_t, s^{con}_t$) y muestras generadas.
• Optimización Discreta: El objetivo continuo se discretiza sobre la rejilla de muestreo. Los autores emplean un algoritmo de optimización iterativo (similar a SGD con una verificación de remuestreo) para aprender un programa dependiente del tiempo $w = \{w_t\}$. En cada iteración, se generan trayectorias bajo el programa actual, se computa una actualización de propuesta basada en el gradiente del objetivo discreto, y la actualización se acepta solo si el remuestreo bajo el nuevo programa reduce la pérdida estimada.

2. Contribuciones Clave

1. Marco Teórico: El artículo establece que la CFG debe optimizarse como un problema a nivel de trayectoria en lugar de una inclinación de densidad de tiempo fijo. Formaliza la discrepancia entre la distribución de inclinación del punto final limpio y la distribución real inducida por la CFG.
2. Formulación del Objetivo: Introduce un objetivo basado en KL que equilibra la consistencia y la cobertura utilizando una referencia de punto final limpio, descomponiendo el problema en términos de consistencia y cobertura estimables.
3. Estimadores de Trayectoria: Los autores derivan fórmulas para estimar estas cantidades de la teoría de la información directamente desde muestras y evaluaciones de puntuación, evitando la necesidad de una estimación de densidad explícita.
4. Optimización de Programación Adaptativa: Desarrollan un algoritmo para aprender programas de pesos de guía no uniformes a través de los niveles de ruido, demostrando que el programa óptimo no es constante sino que varía significamente a lo largo de la trayectoria inversa.

Resultados Experimentales

El método fue evaluado en ImageNet-512 (usando EDM-XXL) y COCO text-to-image (usando SD-XL).

• ImageNet-512: Los programas adaptativos aprendidos lograron una frontera de precisión-recall superior en comparación con la guía constante. Específicamente, mejoraron el recall (cobertura distributiva) a niveles de precisión comparables. El mejor programa adaptativo alcanzó un FID de 1.45, competitivo con las líneas base de guía de intervalo diseñadas a mano (FID 1.40) y significativamente mejor que la mejor línea base de guía constante (FID 1.83).
• COCO (SD-XL): A través de fuerzas de guía media emparejadas ($\bar{w} = 5, 7, 9$), los programas aprendidos lograron consistentemente puntuaciones CLIP más altas (consistencia texto-imagen) y FIDs más bajos (calidad de imagen) que la guía constante. Notablemente, los programas adaptativos mantuvieron o mejoraron las puntuaciones LPIPS (variación dentro del prompt), indicando que las ganancias en calidad y consistencia no ocurrieron a costa de la diversidad.
• Análisis del Programa: Los programas aprendidos exhibieron un patrón cualitativo consistente: guía débil en regímenes de alto ruido, guía más fuerte en rangos de ruido medio seleccionados, y actividad selectiva en regímenes de bajo ruido.
• Ablación y Visualización: Las ablaciones por etapas revelaron que la guía de alto ruido altera principalmente la disposición global, mientras que la guía de bajo ruido afecta los detalles locales. Las visualizaciones de trayectoria mostraron que una guía constante fuerte puede "bloquear" prematuramente estructuras incorrectas (por ejemplo, generar cinco tazas en lugar de cuatro), mientras que el programa adaptativo retrasa este compromiso, permitiendo que el modelo resuelva las ambigüedades correctamente.

Significado y Reivindicaciones

El artículo afirma que tratar la CFG como un control escalar estático es subóptimo porque la dinámica inversa guiada induce una distribución que difiere fundamentalmente de las interpretaciones de inclinación de tiempo fijo. Al optimizar la distribución real inducida por el muestreador hacia una referencia de punto final limpio, el método propuesto logra un mejor compromiso entre la consistencia de la condición y la cobertura de la distribución.

Los autores enfatizan que su enfoque no requiere el reentrenamiento del modelo de difusión; optimiza el programa de muestreo utilizando modelos preentrenados. Los resultados sugieren que el momento de la aplicación de la guía es tan crítico como su magnitud. Los programas aprendidos revelan que la guía efectiva es no uniforme, evitando la intervención excesivamente fuerte en niveles de ruido altos (que interrumpe la estructura global) y concentrando la guía donde mejora la alineación de la condición con una interrupción mínima. Esto proporciona una alternativa fundamentada en la teoría de la información a la sintonización heurística de los pesos de CFG.