🤖 machine learning

Adversarial Learning of Classifier-Free Guidance Schedules

Este artículo propone un marco de aprendizaje adversarial que optimiza dinámicamente los cronogramas de guía libre de condicionamiento como una función del tiempo de difusión, el condicionamiento y las muestras ruidosas, al enmarcar el problema como una estimación de la razón de densidad, superando así a los métodos estáticos y heurísticos en la generación de texto a imagen.

Autores originales: Ashwini Pokle, Alexandre Galashov, Arnaud Doucet, Mauricio Delbracio, Valentin De Bortoli

Publicado 2026-08-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ashwini Pokle, Alexandre Galashov, Arnaud Doucet, Mauricio Delbracio, Valentin De Bortoli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a pintar cuadros basados en tus descripciones habladas. Le dices: "Dibuja un perro negro durmiendo sobre un mapa", y el robot comienza con un lienzo en blanco que parece estática de televisión. El robot luego limpia lentamente el ruido, paso a paso, convirtiendo esa nieve en una imagen clara. Así es como funcionan los modelos de "difusión" modernos. Pero aquí está la parte difícil: el robot necesita un pequeño empujón para asegurarse de que escuche tus palabras y no dibuje simplemente un perro cualquiera o un mapa cualquiera. Este empujón se llama "guía" (guidance). Piensa en ello como un guía turístico que sostiene una correa. Si el guía tira demasiado suavemente, el robot se desvía y te ignora. Si el guía tira con demasiada fuerza, el robot se confunde, la imagen se satura y se vuelve extraña, o empieza a parecer una versión de caricatura de la realidad.

Durante mucho tiempo, los científicos utilizaron un enfoque de "talla única": establecían la fuerza de tracción del guía como un número único y fijo para todo el proceso de pintura. Era como decirle al guía turístico que tirara con la misma fuerza exacta desde el primer segundo de la caminata hasta el último. Aunque esto funcionaba aceptablemente, a menudo daba lugar a resultados desordenados porque las diferentes etapas de la pintura necesitan diferentes cantidades de ayuda. Algunas partes de la imagen necesitan un empujón suave, mientras que otras necesitan una mano firme. La gran pregunta en este campo ha sido: ¿Podemos enseñar al guía a cambiar su fuerza de tracción dinámicamente, dependiendo de exactamente lo que el robot esté haciendo en ese momento específico?

Este artículo propone una nueva y astuta forma de enseñar al guía del robot cómo tirar. En lugar de que un humano diseñe manualmente un programa para cuándo tirar fuerte o suave, los autores permiten que el robot lo aprenda a través de un juego de "adivinar la cosa real". Establecieron un sistema donde un "discriminador" (un juez inteligente) intenta notar la diferencia entre una foto real y la que el robot está pintando actualmente. El guía del robot aprende entonces a ajustar su fuerza de tracción para que la pintura del robot se parezca tanto a una foto real que el juez no pueda distinguirlas. Al jugar este juego, el guía aprende exactamente cuánto tirar en cada uno de los pasos del proceso, adaptado a la imagen específica y a las palabras que le diste. Los resultados sugieren que este método crea imágenes que no solo son más realistas, sino que también se adhieren mucho más a tu descripción original que los antiguos métodos fijos.

El problema con la correa de "talla única"

Imagina que estás paseando a un perro por un parque. A veces el perro está tranquilo y puedes caminar con una correa suelta. Otras veces, el perro detecta una ardilla y necesita un agarre firme para evitar que salga corriendo. Si mantienes la correa con la misma tensión exacta todo el tiempo, podrías dejar que el perro corra hacia el tráfico (demasiado suelto) o asfixiar al perro (demasiado apretado).

En el mundo de la generación de imágenes por IA, esta "correa" es el peso de la guía (a menudo llamado $\omega$ ). Durante años, los investigadores han utilizado un valor constante, generalmente alrededor de 7.5, durante todo el tiempo que la IA crea una imagen. Esto funciona, pero no es perfecto. A veces la IA se emociona demasiado y los colores se vuelven neón y sobresaturados; otras veces, ignora los detalles de tu instrucción (prompt).

Los científicos intentaron solucionar esto creando "programas" (schedules): reglas manuales que dicen: "Tira fuerte al principio, luego tira suave en el medio". Pero estas reglas son como un mapa genérico: no saben si tu perro específico es un Chihuahua o un Gran Danés. Aplican la misma regla a cada imagen, independientemente de lo compleja que sea la instrucción de texto o de cómo se vea la imagen en ese momento.

La nueva estrategia: Un juego de "Real vs. Falso"

Los autores de este artículo decidieron dejar de adivinar las reglas y, en su lugar, dejaron que la IA las aprendiera a través de un juego. Utilizaron un concepto llamado aprendizaje adversarial, que es como un juego del gato y el ratón entre dos redes:

El Generador (El Artista): Esta es la parte que crea la imagen y decide qué tan fuerte tira de la correa (el peso de la guía) en cada paso.
El Discriminador (El Juez): Este es un crítico inteligente entrenado para mirar una imagen y decir: "¿Es esta una foto real del conjunto de datos o es el intento actual de la IA?".

Aquí está el truco de magia: los autores quieren que la imagen "guiada" de la IA coincida perfectamente con la distribución de las fotos reales en cada momento dado. Ellos llaman a esto consistencia marginal.

Para enseñar al Artista, establecieron un bucle:

El Juez mira una foto real y la foto "guiada" actual de la IA.
El J Judge intenta distinguirlas.
El Artista intenta ajustar su peso de guía para engañar al Juez.
Si el Juez no puede notar la diferencia, el Artista está haciendo un buen trabajo.

Al jugar este juego, el Artista aprende un programa dinámico. Aprende que para una instrucción simple como "un gato", puede que necesite un tirón suave, pero para una instrucción compleja como "un perro negro durmiendo sobre un mapa", necesita tirar de manera diferente dependiendo de si se están formando los pelos del perro o los detalles del mapa.

Lo que encontraron

El equipo probó este nuevo método en una tarea estándar de texto a imagen (MS-COCO) utilizando modelos de diferentes tamaños. Compararon su "guía de aprendizaje" contra la antigua correa constante y los programas manuales.

Los resultados fueron prometedores. Su método, que llaman GAN + MC (Red Generativa Adversaria con Consistencia Marginal), produjo consistentemente imágenes que los humanos prefirieron más. Específicamente:

Mejor Alineación: Las imágenes coincidieron mejor con las instrucciones de texto. Por ejemplo, cuando se le pidió dibujar "un perro negro acostado sobre un libro de mapas", la IA que utilizó su método realmente dibujó al perro interactuando con el libro, mientras que otros métodos a veces perdían el detalle o hacían que el perro pareciera genérico.
Puntuaciones Estéticas más Altas: Las imágenes se veían más hermosas y naturales para los evaluadores humanos.
La Compensación: Hubo un pequeño inconveniente. El puntaje "FID" (una métrica que mide qué tan cerca están las estadísticas de la imagen de las fotos reales) fue ligeramente mayor (peor) para su método en comparación con algunas líneas base. Los autores explican que esto es un efecto secundario conocido del uso de entrenamiento adversarial y señales de recompensa; el modelo prioriza verse "genial" y coincidir con la instrucción por encima de coincidir con la huella estadística exacta de los datos de entrenamiento. Sin embargo, en términos de lo que los humanos realmente quieren ver, su método ganó.

Por qué esto es importante

Este artículo sugiere que no necesitamos ser nosotros quienes diseñen manualmente las reglas de cómo la IA debe pintar. En su lugar, podemos establecer un sistema donde la IA aprenda la tensión de la "correa" perfecta para cada momento de la creación.

Los autores señalan que, aunque esto funciona de maravilla, también tiene algunos límites. El "guía" que entrenaron es específico para el tipo de modelo de IA para el cual fue entrenado; no puedes simplemente tomar este guía y usarlo en un robot completamente diferente sin reentrenarlo. Además, el proceso de entrenamiento es un poco complejo y requiere un equilibrio cuidadoso. Pero por ahora, sugiere que dejar que la IA aprenda su propio programa de guía a través de un juego de "real vs. falso" es una forma poderosa de hacer que el arte de la IA sea más obediente a nuestras palabras y más hermoso a nuestros ojos.

Resumen Técnico: Aprendizaje Adversario de Programaciones de Guía Libre de Clasificador

Planteamiento del Problema
Los modelos modernos de difusión y de coincidencia de flujo (flow matching) de texto a imagen (T2I) dependen fuertemente de la Guía Libre de Clasificador (CFR) para lograr una alta fidelidad de imagen y alineación con el prompt. La práctica estándar emplea un peso de guía global y estático ( $\omega \approx 7.5$ ) en todos los pasos temporales, muestras y condicionamientos de entrada. Los autores argumentan que este enfoque estático es subóptimo; diferentes estados a lo largo de la trayectoria de difusión pueden beneficiarse de distintos niveles de guía, y un peso alto constante suele introducir artefactos como la sobresaturación. Aunque existen programaciones variables en el tiempo, suelen estar diseñadas a mano, dependen de la aplicación y son agnósticas a la complejidad específica del prompt de texto o de la muestra ruidosa actual. Intentos previos de aprender la guía dinámica (por ejemplo, Galashov et al., 2026) han tenido dificultades para equilibrar la calidad de la muestra (FID) con la alineación de texto, fallando a menudo en superar la CFG constante en métricas de alineación debido a la alta varianza de sus objetivos.

Metodología
El artículo propone aprender una programación de guía como una función del tiempo de difusión ( $t$ ), el condicionamiento ( $c$ ) y la muestra ruidosa actual ( $x_s$ ). El cambio teórico central es pasar de una estricta autoconsistencia a una condición de consistencia marginal más débil. El objetivo es asegurar que la distribución marginal de las partículas guiadas ( $p_{s,\omega}^t$ ) coincida con la verdadera distribución de datos ( $p_t$ ) en cada paso temporal $t$ a lo largo de la trayectoria de muestreo.

Para imponer esto, los autores enmarcan el problema como una tarea de estimación de la razón de densidad dentro de un marco de Redes Generativas Adversarias (GAN):

Objetivo Adversario:
- Discriminador ( $d_\phi$ ): Entrenado para distinguir entre muestras marginales "reales" (extraídas directamente de la distribución de datos en el tiempo $t$ ) y muestras guiadas "falsas" (generadas mediante un paso guiado del tiempo $s$ al $t$ usando los pesos de guía actuales). El discriminador estima la razón de log-densidad $\log(p_t(x_t) / p_{s,\omega}^t(x_t))$ .
- Generador (Red de Guía $\omega_\psi$ ): Un perceptrón multicapa (MLP) ligero que predice el peso de guía óptimo $\omega$ . Se entrena para maximizar la salida del discriminador (minimizando la divergencia KL estimada), aprendiendo efectivamente a producir muestras que coincidan con la distribución marginal real.
Parametrización de la Red:
- Para garantizar la eficiencia computacional y la robustez, la red de guía no toma como entrada latentes de alta dimensión crudos. En su lugar, utiliza estadísticas geométricas invariantes a la coordenada, incluyendo el log-norma de la velocidad condicional, la dirección de la CFG, la similitud de coseno entre el latente y la dirección de guía, y las distancias logarítmicas a la variedad de datos (data manifold).
- La red también incorpora incrustaciones de Fourier de los pasos temporales para facilitar la interpolación suave hacia los tamaños de paso más pequeños utilizados durante la inferencia.
Funciones de Pérdida:
- Pérdida del Discriminador: Entropía cruzada binaria estándar con una penalización de gradiente R1 para asegurar una estimación de razón suave.
- Pérdida del Generador: Compuesta por tres términos:
  - Pérdida Adversaria: Minimizar la capacidad del discriminador para distinguir las muestras generadas.
  - Regularización: Una penalización $L_2$ sobre el peso de la guía para evitar explosiones o sobrecorrecciones.
  - Pérdida de Recompensa: El valor negativo de la esperanza de una función de recompensa (por ejemplo, puntuación CLIP) para presionar explícitamente hacia una mejor alineación de texto.
Estrategia de Entrenamiento:
- El entrenamiento sigue un paradigma adversario utilizando la Regla de Actualización de Dos Escalas de Tiempo (TTUR).
- Crucialmente, el método utiliza pares de condicionamiento de imagen independientes para las rutas "reales" y "falsas" durante el entrenamiento. Esto obliga al discriminador a evaluar si la distribución de las partículas guiadas coincide con la distribución global de los datos, en lugar de aprender a identificar patrones de ruido específicos en una sola trayectoria.

Contribuciones Clave

Formulación de Consistencia Marginal: Los autores proponen aprender programaciones de guía basadas en la condición de consistencia marginal, fomentando que la distribución guiada coincida con la verdadera distribución de datos en cada paso temporal, en lugar de imponer una autoconsistencia más estricta.
Marco Adversario para la Guía: Introducen un enfoque basado en GAN donde un discriminador estima las razones de densidad para entrenar un generador ligero que predice escalas de guía dinámicas y dependientes del estado.
Superioridad Empírica: Se demuestra que el método supera a la guía constante, a las programaciones heurísticas dinámicas (como Limited Interval Guidance y Clamp-linear) y a los métodos previos de guía aprendida (basados en MMD) en los benchmarks de T2I.

Resultados
Evaluado en el conjunto de datos MS-COCO 2014 (512x512) utilizando backbones MMDiT-XS (740M) y MMDiT-S (1.05B):

Alineación y Calidad: El método propuesto "GAN + MC" logra consistentemente puntuaciones superiores en CLIP (alineación de texto), Aesthetic, HPSv2 (Puntuación de Preferencia Humana) y PickScore en comparación con la CFG constante y las bases heurísticas.
Compromiso de FID: El método resulta en un aumento marginal en el FID (Distancia de Inception Fréchet) en comparación con algunos baselines. Los autores atribuyen esto al conocido desalineamiento entre las estadísticas de Inception-v3 y las preferencias estéticas humanas en regímenes de alta guía, señalando que su método prioriza las características semánticas y el "pop" visual.
Mejoras Cualitativas: Los resultados visuales demuestran una mejor adherencia a prompts complejos, capturando detalles matizados (por ejemplo, interacciones específicas entre objetos) que los métodos base suelen simplificar u omitir.
Ablaciones: Añadir la muestra ruidosa actual ( $x_s$ ) como entrada a la red de guía mejora las métricas de alineación pero aumenta el FID, lo que sugiere un compromiso entre la alineación semántica y la fidelidad estadística de bajo nivel.

Significado y Limitaciones
El artículo afirma que aprender una programación dinámica y dependiente del condicionamiento mediante la consistencia marginal permite a los modelos navegar mejor el compromiso entre el realismo de la imagen y la adherencia al prompt. El enfoque escala eficazmente con la capacidad del modelo y ofrece una señal de guía más fiable que las programaciones diseñadas manualmente.

Sin embargo, los autores reconocen varias limitaciones:

Complejidad de Entrenamiento: El procedimiento de entrenamiento adversario es complejo y requiere estrategias de optimización cuidadosas (por ejemplo, TTUR).
Especificidad del Backbone: El programador aprendido es específico para las estadísticas geométricas locales del modelo de coincidencia de flujo preentrenado (por ejemplo, MMDiT) y no puede transferirse de forma zero-shot a otras arquitecturas sin reentrenamiento.
Señal de Recompensa: La implementación actual depende de CLIP para el término de recompensa, y los autores señalan que explorar señales de recompensa alternativas para superar las limitaciones de CLIP es una dirección para trabajos futuros.

El problema con la correa de "talla única"

La nueva estrategia: Un juego de "Real vs. Falso"

Lo que encontraron

Por qué esto es importante

Más como este