🤖 machine learning

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

Este artículo identifica un modo de falla llamado Asimetría de Rama Negativa en la destilación de difusión on-policy bajo guía libre de clasificador, donde el emparejamiento de velocidad ingenuo causa errores de rama antagónicos, y propone el Emparejamiento de Dirección Positiva como un objetivo consciente de la rama para permitir una transferencia de conocimiento robusta.

Autores originales: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Publicado 2026-07-28

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bingnan Li, Haozhe Wang, Haozhong Xiong, Fangtai Wu, Jinpeng Yu, Yang Shi, Jiaming Liu, Ruihua Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot artista a pintar una obra maestra. En el mundo de la inteligencia artificial moderna, estos "robots" se llaman modelos de difusión. Funcionan de forma un poco similar a un escultor que va tallando un bloque de mármol: comienzan con una nube de píxeles ruidosa y desordenada y, poco a poco, la refinan hasta convertirla en una imagen clara. Para asegurar que el robot pinte exactamente lo que tú quieres (como un "gato con sombrero"), utilizamos un truco especial llamado Guía Libre de Clasificador (CFG, por sus siglas en inglés). Piensa en el CFG como un profesor de arte estricto que le da al robot dos instrucciones a la vez: una que dice "pinta un gato con sombrero" (la instrucción positiva) y otra que dice "no pintes nada específico" (la instrucción negativa). El robot entonces mezcla estas dos ideas, utilizando un dial llamado escala de guía para decidir cuánto peso darle a la instrucción estricta frente a la vaga.

Ahora, imagina que quieres que este robot sea más rápido y económico de operar. No puedes simplemente dejar que aprenda desde cero cada vez; eso toma demasiado tiempo. En su lugar, utilizas una técnica llamada Destilación On-Policy (OPD). Esto es como tener a un maestro pintor (el "Profesor") observando a un estudiante pintor (el "Estudiante") trabajar en tiempo real. Mientras el estudiante realiza un trazo, el profesor dice inmediatamente: "No, hazlo de esta manera", y el estudiante se ajusta. El objetivo es que el estudiante aprenda el estilo del profesor tan bien que pueda, eventualmente, pintar igual de bien, pero mucho más rápido. La gran pregunta que este artículo aborda es: ¿Qué sucede cuando el profesor está usando ese truco de mezcla de "dos instrucciones" estricto (CFG), y el estudiante intenta copiarlo? ¿El estudiante aprende la forma correcta de mezclar las instrucciones, o se confunde?

El Gran Desajuste: Cuando Copiar Sale Mal

Los autores de este artículo descubrieron que la forma estándar en que los estudiantes intentan copiar a los profesores que usan CFG es, en realidad, una trampa. Llaman a este método estándar "OPD Basado en CFG Naive". Aquí está el problema: cuando el profesor mezcla las instrucciones "positiva" y "negativa" para dar una respuesta final, el estudiante solo ve esa respuesta mixta final. El estudiante intenta igualar la mezcla final del profesor, pero no sabe cómo llegó el profesor allí.

Imagina que el profesor está haciendo un batido. Mezcla 70% de fresa (positivo) y 30% de plátano (negativo) para obtener una bebida rosa perfecta. El estudiante prueba la bebida rosa e intenta replicarla. Pero debido a que el estudiante no conoce la receta exacta, podría accidentalmente mezclar 40% de fresa y 60% de plátano y, aun así, obtener una bebida que parezca lo suficientemente rosa como para engañar al profesor en ese momento específico. Esto es lo que el artículo llama ambigüedad de rama. El estudiante ha encontrado una "solución degenerada": un truco donde obtiene la respuesta correcta por las razones equivocadas.

El artículo muestra que este truco funciona bien si tanto el profesor como el estudiante están usando exactamente el mismo ingrediente "negativo" (como si ambos usaran agua simple como base). En este caso, el estudiante y el profesor mejoran juntos, y todo es armonioso.

Sin embargo, el artículo encuentra un modo de fallo importante que llaman Asimetría de Rama Negativa (NBA). Esto ocurre cuando el profesor tiene un "ingrediente secreto" en su rama negativa que el estudiante no tiene. Por ejemplo, tal vez el profesor está mirando una foto de referencia para guiar su proceso de pensamiento "negativo", pero el estudiante es ciego a esa foto. En este escenario, el estudiante intenta copiar el batido rosa final, pero para hacerlo, tiene que arruinar su propia receta. Podría lograr que la parte de la fresa (la parte positiva) sea perfecta, pero tiene que hacer que la parte del plátano (la parte negativa) sea terrible para compensar.

El artículo demuestra que, bajo estas condiciones, el aprendizaje del estudiante se convierte en un tira y afloja. A medida que mejoran pintando el gato (reduciendo el error positivo), empeoran en la comprensión de la parte del "nada" (aumentando el error negativo). Los errores se cancelan entre sí en la mezcla final, por lo que el profesor piensa que el estudiante lo está haciendo de maravilla. Pero esto es una mentira.

La Consecuencia: El Dial del Destino

El verdadero problema comienza cuando giras el dial. La "escala de guía" es un ajuste que puedes cambiar después de que el entrenamiento haya terminado. Si entrenaste al estudiante con el dial configurado en un número específico, aprendió a hacer trampa usando esa mezcla específica. Pero si giras el dial a un número diferente más tarde (como durante el uso en el mundo real), el equilibrio cambia. La receta de "trampa" del estudiante ya no funciona. El artículo muestra que los estudiantes entrenados con el método naive funcionan de maravilla en la configuración de entrenamiento, pero se desmoronan por completo cuando la escala de guía cambia, produciendo imágenes distorsionadas o perdiendo el estilo que se suponía debían aprender. Este es el "exceso de degradación" del que advierten los autores: no es solo que el robot sea peor; es que es mucho peor de lo que debería ser, específicamente debido al mal método de entrenamiento.

La Solución: El Ajuste de "Dirección Positiva"

Para solucionar esto, los autores proponen un nuevo método llamado Coincidencia de Dirección Positiva (PDM). En lugar de solo pedirle al estudiante que copie el batido mezclado final, el PDM lo obliga a aprender dos cosas separadas:

La Predicción Positiva: "Muéstrame exactamente cómo pintas el gato".
La Dirección de CFG: "Muéstrame la diferencia entre tu idea de 'gato' y tu idea de 'nada'".

Al verificar estas dos cosas por separado, el profesor puede ver si el estudiante está haciendo trampa. Si el estudiante intenta arruinar la parte negativa para arreglar la parte positiva, el profesor lo atrapa de inmediato porque la "diferencia" (la dirección) no coincidirá. Esto obliga al estudiante a aprender la receta real, no un truco.

El artículo probó esto en una tarea llamada control de video denso a disperso, donde un profesor ve un video completo de una persona moviéndose (control denso) e intenta enseñar a un estudiante que solo ve unos pocos fotogramas clave (control disperso). Los resultados fueron claros:

Los estudiantes Naive eran muy sensibles a la escala de guía. Cuando la escala cambiaba, su control de video se desmoronaba, con métricas de calidad como el FID (una medida de la calidad de la imagen) saltando de 13.49 a 78.20 en algunos casos.
Los estudiantes PDM se mantuvieron estables. Incluso cuando la escala de guía cambiaba, seguían produciendo videos de alta calidad, manteniendo el FID alrededor de 13–15.

Los autores también compararon el PDM con otro método llamado Coincidencia de Rama Independiente (IBM), que simplemente le dice al estudiante que copie las ramas positiva y negativa por separado sin mirar la "dirección". Tanto el PDM como el IBM fueron mucho mejores que el método naive, pero el PDM generalmente proporcionó la fidelidad de control más consistente a través de diferentes tipos de tareas de video (como controles de pose, profundidad y garabatos).

La Conclusión

El artículo concluye que, si bien la antigua forma de copiar a los profesores (OPD Naive) puede parecer que está funcionando durante el entrenamiento, en realidad está construyendo un castillo de naipes que colapsa tan pronto como cambias la configuración. Al utilizar la Coincidencia de Dirección Positiva, podemos construir un estudiante que realmente entiende la lógica del profesor, haciéndolo robusto y confiable sin importar cómo ajustes el dial de guía más adelante. Es un recordatorio de que en la IA, no basta con obtener la respuesta correcta; tienes que aprender cómo obtenerla, especialmente cuando el profesor tiene un ingrediente secreto.

Resumen Técnico: Replanteamiento de la Guía Libre de Clasificador en la Destilación de Difusión On-Policy

Declaración del Problema

La Destilación On-Policy (OPD) adapta los modelos de difusión entrenando a un estudiante para que coincida con las predicciones de velocidad local de un profesor a lo largo de las trayectorias generadas por el propio estudiante. Aunque los sistemas de difusión modernos emplean universalmente la Guía Libre de Clasificador (CFG) para mejorar la calidad de la generación, la interacción entre la CFG y la OPD sigue estando poco comprendida.

La CFG estándar compone una predicción de velocidad guiada ( $v_{cfg}$ ) a partir de dos ramas separadas: una rama positiva ( $v_+$ ) condicionada al prompt objetivo y una rama negativa ( $v_-$ ) condicionada a un prompt nulo o negativo. La velocidad guiada se define como $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$ , donde $\gamma$ es la escala de guía.

Los métodos de OPD existentes suelen extender el emparejamiento de velocidad a esta predicción compuesta, minimizando la pérdida $\|v_{cfg}^T - v_{cfg}^S\|_2^2$ . Los autores identifican un fallo crítico en este enfoque: la subidentificación a nivel de rama. Debido a que la pérdida restringe solo la combinación lineal de las dos ramas, los errores de la rama positiva y la rama negativa ( $e_+$ y $e_-$ ) pueden compensarse entre sí. Específicamente, la condición $\gamma e_+ + (1-\gamma)e_- = 0$ admite infinitos pares de errores no nulos.

Esta ambigüedad conduce a un modo de fallo denominado Asimetría de la Rama Negativa (NBA). En escenarios donde el profesor posee "información privilegiada" en su rama negativa (por ejemplo, imágenes de referencia o señales de control densas) que el estudiante no posee, el objetivo compuesto ingenuo induce una dinámica antagónica: el proceso de entrenamiento reduce el error de la rama positiva mientras aumenta simultáneamente el error de la rama negativa. Aunque esta compensación puede producir una pérdida baja a la escala de guía de entrenamiento, provoca que el estudiante se desvíe significativamente cuando se evalúa en diferentes escalas de guía de inferencia, ya que la compensación de error aprendida ya no se mantiene.

Metodología

Para resolver la ambigüedad de las ramas y prevenir la compensación de errores, los autores proponen el Emparejamiento de Dirección Positiva (PDM), un objetivo de OPD consciente de las ramas.

1. Emparejamiento de Dirección Positiva (PDM)

En lugar de emparejar la velocidad guiada compuesta, el PDM restringe por separado:

La Predicción Positiva: Emparejar directamente la velocidad de la rama positiva ( $v_+$ ).
La Dirección Condicional de la CFG: Emparejar el vector de diferencia $d = v_+ - v_-$ .

La función de pérdida se formula como:
$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$
donde $\lambda > 0$ controla la fuerza del emparejamiento de la dirección. Una pérdida cero en PDM obliga tanto a $e_+$ como a $e_-$ a ser cero, eliminando la libertad para que los errores se cancelen entre sí.

2. Emparejamiento de Rama Independiente (IBM)

Como línea base para aislar los beneficios de la supervisión a nivel de rama del diseño específico de PDM, los autores introducen IBM. Este método empareja directamente las ramas positiva y negativa con pesos derivados del objetivo compuesto ingenuo expandido:
$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$
A diferencia de PDM, IBM no impone explícitamente la dirección condicional, pero elimina el término de interacción entre ramas presente en la pérdida compuesta ingenua.

3. Supervisión Eficiente para Video

Para aplicaciones de control de video de denso a disperso, los autores proponen supervisar solo los primeros $K$ estados de la trayectoria de eliminación de ruido del estudiante en lugar de la trayectoria completa. Esto reduce el coste computacional de las evaluaciones del profesor manteniendo el rendimiento.

Contribuciones Clave

Identificación de la Ambigüedad de la Rama: El artículo demuestra que la OPD compuesta por CFG está subidentificada a nivel de rama. Establece que esta ambigüedad es benigna bajo un condicionamiento negativo compartido (donde profesor y estudiante comparten el mismo condicionamiento nulo), pero se vuelve perjudicial bajo un condicionamiento negativo privilegiado, provocando la NBA.
Asimetría de la Rama Negativa (NBA): Los autores definen la NBA como el modo de fallo donde el emparejamiento ingenuo reduce el error de la rama positiva a expensas de aumentar el error de la rama negativa, causando una sensibilidad excesiva a los cambios en la escala de guía.
Emparejamiento de Dirección Positiva (PDM): Un nuevo objetivo, consciente de las ramas, que supervisa por separado la predicción positiva y la dirección condicional de la CFG. Esto evita la compensación de errores entre ramas y restaura la supervisión identificable.
Validación Empírica: El estudio proporciona evidencia cuantitativa en dominios de imagen y video, mostrando que la supervisión consciente de las ramas mejora la robustez y la transferencia de conocimiento, particularmente en configuraciones donde el profesor tiene acceso a información no disponible para el estudiante.

Resultados Experimentales

Diagnósticos en el Dominio de la Imagen

Los autores realizaron dos experimentos controlados para diagnosticar la dinámica del error de rama:

Destilación de Renderizado de Texto (Condicionamiento Compartido): Tanto el profesor como el estudiante comparten el mismo condicionamiento negativo. Aquí, el emparejamiento ingenuo y el PDM resultan en una reducción conjunta de los errores de la rama positiva y negativa. El estudiante sigue la sensibilidad intrínseca de la CFG del profesor, confirmando que la ambigüedad es benigna en este régimen.
Destilación Condicionada por Referencia (Condicionamiento Privilegiado): El profesor recibe una imagen de referencia en su rama negativa, mientras que el estudiante no la recibe.
- Emparejamiento Ingenuo: Exhibe una dinámica antagónica, reduciendo $e_+$ mientras aumenta $e_-$ .
- PDM: Logra reducir $e_+$ mientras evita el crecimiento de $e_-$ .
- Sensibilidad de la Guía: En la inferencia, los estudiantes ingenuos entrenados con $\gamma=2$ se degradan significativamente cuando se prueban con $\gamma=1$ (mostrando deriva de estilo y distorsión), mientras que los estudiantes PDM permanecen estables y siguen de cerca el comportamiento del profesor a través de las escalas.

Control de Video de Denso a Disperso

El método se aplicó al benchmark Wan-VACE, donde un profesor observa un control por cuadro denso (pose, profundidad, garabato) y el estudiante recibe solo fotogramas clave dispersos.

Fidelidad de Control: En la escala de guía de entrenamiento ( $\gamma=5$ ), PDM superó al OPD ingenuo, SFT y la destilación off-policy en todas las modalidades (Pose, Profundidad, Garabato) en métricas como MPJPE, PCK y FVD.
Generalización de la Escala de Guía: Al probarse en escalas de inferencia diferentes a las de entrenamiento (por ejemplo, $\gamma=1$ o $\gamma=3$ ), el rendimiento del OPD ingenuo se degradó bruscamente. En contraste, PDM e IBM se mantuvieron estables, demostrando que la supervisión consciente de las ramas mitiga la sensibilidad excesiva inducida por el emparejamiento compuesto.
Eficiencia: Supervisar solo los primeros $K=8$ estados de la trayectoria proporcionó el mejor equilibrio entre fidelidad de control y coste de entrenamiento, logrando resultados comparables a la supervisión de la trayectoria completa con una reducción significativa de la computación.

Significado y Reivindicaciones

El artículo afirma que la práctica estándar de emparejar las predicciones compuestas por CFG en la destilación on-policy es fundamentalmente defectuosa cuando el profesor y el estudiante tienen un acceso asimétrico a la información en la rama negativa. Los autores argumentan que la Asimetría de la Rama Negativa es un modo de fallo distinto que se manifiesta como una sensibilidad excesiva a los cambios en la escala de guía.

La importancia de este trabajo radica en:

Corregir un Punto Ciego Teórico: Identifica que "emparejar la salida guiada" es insuficiente cuando las ramas subyacentes no están restringidas simétricamente.
Transferencia de Conocimiento Robusta: Al imponer restricciones a nivel de rama (vía PDM), el estudiante aprende una representación más fiel de la lógica condicional del profesor, lo que conduce a un rendimiento robusto en diversas condiciones de inferencia.
Aplicabilidad Práctica: El método propuesto es directamente aplicable a tareas de generación complejas como el control de video, donde los profesores suelen poseer contexto privilegiado (fotogramas densos) que los estudiantes deben aprender a aproximar a partir de entradas dispersas.

Los autores señalan modestamente que, aunque PDM supera empíricamente a IBM, las razones teóricas de la ventaja específica de PDM sobre otras formulaciones conscientes de la rama (como IBM) siguen siendo una pregunta abierta para trabajos futuros. La contribución principal es la identificación del modo de fallo y la demostración de que separar la supervisión de la rama positiva y la dirección condicional resuelve el problema.