🤖 machine learning

Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging

Any-OPD introduce un marco novedoso para la destilación on-policy heterogénea entre modelos arbitrarios de flujo de emparejamiento latente al conectarlos a través de una representación visual congelada y agnóstica al modelo y un emparejamiento continuo de niveles de ruido, permitiendo que un estudiante de 2.5B rivalice con el rendimiento de un profesor de 12B donde la regresión latente tradicional falla.

Autores originales: Siming Fu, Zheming Fu, Ruizhe He, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Haojun Xu

Publicado 2026-08-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Siming Fu, Zheming Fu, Ruizhe He, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Haojun Xu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los artistas no solo pintan con pinceles, sino con matemáticas. Este es el reino de la generación de imágenes por IA, un campo donde las computadoras aprenden a crear imágenes desde cero estudiando millones de ejemplos. Para lograr esto, los modelos de IA modernos utilizan un truco ingenioso llamado flow matching (ajuste de flujo). Piensa en ello como un río que fluye desde una cascada caótica y ruidosa (estática pura) hacia un lago tranquilo y cristalino (una imagen perfecta). La IA aprende el camino exacto de ese río para poder guiar cualquier gota de agua desde el ruido hacia una imagen hermosa.

Sin embargo, hay un inconveniente. Los artistas de IA más poderosos son como elefantes gigantes y de movimientos lentos: son masivos, requieren supercomputadoras para funcionar y tardan una eternidad en generar una sola imagen. Nosotros queremos la velocidad y eficiencia de una ardilla ágil, pero también queremos el genio artístico del elefante. La solución es la destilación: enseñar a un modelo estudiante, pequeño y rápido, a copiar al maestro, grande y lento. Pero aquí está el problema: usualmente, el maestro y el estudiante deben hablar exactamente el mismo lenguaje, usar el mismo mapa interno y seguir el mismo reloj. Si son de diferentes "familias" de IA, podrían estar hablando dialectos distintos o viviendo en diferentes zonas horarias. Hasta ahora, intentar enseñar a una ardilla a ser un elefante cuando usan planos completamente diferentes era imposible.

Este artículo presenta Any-OPD, un nuevo método que actúa como un traductor universal y un entrenador que dobla el tiempo. Los investigadores descubrieron que no es necesario que el maestro y el estudiante compartan sus mismos mapas internos o relojes para aprender el uno del otro. En lugar de forzarlos a comparar sus notas internas secretas (lo que sería un galimatías para el otro), Any-OPD les permite comparar las imágenes finales que crean utilizando un "crítico de arte" externo (un modelo de visión congelado llamado DINOv2) que entiende el significado de la imagen, no solo los píxeles.

El equipo probó esto tomando un modelo estudiante diminuto de 2.5 mil millones de parámetros (SD3.5-Medium) y enseñándole a imitar a un maestro masivo de 12 mil millones de parámetros (FLUX.1-dev). Estos dos modelos son completamente diferentes: usan estructuras internas distintas, diferentes formas de manejar el ruido y diferentes cronogramas. Los métodos estándar intentaban forzar una comparación directa entre sus datos internos, lo que causaba que el entrenamiento colapsara en un desastre borroso. Any-OPD, sin embargo, esquivó esto comparando únicamente las imágenes finales en un "espacio de significado" compartido.

Los resultados fueron sorprendentes. El pequeño estudiante, tras ser entrenado con Any-OPD, no solo mejoró un poco; se convirtió en un maestro artista. Mejoró su capacidad para crear imágenes que los humanos prefieren (medido por una puntuación llamada PickScore) de 0.846 a 0.884, y su puntuación de preferencia humana (HPSv3) saltó de 9.12 a 10.97. De hecho, este pequeño estudiante comenzó a rivalizar, y en algunos casos incluso a superar, el rendimiento de su gigante maestro de 12 mil millones de parámetros, todo esto mientras se ejecuta a una fracción de su tamaño y costo.

El artículo descarta explícitamente la idea de que se puedan comparar simplemente los datos internos brutos (latentes) o los detalles píxel por píxel de las imágenes cuando los modelos son diferentes. Demostraron que intentar una "regresión de píxeles" directa entre diferentes familias de modelos causa que el entrenamiento falle por completo. En su lugar, demostraron que, al anclar primero al estudiante y luego utilizar un sistema de emparejamiento de niveles de ruido para alinear sus pasos en el tiempo, se puede transferir con éxito el conocimiento entre cualquier par de modelos, sin importar cuán diferentes sean. Esto sugiere que, en el futuro, no estaremos limitados a un solo gigante de IA; podemos tomar al mejor maestro disponible, sin importar quién lo haya construido, y enseñar a cualquier modelo pequeño que necesitemos desplegar a ser igual de bueno.

Resumen Técnico: Any-OPD

Planteamiento del Problema

La destilación on-policy (OPD) actual para modelos de flujo-matching y difusión depende de un supuesto de homogeneidad: el profesor y el estudiante deben compartir el mismo espacio latente del Autoencoder Variacional (VAE), arquitectura y esquema de ruido (rejilla de pasos temporales). Este supuesto restringe la destilación a pares dentro de la misma familia de modelos.

En la práctica, los escenarios de destilación más deseables son heterogéneos: un usuario puede desear desplegar un modelo pequeño y eficiente (por ejemplo, SD3.5-Medium) aprovechando al mismo tiempo la calidad superior de un profesor grande y de vanguardia de una familia diferente (por ejemplo, FLUX.1-dev). La OPD estándar falla en este entorno debido a dos desajustes fundamentales:

Sin Espacio Compartido: Los latentes del profesor son inválidos como objetivos en el sistema de coordenadas del estudiante. Además, la regresión píxel a píxel falla porque el refinamiento del profesor es una resíntesis estocástica que preserva la semántica pero redibuja los detalles locales; la regresión hacia esta media estocástica provoca el colapso del entrenamiento o un desenfoque severo.
Sin Reloj Compartido: Diferentes modelos utilizan distintas funciones de desplazamiento de ruido (noise shift functions). En consecuencia, índices de solver idénticos (números de paso) corresponden a niveles de ruido distintos, lo que hace que los estados supervisados mediante alineación de índices sean incomparables.

Los métodos existentes no pueden supervisar la trayectoria propia de un estudiante utilizando un profesor que opera en un espacio latente y un esquema de ruido ajenos.

Metodología: Any-OPD

Los autores proponen Any-OPD (Any Teacher, Any Student, On-Policy Distillation), el primer marco que permite la destilación on-policy entre pares arbitrarios de generadores de flujo-matching latentes. El método desacopla al profesor y al estudiante al no referenciarse en los parámetros internos de ninguno de los dos modelos, basándose en su lugar en una tercera representación externa y en la alineación de los niveles de ruido.

1. Fase de Anclaje (Offline)

Para abordar la brecha a nivel de distribución, el estudiante es primero "anclado" al manifold del profesor.

El profesor genera imágenes a partir de prompts, que luego son re-codificadas utilizando el VAE del estudiante.
Esto proyecta la distribución de salida del profesor en el sistema de coordenadas latentes del estudiante.
El estudiante es entrenado mediante una pérdida de flujo-matching estándar sobre estos objetivos re-codificados. Esto asegura que el estudiante aprenda a producir el "tipo correcto" de imágenes antes de intentar el refinamiento on-policy.

2. Fase de Destilación On-Policy

El núcleo del bucle de destilación opera sin latentes compartidos ni pasos temporales sincronizados:

El Profesor como un Sampler de Caja Negra: El profesor actúa puramente como un operador de proyección de ruido y denoise ( $\Pi^\sigma_T$ ). Dado un muestreo del estudiante, el profesor re-añade ruido a un nivel de ruido específico $\sigma$ y regenera una versión refinada.
Igualación de Niveles de Ruido (Resolviendo la Brecha del Reloj): En lugar de alinear por índice de paso, el método alinea por nivel de ruido. Después de que el profesor refina una muestra en un nivel de ruido $\sigma_T^k$ , el gradiente se retropropaga solo a través de los pasos de la trayectoria del estudiante donde el nivel de ruido $\sigma_S^j \ge \sigma_T^k$ . Esto asegura que el estudiante aprenda correcciones relevantes para la escala de ruido específica del refinamiento.
Puente de Espacio de Representación (Resolviendo la Brecha del Espacio): La salida refinada del estudiante y la salida refinada del profesor se decodifican en píxeles utilizando sus respectivos VAEs. Estas imágenes se comparan entonces en un espacio de características congelado y agnóstico al modelo (específicamente, el token CLS de un DINOv2 congelado).
- La pérdida se define como $1 - \cos(f(\hat{x}_S), f(x_{ref}))$ , donde $f$ es el extractor congelado.
- Esta comparación global y libre de coordenadas es invariante a la resíntesis estocástica local que derrota la regresión de píxeles o latentes.

Contribuciones Clave

Formulación de la OPD Heterogénea: El artículo identifica y formaliza los dos obstáculos primarios (falta de espacio compartido y de reloj compartido) que impiden que los métodos on-policy existentes funcionen a través de familias de modelos.
El Marco Any-OPD: Un procedimiento de destilación agnóstico a la arquitectura que acopla los modelos únicamente a través de un espacio de representación externo congelado y alinea las trayectorias mediante la igualación de niveles de ruido en lugar de índices de solver.
Validación Empírica: La primera destilación on-policy exitosa entre distintas familias de modelos (FLUX.1-dev $\to$ SD3.5-Medium), demostrando que un estudiante de 2.5B puede acercarse o incluso superar el rendimiento del profesor de 12B en métricas de preferencia.

Resultados Experimentales

Los autores instancian Any-OPD destilando FLUX.1-dev (12B parámetros) en SD3.5-Medium (2.5B parámetros).

Ganancias de Rendimiento: El estudiante destilado supera significativamente al baseline SD3.5-Medium y se acerca o supera al profesor de 12B en varias métricas:
- PickScore: Aumentó de 0.846 (baseline) a 0.884 (superando al profesor de 0.878).
- HPSv3: Aumentó de 9.12 a 10.97 (acercándose al 11.19 del profesor).
- ImageReward: Aumentó de 0.922 a 1.116 (superando el 0.971 del profesor).
Hallazgos de Ablación:
- Regresión de Latentes: La regresión directa de latentes a través de la frontera del VAE causa un colapso inmediato del entrenamiento.
- Pérdida de Píxel/MSE: Falla debido a la naturaleza estocástica del refinamiento del profesor.
- DINOv2 CLS: El único objetivo estable y efectivo, confirmando que se requiere la alineación semántica global sobre la alineación local de píxeles/parches.
- Anclaje: Es esencial para la estabilidad; comenzar la OPD sin la fase de anclaje resulta en un rendimiento inferior.
- Generalización: Cambiar el profesor a Z-Image (otra familia distinta) con hiperparámetros idénticos produce mejoras consistentes, verificando la intercambiabilidad del método.

Significado y Reivindicaciones

El artículo afirma que Any-OPD elimina las barreras estructurales que impiden el uso de los modelos generativos más fuertes disponibles como profesores para modelos más pequeños y desplegables. Al tratar al profesor puramente como un sampler y comparar las salidas en un espacio de características externo y congelado, el método permite la transferencia de capacidades de generación de alta calidad a través de arquitecturas, VAEs y esquemas de ruido completamente diferentes.

Los autores enfatizan que este desacoplamiento convierte al "generador más fuerte disponible, sea quien sea que lo construya", en un profesor utilizable para "cualquier modelo que uno necesite desplegar", democratizando así el acceso a la calidad de generación de vanguardia sin requerir homogeneidad arquitectónica.