🤖 machine learning

Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging

Any-OPD introduit un nouveau cadre de distillation on-policy hétérogène entre des modèles de flux de latence arbitraires en les reliant par une représentation visuelle gelée et agnostique du modèle ainsi qu'un appariement continu des niveaux de bruit, permettant à un étudiant de 2,5B de rivaliser avec la performance d'un enseignant de 12B là où la régression latente traditionnelle échoue.

Auteurs originaux : Siming Fu, Zheming Fu, Ruizhe He, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Haojun Xu

Publié 2026-08-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Siming Fu, Zheming Fu, Ruizhe He, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Haojun Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les artistes ne peignent pas seulement avec des pinceaux, mais avec des mathématiques. C'est le domaine de la génération d'images par IA, un champ où les ordinateurs apprennent à créer des images à partir de rien en étudiant des millions d'exemples. Pour ce faire, les modèles d'IA modernes utilisent une astuce ingénieuse appelée flow matching (appariement de flux). Imaginez cela comme une rivière coulant d'une chute d'eau chaotique et bruyante (du pur statique) vers un lac calme et limpide (une image parfaite). L'IA apprend le chemin exact de cette rivière afin de pouvoir guider chaque goutte d'eau du bruit vers une image magnifique.

Cependant, il y a un hic. Les artistes d'IA les plus puissants sont comme de gigantesques éléphants lents : ils sont massifs, nécessitent des supercalculateurs pour fonctionner et mettent une éternité à générer une seule image. Nous voulons la rapidité et l'efficacité d'un écureuil agile, mais nous voulons aussi le génie artistique de l'éléphant. La solution est la distillation : enseigner à un petit modèle étudiant rapide comment copier le grand et lent modèle enseignant. Mais voici le problème : généralement, l'enseignant et l'étudiant doivent parler exactement la même langue, utiliser la même carte interne et suivre la même horloge. S'ils sont issus de "familles" d'IA différentes, ils pourraient aussi bien parler des dialectes différents ou vivre dans des fuseaux horaires différents. Jusqu'à présent, essayer d'enseigner à un écureuil comment être un éléphant alors qu'ils utilisent des plans totalement différents était impossible.

Ce document présente Any-OPD, une nouvelle méthode qui agit comme un traducteur universel et un entraîneur capable de plier le temps. Les chercheurs ont découvert que l'enseignant et l'étudiant n'ont pas besoin de partager les mêmes cartes internes ou les mêmes horloges pour apprendre l'un de l'autre. Au lieu de les forcer à comparer leurs notes internes secrètes (ce qui serait du charabia pour l'autre), Any-OPD les laisse comparer les images finales qu'ils créent en utilisant un "critique d'art" tiers (un modèle de vision gelé appelé DINOv2) qui comprend le sens de l'image, et non seulement les pixels.

L'équipe a testé cela en prenant un minuscule modèle étudiant de 2,5 milliards de paramètres (SD3.5-Medium) et en lui apprenant à imiter un immense modèle enseignant de 12 milliards de paramètres (FLUX.1-dev). Ces deux modèles sont complètement différents : ils utilisent des structures internes différentes, des manières différentes de gérer le bruit et des calendriers différents. Les méthodes standards tentaient de forcer une comparaison directe de leurs données internes, ce qui provoquait l'effondrement de l'entraînement en un fouillis flou. Any-OPD a cependant contourné cela en ne comparant que les images finales dans un "espace de sens" partagé.

Les résultats ont été frappants. Le petit étudiant, après avoir été entraîné avec Any-OPD, n'est pas seulement devenu un peu meilleur ; il est devenu un maître artiste. Il a amélioré sa capacité à créer des images que les humains préfèrent (mesurée par un score appelé PickScore) de 0,846 à 0,884, et son score de préférence humaine (HPSv3) a bondi de 9,12 à 10,97. En fait, ce petit étudiant a commencé à rivaliser avec, et dans certains cas même à dépasser, les performances de son géant enseignant de 12 milliards de paramètres, tout en fonctionnant à une fraction de sa taille et de son coût.

Le document exclut explicitement l'idée que l'on puisse simplement comparer les données internes brutes (latents) ou les détails pixel par pixel des images lorsque les modèles sont différents. Ils ont montré que tenter une "régression de pixels" directe entre différentes familles de modèles provoque l'échec total de l'entraînement. Au lieu de cela, ils ont prouvé qu'en ancrant d'abord l'étudiant, puis en utilisant un système d'appariement du niveau de bruit pour aligner leurs étapes dans le temps, on peut transférer avec succès des connaissances entre n'importe quels modèles, peu importe leurs différences. Cela suggère qu'à l'avenir, nous ne serons pas limités à un seul géant de l'IA ; nous pourrons prendre le meilleur enseignant disponible, peu importe qui l'a construit, et enseigner à n'importe quel petit modèle dont nous avons besoin pour qu'il soit tout aussi performant.

Résumé Technique : Any-OPD

Problématique

La distillation on-policy (OPD) actuelle pour les modèles de flux (flow-matching) et de diffusion repose sur une hypothèse d'homogénéité : l'enseignant et l'étudiant doivent partager le même espace latent VAE, la même architecture et le même calendrier de bruit (grille de pas de temps). Cette hypothèse restreint la distillation aux paires appartenant à la même famille de modèles.

En pratique, les scénarios de distillation les plus souhaitables sont hétérogènes : un utilisateur peut vouloir déployer un modèle petit et efficace (ex: SD3.5-Medium) tout en exploitant la qualité supérieure d'un enseignant de grande taille et de pointe issu d'une famille différente (ex: FLUX.1-dev). L'OPD standard échoue dans ce contexte en raison de deux décalages fondamentaux :

Absence d'espace partagé : Les latents de l'enseignant sont des cibles invalides dans le système de coordonnées de l'étudiant. De plus, la régression pixel par pixel échoue car le raffinement de l'enseignant est une resynthèse stochastique qui préserve la sémantique mais redessine les détails locaux ; la régression vers cette moyenne stochastique provoque un effondrement de l'entraînement ou un flou sévère.
Absence d'horloge partagée : Les différents modèles utilisent des fonctions de décalage de bruit (noise shift) distinctes. Par conséquent, des indices de solveur identiques (numéros d'étape) correspondent à des niveaux de bruit différents, rendant les états supervisés par alignement d'index incomparables.

Les méthodes existantes ne peuvent pas superviser la propre trajectoire d'un étudiant en utilisant un enseignant qui opère dans un espace latent et un calendrier de bruit étrangers.

Méthodologie : Any-OPD

Les auteurs proposent Any-OPD (Any Teacher, Any Student, On-Policy Distillation), le premier cadre permettant la distillation on-policy entre des paires arbitraires de générateurs de flux latents. La méthode découple l'enseignant et l'étudiant en ne faisant référence à aucun paramètre interne des modèles, en s'appuyant plutôt sur une troisième représentation externe et un alignement des niveaux de bruit.

1. Phase d'Ancrage (Hors-ligne)

Pour traiter l'écart au niveau de la distribution, l'étudiant est d'abord « ancré » à la variété (manifold) de l'enseignant.

L'enseignant génère des images à partir de prompts, qui sont ensuite re-encodées en utilisant le VAE de l'étudiant.
Cela projette la distribution de sortie de l'enseignant dans le système de coordonnées latentes de l'étudiant.
L'étudiant est entraîné via une perte de flux (flow-matching loss) standard sur ces cibles re-encodées. Cela garantit que l'étudiant apprend à produire des images du « bon genre » avant de tenter le raffinement on-policy.

2. Phase de Distillation On-Policy

La boucle de distillation centrale opère sans latents partagés ni pas de temps synchronisés :

L'Enseignant comme Échantillonneur Boîte Noire : L'enseignant agit purement comme un opérateur de projection de bruit et de débruitage ( $\Pi^\sigma_T$ ). Étant donné un échantillon de l'étudiant, l'enseignant le re-bruite à un niveau de bruit spécifique $\sigma$ et régénère une version raffinée.
Alignement du Niveau de Bruit (Résolution du décalage d'horloge) : Au lieu d'aligner par indice de pas, la méthode aligne par niveau de bruit. Après que l'enseignant a raffiné un échantillon au niveau de bruit $\sigma_T^k$ , le gradient est rétro-propagé uniquement à travers les étapes de la trajectoire de l'étudiant où le niveau de bruit $\sigma_S^j \ge \sigma_T^k$ . Cela garantit que l'étudiant apprend les corrections pertinentes à l'échelle de bruit spécifique du raffinement.
Pontage de l'Espace de Représentation (Résolution du décalage d'espace) : La sortie raffinée de l'étudiant et la sortie raffinée de l'enseignant sont décodées en pixels en utilisant leurs VAE respectifs. Ces images sont ensuite comparées dans un espace de caractéristiques gelé et agnostique du modèle (spécifiquement, le jeton CLS d'un DINOv2 gelé).
- La perte est définie comme $1 - \cos(f(\hat{x}_S), f(x_{ref}))$ , où $f$ est l'extracteur gelé.
- Cette comparaison globale, exempte de coordonnées, est invariante à la resynthèse stochastique locale qui défait la régression de pixels ou de latents.

Contributions Clés

Formalisation de l'OPD Hétérogène : Le papier identifie et formalise les deux principales obstructions (absence d'espace partagé et d'horloge partagée) qui empêchent les méthodes on-policy existantes de fonctionner entre les familles de modèles.
Le Cadre Any-OPD : Une procédure de distillation novatrice, agnostique de l'architecture, qui couple les modèles uniquement via un espace de représentation externe gelé et aligne les trajectoires via l'appariement des niveaux de bruit plutôt que par les indices de solveur.
Validation Empirique : La première distillation on-policy réussie entre des familles de modèles distinctes (FLUX.1-dev $\to$ SD3.5-Medium), démontrant qu'un étudiant de 2,5B peut approcher ou dépasser la performance de l'enseignant de 12B sur les métriques de préférence.

Résultats Expérimentaux

Les auteurs instaurent Any-OPD en distillant FLUX.1-dev (12 milliards de paramètres) dans SD3.5-Medium (2,5 milliards de paramètres).

Gains de Performance : L'étudiant distillé surpasse significativement la ligne de base SD3.5-Medium et approche ou dépasse l'enseignant de 12B sur plusieurs métriques :
- PickScore : Augmentation de 0,846 (baseline) à 0,884 (dépassant l'enseignant à 0,878).
- HPSv3 : Augmentation de 9,12 à 10,97 (approchant l'enseignant à 11,19).
- ImageReward : Augmentation de 0,922 à 1,116 (dépassant l'enseignant à 0,971).
Résultats d'Ablation :
- Régression Latente : La régression directe des latents à travers la frontière VAE provoque un effondrement immédiat de l'entraînement.
- Perte Pixel/MSE : Échoue en raison de la nature stochastique du raffinement de l'enseignant.
- DINOv2 CLS : Le seul objectif stable et efficace, confirmant qu'un alignement sémantique global est nécessaire plutôt qu'un alignement local de pixels ou de patches.
- Ancrage : Essentiel pour la stabilité ; commencer l'OPD sans la phase d'ancrage entraîne des performances inférieures.
- Généralisation : Le remplacement de l'enseignant par Z-Image (une autre famille distincte) avec des hyperparamètres identiques produit des améliorations constantes, vérifiant l'interchangeabilité de la méthode.

Signification et Revendications

Le papier affirme qu'Any-OPD lève les barrières structurelles empêchant l'utilisation des modèles génératifs les plus puissants comme enseignants pour des modèles plus petits et déployables. En traitant l'enseignant purement comme un échantillonneur et en comparant les sorties dans un espace de caractéristiques externe gelé, la méthode permet de transférer des capacités de génération de haute qualité à travers des architectures, des VAE et des calendriers de bruit complètement différents.

Les auteurs soulignent que ce découplage fait du « plus puissant générateur disponible, quel que soit son créateur », un enseignant utilisable pour « n'importe quel modèle que l'on souhaite déployer », démocratisant ainsi l'accès à la qualité de génération de pointe sans exiger d'homogénéité architecturale.