💻 computer science

Cross-Space Distillation: Teaching One-Step Students with Modern Diffusion Teachers

Cet article introduit la « Cross-Space Distillation », un nouveau cadre utilisant un module « Bridge » léger pour permettre à des modèles enseignants de diffusion modernes à haute capacité (tels que SD 3.5 et Flux) d'entraîner efficacement des modèles étudiants compacts en une seule étape dans différents espaces latents (tels que SD 1.5), atteignant ainsi des améliorations de qualité significatives tout en maintenant l'efficacité du déploiement et la compatibilité de l'écosystème.

Auteurs originaux : Anh Nguyen, Ngan Nguyen, Duc Vu, Trung Dao, Viet Nguyen, Quan Dao, Kien Nguyen, Chi Tran, Phong Nguyen, Khoi Nguyen, Cuong Pham, Dimitris Metaxas, Vishal M. Patel, Anh Tran

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anh Nguyen, Ngan Nguyen, Duc Vu, Trung Dao, Viet Nguyen, Quan Dao, Kien Nguyen, Chi Tran, Phong Nguyen, Khoi Nguyen, Cuong Pham, Dimitris Metaxas, Vishal M. Patel, Anh Tran

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La « Barrière de la Langue » dans l'Art IA

Imaginez que vous avez un Chef de Classe (l'« Enseignant ») qui est célèbre pour cuisiner des repas incroyables en haute résolution de 1024x1024 pixels. Ce chef utilise une cuisine industrielle massive avec des outils spécialisés (un « VAE » spécifique et une haute résolution).

Maintenant, imaginez que vous avez un Apprenti Chef qui travaille dans une cuisine minuscule et compacte. Il n'a que de petites marmites et ne peut cuisiner que des repas de 512x512 pixels. Il utilise un ensemble d'outils totalement différent.

Par le passé, si vous vouliez que l'Apprenti Chef apprenne du Chef de Classe, ils devaient être dans la même cuisine en utilisant les mêmes outils. Si les recettes du Chef de Classe étaient écrites pour un four géant, l'Apprenti Chef ne pouvait pas les lire car son four était trop petit et les instructions étaient écrites dans une « langue » différente (un espace latent différent).

Cela signifiait que pour obtenir des résultats de haute qualité, l'Apprenti Chef devait grandir pour devenir aussi grand et coûteux que le Chef de Classe, ce qui va à l'encontre de l'objectif d'avoir un modèle compact et rapide pour les téléphones ou les ordinateurs classiques.

La Solution : Le « Pont »

Les auteurs de ce papier ont inventé un Pont.

Voyez le Pont comme un traducteur universel et un adaptateur qui se situe entre l'Apprenti Chef et le Chef de Classe. Il ne change pas la cuisine de l'Apprenti Chef et ne le force pas à acheter un four géant. À la place, il fait deux choses astucieuses :

Il traduit la « Langue » : Il prend les petites « pensées » (latents) de l'Apprenti de 512x512 et les traduit dans la « langue » complexe de 1024x1024 du Chef de Classe pour que le Maître puisse les comprendre.
Il agit comme un « Chef Fantôme » : Il utilise une partie pré-entraînée et figée de la propre cuisine de l'Apprenti (le décodeur) pour aider à agrandir la petite image, puis utilise un petit « projecteur » apprenable pour qu'elle ressemble exactement à ce que le Chef de Classe verrait.

Comment ça marche (La Magie de l'« Étape Unique »)

Habituellement, les générateurs d'images par IA prennent de nombreuses étapes pour créer une image (comme faire un croquis, puis l'ombrage, puis les détails). Les modèles modernes de type « One-Step » (étape unique) tentent de faire cela en un seul saut.

Cependant, l'entraînement standard « One-Step » échoue lorsque l'Enseignant et l'Apprenti sont dans des « espaces » différents (résolutions différentes ou mathématiques sous-jacentes différentes).

Le Pont corrige cela en :

Cartographiant l'Apprenti : Il prend la sortie de l'Apprenti et la projette instantanément dans le monde haute résolution de l'Enseignant.
Enseignant via l'« Attention » : Au lieu de simplement vérifier si l'image finale semble correcte, le Pont vérifie si l'Apprenti « prête attention » aux mêmes parties de l'image que le Chef de Classe. Il utilise une métrique spéciale appelée Fidélité d'Attention (Attention Fidelity) pour s'assurer que l'Apprenti se concentre sur les yeux, la texture de la fourrure ou les détails d'un château, tout comme le Maître le ferait.

Les Résultats : Petit Chef, Grand Goût

Le papier a testé cela en prenant un modèle petit et rapide (Stable Diffusion 1.5) et en lui enseignant grâce à des enseignants massifs et modernes (comme SD 3.5, Flux et Kolors).

Avant le Pont : Le petit modèle obtenait un score de 5,4 sur une échelle de préférence humaine (HPSv3). Il était correct, mais un peu flou et simple.
Après le Pont : Le même petit modèle a bondi à un score de 9,4. Il était presque aussi bon que les enseignants massifs, avec des détails nets et de meilleures couleurs, tout en restant rapide et très peu gourmand en mémoire.

Pourquoi cela compte (Sans le battage médiatique)

Pas de reconstruction : Vous n'avez pas besoin de jeter vos anciens petits modèles d'IA. Il vous suffit d'ajouter ce module « Pont » à eux.
Mélange et assortiment : Vous pouvez enseigner à un petit modèle en utilisant cinq enseignants différents massifs en même temps. Le papier a même découvert que si vous « fusionnez » le savoir de ces cinq enseignants dans un seul petit modèle, celui-ci devient encore meilleur.
Mise à niveau de la résolution : Comme le Pont apprend comment traduire les petites images dans le monde haute résolution de l'Enseignant, vous pouvez l'utiliser lors de l'étape finale pour transformer une image de 512x512 en une image nette de 1024x1024 sans réentraîner tout le système.

Analogie de Synthèse

Imaginez que vous essayez d'apprendre à jouer une symphonie complexe (le Maître Enseignant) sur un tout petit clavier portable (l'Apprenti).

L'ancienne méthode : Vous deviez acheter un piano de concert à taille réelle pour apprendre la pièce correctement.
La nouvelle méthode (Le Pont) : Vous gardez votre petit clavier. Vous y attachez un petit adaptateur intelligent (le Pont) qui traduit vos touches minuscules en le son d'un orchestre complet en temps réel. Vous pouvez maintenant jouer la symphonie parfaitement sur votre petit clavier, et l'adaptateur vous aide même à entendre les nuances des violons et des tambours que vous ne pouviez pas entendre auparavant.

Le papier prouve que vous n'avez pas besoin d'un ordinateur massif pour générer de l'art IA de haute qualité ; vous avez juste besoin du bon adaptateur pour connecter votre petit modèle aux grands cerveaux.

Résumé Technique : Distillation Cross-Space (Inter-Espaces)

Énoncé du Problème
Les modèles de diffusion en une étape modernes atteignent une génération de haute qualité grâce à la distillation de pas de temps basée sur la distribution. Cependant, ces méthodes reposent sur une contrainte restrictive d'Espace Partagé (Shared-Space) : l'Enseignant (Teacher) et l'Étudiant (Student) doivent habiter le même espace latent, partageant une résolution de latent et une paramétrisation VAE identiques. Cette hypothèse empêche le transfert de connaissances de Teachers modernes à haute capacité (ex: Stable Diffusion 3.5, Flux, Kolors) opérant à haute résolution (ex: 1024×1024) et utilisant des VAE avancés, vers des Students compacts et optimisés pour le déploiement (ex: Stable Diffusion 1.5) opérant à des résolutions plus basses (ex: 512×512) avec des VAE différents.

Les objectifs de distillation standards échouent dans ce contexte car les tenseurs latents ( $z_S$ et $z_T$ ) sont intrinsèquement incompatibles en raison de :

La Cross-Résolution : Des formes de grille spatiale discordantes (ex: $h \times w$ vs $H \times W$ ).
Le Cross-VAE : Des paramétrisations d'autoencodeurs différentes entraînant des espaces latents mal alignés.
Le Cross-Architecture/Mécanisme : Des différences entre les backbones UNet et DiT, ou entre les formulations de diffusion standard et de flow matching.

Les alternatives existantes, telles que l'élagage de réseau (pruning) ou la construction de nouveaux backbones compacts à partir de zéro, font face à des défis incluant des seuils de parcimonie rigides, des exigences d'entraînement intensives et la perte de compatibilité avec l'écosystème.

Méthodologie : Distillation Cross-Space et le "Bridge"
Les auteurs formalisent ce cadre sous le nom de Distillation Cross-Space et introduisent Bridge ( $B_\phi$ ), un module léger conçu pour mapper les latents de l'Étudiant dans l'espace latent de l'Enseignant sans modifier le backbone de l'Étudiant.

Architecture : Le Bridge est factorisé en deux étapes pour gérer efficacement le décalage :
1. Prior Spatial (Gelé) : Les $n$ premiers blocs de décodage du décodeur VAE de l'Étudiant ( $D_S^{(n)}$ ) sont conservés gelés. Ces blocs agissent comme un suréchantillonneur spatial pré-entraîné, étendant le latent de l'Étudiant $z_S$ de la basse résolution vers la haute résolution de l'Enseignant ( $H \times W$ ). Cela exploite la connaissance spatiale existante de l'Étudiant sans ajouter de paramètres entraînables pour le suréchantillonnage.
2. Projecteur Apprenable ( $g_\phi$ ) : Un réseau compact et apprenable (implémenté via SwinIR) mappe les caractéristiques suréchantillonnées de l'espace de caractéristiques de l'Étudiant vers l'espace de représentation latente de l'Enseignant, produisant un latent compatible avec l'Enseignant $\hat{z}_T$ .
Objectifs d'Entraînement : Le Bridge est entraîné à l'aide d'un jeu de données synthétique de latents appariés $(z_S, z_T)$ dérivés de la même image encodée par les deux VAE. L'optimisation minimise une somme pondérée de deux pertes :
1. Reconstruction de Latent ( $L_{rec}$ ) : Une perte $\ell_1$ entre le latent prédit $\hat{z}_T$ et le latent de vérité terrain de l'Enseignant $z_T$ . Les auteurs notent que l' $\ell_1$ offre une meilleure stabilité et une meilleure préservation de la structure que l' $\ell_2$ dans ce contexte.
2. Fidélité d'Attention ( $L_{attn}$ ) : Une perte de divergence KL inverse qui aligne les distributions d'auto-attention du dénoiseur gelé de l'Enseignant lorsqu'il est alimenté par $\hat{z}_T$ par rapport à $z_T$ . Cela garantit que le latent mappé induit les mêmes réponses structurelles internes (dépendances à longue portée) que le véritable latent de l'Enseignant, préservant les détails fins que les pertes par pixel pourraient manquer.
Distillation et Inférence : Une fois entraîné, le Bridge est attaché à l'Étudiant. Pendant la distillation, la sortie de l'Étudiant passe par le Bridge pour générer $\hat{z}_T$ , permettant l'application directe des objectifs de distribution standards (ex: Variational Score Distillation, Adversarial Distillation) contre l'Enseignant. Crucialement, le backbone de l'Étudiant reste inchangé.

Contributions Clés

Formalisation de la Distillation Cross-Space : Le papier définit un nouveau régime où la distillation se produit entre des résolutions de latents et des espaces VAE discordants, comblant une lacune critique dans le transfert de connaissances des modèles haute résolution modernes vers les modèles compacts hérités.
Le Module Bridge : Une interface modulaire et légère qui permet les objectifs de distillation standards sans modifier l'architecture de l'Étudiant. Il combine un prior spatial gelé avec un projecteur apprenable et utilise un objectif de Fidélité d'Attention pour un alignement stable.
Efficacité Pratique : La méthode permet aux Students compacts (ex: SD 1.5) d'hériter des priors visuels de divers Teachers modernes (SDXL, Kolors, PixArt-Σ, Flux, SD 3.5) tout en maintenant une inférence en une étape, une faible latence et une large compatibilité avec l'écosystème.
Capacité de Fusion de Modèles : Parce que la méthode distille divers Teachers dans des Students partageant le même backbone et le même espace latent, les checkpoints résultants peuvent être trivialement fusionnés via la moyenne des paramètres pour créer un modèle unique agrégeant les connaissances de multiples sources Teachers.

Résultats
Les expériences démontrent des améliorations substantielles de la qualité de génération pour les Students compacts en une étape :

Gains Quantitatifs : La distillation de SD 3.5 Medium (Teacher) vers SD 1.5 (Student) via Bridge améliore le score HPSv3 de 5.37 à 9.42 et l'ImageReward de -0.29 à 0.62. La fusion de checkpoints provenant de cinq Teachers différents booste davantage le HPSv3 de SD 1.5 à 10.53.
Améliorations Qualitatives : Les comparaisons visuelles montrent que les Students dotés de Bridge produisent des images avec des textures plus claires, une plus forte cohérence structurelle et moins d'artefacts par rapport aux baselines initialisées ou aux modèles élagués.
Efficacité : Le Bridge ajoute un overhead négligeable (environ 5M de paramètres) et permet une inférence en une étape. Il permet également une amélioration de la résolution au moment de l'inférence, où un échantillon de l'Étudiant en 512×512 peut être mappé vers 1024×1024 via le Bridge et décodé avec le décodeur de l'Enseignant sans réentraîner l'Étudiant.
Comparaison avec l'Élagage (Pruning) : La distillation via Bridge surpasse l'élagage de réseau (ex: élagage de SD 3.5 à 30% de parcimonie), qui tend à produire du flou et des artefacts.

Signification
Le papier affirme que la Distillation Cross-Space débloque le potentiel de transfert des capacités génératives de Teachers massifs et modernes vers des backbones efficaces et déployables sans le coût d'entraînement de nouvelles architectures. En traitant l'alignement de représentations latentes hétérogènes comme un problème d'interface réutilisable, ce travail permet :

Compatibilité de l'Écosystème : Les modèles compacts comme SD 1.5 peuvent être mis à niveau avec une qualité de pointe tout en conservant la compatibilité avec les outils et le matériel existants.
Unification des Connaissances : La capacité de fusionner les connaissances de multiples Teachers architecturalement distincts (ex: Flux et SD 3.5) dans un seul modèle Étudiant léger.
Modularité : Le Bridge sert de composant plug-and-play qui peut être réutilisé tant pour la distillation que pour l'amélioration de la résolution au moment de l'inférence, découplant la capacité de génération de l'Étudiant de ses contraintes de représentation latente.

Les auteurs positionnent ce travail comme une étape vers une exploration plus large de la distillation à travers des espaces latents hétérogènes, applicable au-delà du texte-vers-image, notamment pour la vidéo et la génération multimodale.