Résumé Technique : Autoencodeurs Alignés sur le Prior pour la Diffusion Latente

1. Énoncé du Problème

Les Modèles de Diffusion Latente (LDM) reposent sur des tokenizeurs (autoencodeurs) pour définir l'espace latent où s'opère la diffusion. Alors que les tokenizeurs existants sont principalement optimisés pour la fidélité de reconstruction (précision au niveau des pixels) ou l'héritage de représentation (distillation de caractéristiques à partir de Modèles Fondamentaux de Vision, VFMs), l'article soutient que ces objectifs ne garantissent pas un espace latent « compatible avec la diffusion ».

Les auteurs identifient un décalage fondamental : l'amélioration de la qualité de reconstruction seule ne conduit pas nécessairement à une meilleure qualité de génération en aval (gFID). De plus, bien que certaines méthodes exploitent les VFMs pour améliorer la structure sémantique, elles héritent souvent de caractéristiques sans organiser explicitement la variété latente pour les besoins spécifiques de l'apprentissage par diffusion. La question centrale abordée est : Quel type d'organisation de la variété latente facilite une diffusion efficace et de haute qualité ?

2. Méthodologie : Autoencodeur Aligné sur le Prior (PAE)

L'article propose l'Autoencodeur Aligné sur le Prior (PAE), un cadre de tokenizer qui façonne explicitement la variété latente plutôt que de s'en remettre à son émergence indirecte via la reconstruction ou l'héritage de caractéristiques.

2.1 Architecture de Base

Le PAE utilise un Modèle Fondamental de Vision (VFM) figé comme référence sémantique, mais introduit des composants spécifiques pour équilibrer les priors sémantiques avec une reconstruction haute fidélité :

• Modulateur Sensible aux Détails (DAM) : Un module léger qui injecte des détails au niveau des pixels dans les caractéristiques du VFM figé. Il utilise un mécanisme de fusion d'échelle et de décalage initialisé à zéro pour ajouter progressivement les détails haute fréquence manquants sans perturber la structure sémantique pré-entraînée du VFM.
• Priors VFM Raffinés : Reconnaissant que les caractéristiques brutes des VFM sont redondantes en canaux et imprécises spatialement pour les résolutions des tokenizeurs, le PAE emploie un Projecteur de Prior. Ce composant compresse les caractéristiques du VFM en une cible compacte correspondant au goulot d'étranglement et applique un raffinement spatial passe-bas pour créer des cibles structurelles plus nettes.
• Variété Sphérique : Les codes latents sont normalisés par leur magnitude racine carrée de la moyenne des carrés (RMS) pour former un espace latent compact de type sphérique, réduisant la redondance des canaux et stabilisant les perturbations.

2.2 Régularisation Explicite de la Variété

L'innovation clé du PAE est l'introduction de trois objectifs d'entraînement explicites (régularisations) dérivés d'une analyse des propriétés de variétés compatibles avec la diffusion :

1. Régularisation de la Structure Spatiale (SSR) :
   • Objectif : Assurer une structure spatiale cohérente au niveau de l'instance.
   • Mécanisme : Aligne la matrice de Gram spatiale des tokens latents avec celle des caractéristiques VFM raffinées. Cela préserve les relations spatiales relatives entre les tokens, empêchant la « structure incohérente » qui force le modèle de diffusion à apprendre un désalignement spatial.
2. Régularisation de la Continuité de la Variété (MCR) :
   • Objectif : Assurer la continuité locale de la variété (lissage).
   • Mécanisme : Utilise une stratégie de perturbation en cascade. Les codes latents sont perturbés à deux niveaux (moyen et grand). Le décodeur est entraîné pour garantir que la sortie perceptuelle d'une perturbation moyenne est cohérente avec la reconstruction, et que la perturbation grande est cohérente avec la moyenne. Cela impose une continuité de Lipschitz locale sans détruire la fidélité de reconstruction.
3. Régularisation de la Cohérence Sémantique (SCR) :
   • Objectif : Assurer une organisation sémantique globale.
   • Mécanisme : Aligne les tokens latents compressés (à la fois au niveau regroupé et au niveau patch) avec les cibles sémantiques VFM raffinées et correspondant au goulot d'étranglement. Cela garantit que des échantillons sémantiquement similaires sont regroupés de manière compacte dans l'espace latent, simplifiant la génération conditionnelle.

La fonction de perte totale combine la perte de reconstruction standard ($L_{recon}$) avec ces trois pertes d'alignement sur le prior ($L_p$).

3. Contributions Clés

• Identification des Propriétés Compatibles avec la Diffusion : Grâce à des expériences pilotes contrôlées, les auteurs identifient trois propriétés de variété latente qui corrèlent fortement avec la qualité de génération en aval : Structure Spatiale Cohérente, Continuité Locale de la Variété et Sémantique Globale de la Variété. Ils démontrent que ce sont de meilleurs indicateurs de performance de génération que la fidélité de reconstruction seule.
• Optimisation Explicite de la Variété : Contrairement aux travaux antérieurs qui héritent implicitement de la structure ou se concentrent uniquement sur la reconstruction, le PAE traite la construction de la variété latente comme un objectif principal, régularisant explicitement les trois propriétés identifiées.
• Alignement de Prior Raffiné : L'article introduit une stratégie pour raffiner les caractéristiques brutes des VFM en cibles spatialement plus nettes et correspondant au goulot d'étranglement, résolvant le décalage entre les caractéristiques VFM de haute dimension et les latents compacts des tokenizeurs.
• Modulateur Sensible aux Détails : Un composant d'architecture novateur qui injecte avec succès des détails haute fréquence dans les caractéristiques de VFM figées, surmontant le compromis où des priors sémantiques forts conduisent souvent à des reconstructions floues.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet 256×256 en utilisant le générateur LightningDiT.

• Efficacité de Convergence : Le PAE atteint des performances comparables à la base forte RAE (Representation AutoEncoder) avec une convergence jusqu'à 13 fois plus rapide (moins d'époques d'entraînement).
• Génération de l'État de l'Art : Avec un entraînement prolongé (800 époques), le PAE (utilisant DINOv2) atteint un nouveau gFID de l'état de l'art de 1,03 (guidé) et 1,43 (non guidé).
• Échantillonnage en Peu d'Étapes : Le PAE maintient une haute qualité de génération avec très peu d'étapes de débruitage. Il atteint un gFID de 1,05 avec seulement 45 étapes, surpassant significativement les bases en termes d'efficacité.
• Reconstruction : Le PAE maintient une forte fidélité de reconstruction (rFID 0,26), préservant mieux les détails fins comme le texte et les structures minces que d'autres tokenizeurs.
• Études d'Ablation :
  • Le retrait de l'une quelconque des trois régularisations (SSR, MCR, SCR) dégrade significativement les performances, confirmant leurs rôles complémentaires.
  • La stratégie « Priors Raffinés » améliore encore les performances par rapport à l'utilisation de caractéristiques VFM brutes.
  • Le PAE généralise à travers différents backbones VFM (DINOv2, DINOv3, SigLIP2, MAE), les variantes basées sur DINO montrant la géométrie la plus équilibrée.

5. Signification et Revendications

L'article revendique que l'efficacité des modèles de diffusion latente n'est pas uniquement déterminée par la qualité de la reconstruction de l'autoencodeur ou la force de ses représentations héritées, mais de manière critique par l'organisation de la variété latente.

• Changement de Paradigme : Le travail déplace l'accent de la conception de tokenizeurs « orientés reconstruction » ou « orientés héritage » vers une conception « orientée organisation de la variété ».
• Équilibre Fidélité-Lisibilité : Le PAE brise le compromis traditionnel où l'amélioration de la lisibilité pour la génération sacrifie souvent la fidélité de reconstruction. En façonnant explicitement la variété, le PAE atteint à la fois une reconstruction haute fidélité et une haute lisibilité pour le modèle de diffusion.
• Principe Général : Les auteurs postulent que « la diffusion latente bénéficie d'une meilleure organisation de la variété compatible avec la diffusion », suggérant que les futures conceptions de tokenizeurs devraient cibler explicitement les propriétés géométriques (structure, continuité, sémantique) plutôt que de s'en remettre à une émergence implicite.

L'article conclut que l'organisation de la variété latente est un facteur crucial, précédemment sous-exploré, dans le succès des modèles de diffusion latente.