Résumé Technique : RePack puis Affiner

Énoncé du Problème

Les récentes avancées des Modèles de Diffusion Latents (LDMs) ont de plus en plus recours aux Modèles de Fondation Visuels (VFMs), tels que DINOv2/v3 et CLIP, en tant qu'encodeurs de caractéristiques pour enrichir la richesse sémantique. Cependant, l'utilisation directe des caractéristiques brutes des VFM présente une inefficacité critique. Comme noté dans l'article, les caractéristiques brutes issues des encodeurs ViT standards (par exemple, DINOv3-B/16) sont de haute dimension (768 canaux) et souvent redondantes. Le nombre total d'éléments dans ces cartes de caractéristiques égale ou dépasse fréquemment le nombre de pixels de l'image originale, contredisant le principe fondamental des LDMs d'opérer sur un espace latent compact et compressé.

Les auteurs soutiennent que la réalisation de la diffusion dans un tel espace de haute dimension et redondant force le Transformer de Diffusion (DiT) à apprendre des distributions dominées par le bruit et des informations moins critiques, ralentissant considérablement la convergence et réduisant l'efficacité de l'entraînement. Les observations empiriques montrent que les méthodes utilisant des caractéristiques brutes (par exemple, RAE) convergent plus lentement que celles utilisant des espaces compressés, malgré l'entrée sémantique plus riche de ces dernières.

Méthodologie : RePack puis Affiner

Pour répondre au compromis entre la richesse sémantique et l'efficacité de l'entraînement, les auteurs proposent RePack puis Affiner, un cadre en trois étapes conçu pour compresser les caractéristiques des VFM dans une variété compacte tout en restaurant les détails de haute fréquence.

1. Emballage de Représentation (RePack)

La première étape introduit une couche de projection linéaire légère et sans biais ($P_\theta$) qui projette les caractéristiques brutes des VFM de haute dimension ($z_{raw} \in \mathbb{R}^{D \times h \times w}$) sur une variété compacte et de basse dimension ($z \in \mathbb{R}^{d \times h \times w}$, où $d \ll D$, par exemple $d=32$).

• Mécanisme : Le VFM figé extrait les caractéristiques, qui sont ensuite projetées par $P_\theta$. Un décodeur ($D_\psi$) reconstruit l'image à partir de ce latent compressé.
• Objectif : Cette étape filtre la redondance tout en préservant les informations structurelles essentielles. Les auteurs émettent l'hypothèse que l'information sémantique réside sur une variété de basse dimension, et que la projection sur cette variété simplifie la tâche de modélisation de la distribution pour le DiT ultérieur.
• Entraînement : Optimisé de bout en bout en utilisant une perte composite incluant $L_1$, LPIPS, une perte adversaire, une perte perceptuelle de Watson et une Perte de Fréquence Focale.

2. Modélisation Générative (DiT)

Dans la deuxième étape, un Transformer de Diffusion standard (spécifiquement LightningDiT) est entraîné sur l'espace latent compact généré par l'encodeur RePack.

• Processus : Le DiT apprend le champ de vitesse pour transformer le bruit gaussien en distribution de données au sein de la variété compressée à 32 canaux.
• Efficacité : Parce que l'espace latent est propre et sémantiquement cohérent, le DiT converge significativement plus rapidement qu'entraîné sur des caractéristiques brutes de haute dimension.

3. Affinement Guidé par le Latent

Pour compenser les détails de texture de haute fréquence perdus lors de la compression dans l'étape RePack, un Affineur Guidé par le Latent est introduit.

• Architecture : Un modèle basé sur U-Net qui prend l'image de base (décodée à partir du latent) et les caractéristiques latentes suréchantillonnées comme entrée.
• Fonction : Il modélise explicitement les détails de haute fréquence dans le domaine des pixels, guidé par les sémantiques structurelles de l'espace latent. Cela découple la génération sémantique (gérée par le DiT) de l'affinement de texture (géré par l'Affineur).
• Entraînement : Entraîné hors ligne dans une troisième étape en utilisant des images de vérité terrain pour apprendre la mapping des sémantiques grossières vers les détails fins.

Contributions Clés

1. Cadre RePack : La proposition d'un cadre de compression sémantique qui identifie la redondance dans les caractéristiques brutes des VFM et emploie un goulot d'étranglement de variété compacte pour filtrer le bruit tout en préservant les sémantiques de base.
2. Modélisation Générative Efficace : Démonstration que la modélisation générative dans cet espace compact produit des vitesses de convergence à la pointe de l'état de l'art. Le RePack-DiT-XL/1 atteint un FID de 1,82 en seulement 64 époques d'entraînement.
3. Affineur Guidé par le Latent : L'introduction d'un module qui découple la génération de structure de l'affinement de texture, récupérant les détails de haute fréquence perdus lors de l'emballage et améliorant le FID final à 1,65.

Résultats Expérimentaux

Évalué sur ImageNet-1K (256×256), le cadre démontre une efficacité et une qualité supérieures :

• Vitesse de Convergence : RePack-DiT-XL/1 atteint un FID de 1,82 en 64 époques. En comparaison, un DiT standard nécessite 1 400 époques pour atteindre un FID de 2,27, et RAE nécessite 800 époques pour atteindre 1,41 (bien qu'avec un nombre de paramètres beaucoup plus élevé et des dynamiques d'entraînement différentes).
• Amélioration de la Qualité : Avec l'ajout de l'Affineur, le FID s'améliore à 1,65 à 64 époques, surpassant les récents Modèles de Diffusion Pixelaires (PDMs) et autres LDMs en termes d'efficacité de convergence.
• Études d'Ablation :
  • Conception de la Projection : La projection linéaire sans biais surpasse les variantes biaisées et les projections PCA statiques, confirmant la nécessité d'une projection apprenable pour capturer la variété sémantique.
  • Dimension Latente : La réduction des dimensions à $d=16$ offre la convergence la plus rapide, mais $d=32$ est choisi par défaut pour équilibrer la fidélité de reconstruction et la comparaison équitable avec des bases comme VA-VAE.
  • Généralisation de l'Affineur : L'Affineur améliore considérablement RePack mais dégrade les performances sur d'autres VAE (comme VA-VAE), suggérant que l'Affineur est spécifiquement ajusté à la nature purement sémantique et pauvre en texture de l'espace latent de RePack.

Importance et Revendications

L'article affirme que RePack puis Affiner représente une stratégie hautement efficace pour équilibrer la fidélité générative avec l'efficacité de l'entraînement. En reconnaissant la redondance dans les caractéristiques brutes des VFM, les auteurs soutiennent que « l'emballage » de ces caractéristiques dans une variété compacte est supérieur à une utilisation directe. Le cadre atteint les résultats de convergence les plus rapides parmi les méthodes récentes, parvenant à une génération de haute qualité (FID 1,65) dans une fraction des époques d'entraînement requises par les bases à la pointe de l'état de l'art.

Les auteurs soulignent que leur approche ne nécessite pas d'encodeurs complexes et lourds en paramètres (contrairement à FAE) ni le fine-tuning de modèles de fondation (contrairement à PS-VAE), préservant ainsi l'universalité du VFM tout en réduisant drastiquement la charge computationnelle du modèle génératif. Le travail suggère que l'avenir de la diffusion efficace réside dans le découplage de la compression sémantique de la restauration des détails, exploitant les forces complémentaires des espaces latents et pixelaires.

Note : Les auteurs reconnaissent les limitations concernant la portée actuelle des expériences (limitée à 80 époques et ImageNet-1K) et notent que le passage à la génération texte-vers-image et l'exploration de calendriers d'entraînement étendus sont des orientations pour les travaux futurs.