💻 computer science

Laminating Representation Autoencoders for Efficient Diffusion

Cet article présente FlatDINO, un auto-encodeur variationnel qui compresse les caractéristiques redondantes des patchs de DINOv2 en une séquence compacte de 32 jetons, permettant aux modèles de diffusion d'atteindre une génération d'images de haute qualité avec des coûts de calcul considérablement réduits par rapport à l'utilisation de caractéristiques non compressées.

Auteurs originaux : Ramón Calvo-González, François Fleuret

Publié 2026-02-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ramón Calvo-González, François Fleuret

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'envoyer une vidéo haute définition d'une ville à un ami, mais que votre connexion internet est très lente.

L'ancienne méthode (Diffusion de pixels) :
Traditionnellement, les générateurs d'images par IA fonctionnent comme un peintre qui examine chaque centimètre carré d'une toile (les pixels) pour recréer l'image. C'est lent et cela nécessite une quantité massive de données.

La méthode « intelligente » (DINOv2) :
Récemment, des chercheurs ont trouvé un raccourci. Au lieu de regarder les pixels, ils utilisent une « caméra intelligente » (appelée DINOv2) qui regarde l'image et comprend instantanément la signification des différentes parties. Elle voit un « chien », un « arbre » et un « ciel » comme des blocs d'informations distincts. C'est bien plus intelligent que de simplement voir des couleurs.

Le problème :
Cependant, cette « caméra intelligente » est trop bavarde. Pour une image standard, elle décompose l'image en 256 blocs d'informations distincts. C'est comme essayer de décrire une ville en listant chaque adresse de rue individuellement. Bien que l'information soit de haute qualité, elle est incroyablement redondante. Le bloc « chien » et le bloc « oreille du chien » disent presque la même chose. Envoyer les 256 blocs est encore trop lourd pour l'internet lent (le processeur de l'ordinateur).

La solution : FlatDINO
Les auteurs de cet article ont créé un nouvel outil appelé FlatDINO. Voyez cela comme un traducteur ou un « résumeur » super efficace.

La compression : FlatDINO prend ces 256 blocs d'informations bavards et les comprime en seulement 32 petits jetons (tokens).
- Analogie : Imaginez que vous avez un livre de 256 pages décrivant une ville. FlatDINO lit tout le livre et écrit un résumé parfait de 32 pages qui conserve tous les détails importants mais élimine les répétitions.
Le changement de forme : Les blocs originaux étaient disposés en une grille 2D (comme un échiquier). FlatDINO les aplatit en une seule ligne droite de 32 éléments. C'est comme prendre une carte pliée et la déplier en une seule bande pour la rendre plus facile à transporter.

Pourquoi c'est important (Les résultats)
Parce que l'IA n'a plus qu'à traiter 32 éléments au lieu de 256, elle devient incroyablement rapide et efficace :

Vitesse : L'ordinateur doit effectuer 8 fois moins de calculs pour générer une image.
Qualité : Malgré sa taille beaucoup plus réduite, le résumé est si bon que l'IA peut toujours dessiner des images magnifiques et de haute qualité (plus précisément sur le jeu de données ImageNet).
Efficacité : Elle utilise nettement moins d'énergie et de puissance de calcul que les méthodes précédentes qui tentaient d'utiliser l'intégralité des 256 blocs.

Comment ça marche (Le tour de magie)
L'article explique que l'IA a appris à regrouper les éléments proches les uns des autres.

Dans l'ancien système de 256 blocs, de nombreux blocs étaient simplement des voisins disant la même chose.
FlatDINO a appris à dire : « Je n'ai pas besoin de 8 blocs pour décrire cette portion de ciel ; je peux décrire toute la portion avec un seul jeton. »
Curieusement, s'ils avaient essayé de réduire trop fortement (jusqu'à 16 jetons), l'IA s'était embrouillée et commençait à décrire l'image sous forme de bizarres bandes horizontales. Mais à 32 jetons, elle a trouvé le « point d'équilibre » où elle pouvait garder une image naturelle tout en restant minuscule.

L'essentiel
FlatDINO est une nouvelle façon de compresser le « cerveau » d'un générateur d'images. Il prend une description d'image volumineuse et redondante et la transforme en une liste épurée de 32 éléments. Cela permet à l'IA de générer des images beaucoup plus rapidement et à moindre coût. Les auteurs précisent qu'il s'agit d'un travail en cours, mais les résultats initiaux montrent qu'il s'agit d'une étape très prometteuse pour rendre la génération d'images par IA plus efficace.

Résumé Technique : Autoencodeurs de Représentation Laminée pour la Diffusion Efficace (FlatDINO)

Énoncé du Problème

Les avancées récentes dans la génération d'images ont démontré que les modèles de diffusion peuvent opérer directement sur les caractéristiques de patch de l'apprentissage auto-supervisé (SSL) (par exemple, de DINOv2) plutôt que sur des latents dans l'espace des pixels. Cette approche, illustrée par RAE (Zheng et al., 2025), contourne le compromis reconstruction-génération inhérent aux VAE entraînés sur les pixels en exploitant la structure sémantiquement significative déjà encodée dans les caractéristiques SSL.

Cependant, un goulot d'étranglement computationnel important subsiste. Les encodeurs SSL standards comme DINOv2 produisent des grilles bidimensionnelles denses de plongements de patchs (embeddings) de haute dimension (par exemple, 256 patchs de 768 dimensions pour une image de 256×256). Cette représentation est comparable en taille au signal d'origine, n'offrant aucun avantage computationnel par rapport à la diffusion dans l'espace des pixels. La grille dense contient une redondance spatiale significative car les patchs voisins partagent un contenu sémantique substantiel, ce qui rend la diffusion sur ces caractéristiques inutilement coûteuse en termes de FLOPs et de mémoire.

Méthodologie

Les auteurs proposent FlatDINO, un autoencodeur variationnel (VAE) conçu pour compresser les plongements de patchs bidimensionnels denses de DINOv2 en une séquence unidimensionnelle compacte de jetons (tokens) continus.

1. Architecture

Encodeur : Un Vision Transformer (ViT-B) qui prend en entrée les 256 plongements de patchs d'un ViT-B/14 (avec registres) gelé de DINOv2. L'encodeur prépend $T$ jetons de registre apprenables à la séquence de patchs. Après traitement, seuls ces $T$ jetons de registre sont conservés comme représentation latente, écartant la structure spatiale 2D originale.
Décodeur : Un ViT-L qui utilise les jetons de registre apprenables comme requêtes (queries) pour prêter attention à la séquence latente compressée et reconstruire les 256 plongements de patchs DINOv2 originaux.
Objectif d'entraînement : Le modèle est entraîné avec un objectif VAE standard comprenant une perte de reconstruction par Erreur Quadratique Moyenne (MSE) et une pénalité de divergence KL. Le poids $\beta$ de la KL est normalisé par la dimensionnalité latente totale ( $T \times d$ ) pour assurer une pression de régularisation cohérente entre les différentes configurations.
Génération de Latents : Un modèle génératif (spécifiquement un DiT-XL avec flow matching) est entraîné sur l'espace latent compressé de FlatDINO. Le modèle apprend un champ de vitesse pour transporter les échantillons d'une distribution gaussienne standard vers la distribution de données le long de chemins rectilignes.

2. Choix de Conception Clés

Compression 1D : Inspirée par TiTok (Yu et al., 2024a), la méthode compresse la grille 2D en une séquence 1D. Les auteurs ont constaté que 32 jetons offrent un compromis favorable entre la fidélité de reconstruction et la longueur de la séquence.
Réduction de la Dimension des Caractéristiques : Bien que le nombre de jetons soit réduit de 256 à 32 (une réduction de 8×), la dimension des caractéristiques par jeton est également compressée (par exemple, de 768 à 128) pour réduire davantage la dimensionnalité totale.
Flow Matching : Le modèle génératif utilise le flow matching plutôt que la diffusion standard, opérant directement sur la séquence latente 1D avec des plongements positionnels appris.

Contributions Clés

FlatDINO : La première méthode capable de compresser les caractéristiques de patch auto-supervisées en une représentation latente unidimensionnelle, écartant efficacement la structure spatiale 2D originale tout en préservant le contenu sémantique.
Gains d'Efficacité : Démontre que les modèles de diffusion entraînés sur les latents de FlatDINO atteignent une qualité de génération compétitive tout en réduisant considérablement les coûts de calcul. Plus précisément, la réduction de 8× de la longueur de la séquence entraîne une réduction de 8× des FLOPs par passage avant et jusqu'à 4,5× de réduction des FLochs par étape d'entraînement par rapport à la diffusion sur les caractéristiques non compressées de DINOv2.
Analyse de la Tokenisation : À travers des études d'ablation de jetons, les auteurs montrent que le modèle apprend des champs récepteurs localisés, de type "blob", pour la plupart des jetons, partitionnant ainsi l'image spatialement. Ils identifient une "transition de phase" où la réduction des jetons en dessous d'un certain seuil (par exemple, de 32 à 16) force le modèle à adopter des stratégies d'encodage moins efficaces (bandes horizontales), entraînant une chute brutale de la qualité.

Résultats

Les expériences ont été menées sur ImageNet 256×256 en utilisant une architecture DiT-XL.

Qualité de Génération : Un DiT-XL entraîné sur les latents de FlatDINO (32×128) atteint un gFID de 1,85 avec le classifier-free guidance (CFG) et 3,34 sans CFG. Cela est compétitif avec RAE (qui atteint un gFID de 1,41 avec CFG sur des caractéristiques non compressées) et d'autres modèles de diffusion latente de pointe, malgré la compression significative.
Efficacité Computationnelle :
- Inférence : FlatDINO nécessite environ 8× moins de FLOPs par passage avant par rapport à l'opération sur les patchs DINOv2 complets.
- Entraînement : En raison de la réduction de la longueur de la séquence et de l'inclusion de la surcharge de l'encodeur, FlatDINO nécessite 4,5× moins de FLOPs par étape d'entraînement pour les modèles Di-XL par rapport à la ligne de base RAE.
Reconstruction : La configuration 32×128 atteint un rFID de 0,77 (contre 0,62 pour la ligne de base RAE non compressée), indiquant une reconstruction de haute fidélité de l'espace des caractéristiques.
Ablation de Jetons : L'étude révèle que 32 jetons sont suffisants pour maintenir des champs récepteurs localisés. Réduire à 16 jetons provoque un changement qualitatif vers un encodage en bandes horizontales et une chute significative de la qualité de reconstruction.

Signification et Revendications

L'article positionne FlatDINO comme une étape vers une synthèse d'images efficace et sémantiquement ancrée. Les auteurs affirment qu'en exploitant la redondance spatiale inhérente aux grilles de patchs 2D, il est possible d'obtenir une réduction de 8× du nombre de jetons sans sacrifier les avantages de convergence de l'opération dans un espace latent sémantiquement organisé.

Ce travail suggère que la diffusion sur des représentations sémantiques compressées est une approche pratique pour les environnements à ressources limitées. Les auteurs reconnaissent que leurs résultats actuels sont préliminaires et que le modèle n'est pas totalement convergé (entraîné pour 600 époques contre 800 pour RAE). Ils attribuent l'écart restant en qualité de génération à une durée d'entraînement insuffisante et à la nécessité de recettes de diffusion spécifiquement adaptées aux latents sémantiques compressés. Des travaux futurs sont proposés pour explorer des calendriers d'entraînement étendus et des autoencodeurs SSL optimisés afin de combler cet écart.