🤖 machine learning

End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer

Ce papier propose un pipeline d'entraînement de bout en bout qui optimise conjointement un tokenizer sémantique 1D et un modèle génératif autorégressif, atteignant des performances de génération d'images à la pointe de l'état de l'art avec un FID de 1,48 sur ImageNet 256x256.

Auteurs originaux : Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

Publié 2026-05-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez enseigner à un ordinateur à dessiner des images en les décrivant mot par mot, comme un conteur. Cela s'appelle la génération autoregressive. L'ordinateur devine le prochain « mot » (ou, dans ce cas, un élément visuel) en se basant sur ceux qui le précèdent.

Cependant, il y a un gros problème avec la façon dont les ordinateurs le font habituellement.

Le Problème : La « Grille » contre l'« Histoire »

La plupart des ordinateurs créateurs d'images décomposent une image en une grille 2D (comme un échiquier). Ils tentent de décrire l'image en lisant cette grille ligne par ligne, comme on lit un livre.

Le Problème : Dans une grille, la pièce en haut à droite dépend de la pièce en bas à gauche. Mais dans une histoire (une liste 1D), vous ne pouvez pas parler de la fin de l'histoire avant d'avoir raconté le début. Cette incompatibilité rend l'ordinateur confus et les images paraissent désordonnées.

Les tentatives précédentes ont essayé de résoudre cela soit en :

Changeant l'ordre de l'histoire : Forçant l'ordinateur à lire la grille dans des ordres étranges et aléatoires (comme lire un livre à l'envers ou en sautant partout).
Aplatissant la grille : Écrasant l'image 2D en une seule longue ligne de données. Mais souvent, cet écrasement était si violent que les détails étaient perdus, ou que l'ordinateur ne parvenait pas à apprendre à les dessiner correctement.

La Solution : EOSTok (L'Équipe « Bout-en-Bout »)

Les auteurs de cet article ont créé un nouveau système appelé EOSTok. Imaginez-le comme une équipe de deux travailleurs qui apprennent ensemble, plutôt qu'un seul formant l'autre.

1. Les Deux Travailleurs

Travailleur A (Le Tokeniseur) : C'est le « compresseur ». Il prend une photo haute définition et la réduit en une courte liste 1D de « tokens » (comme un code secret).
Travailleur B (Le Générateur) : C'est le « conteur ». Il examine le code secret et tente de prédire le prochain token de la liste pour recréer l'image.

2. L'Ancienne Méthode (L'Erreur « Deux Étapes »)

Autrefois, ces travailleurs s'entraînaient séparément :

Étape 1 : Le Travailleur A était entraîné uniquement à écraser l'image parfaitement. Une fois terminé, il était figé (verrouillé en place).
Étape 2 : Le Travailleur B était entraîné à prédire les tokens.
Le Défaut : Le Travailleur A ne savait pas que le Travailleur B serait celui qui utiliserait les tokens. Ainsi, le Travailleur A pouvait créer un code excellent pour économiser de l'espace mais terrible pour prédire l'étape suivante. C'était comme un traducteur écrivant un livre dans une langue que le traducteur suivant ne pouvait pas comprendre.

3. La Nouvelle Méthode (Entraînement Bout-en-Bout)

EOSTok entraîne les deux travailleurs en même temps.

La Boucle de Rétroaction : Si le Travailleur B (le conteur) fait une erreur, le signal d'erreur remonte tout le chemin jusqu'au Travailleur A. Le Travailleur A apprend : « Oh, je dois modifier légèrement mon code secret pour que le Travailleur B puisse prédire la partie suivante plus facilement. »
Le Résultat : Ils évoluent ensemble. Le Travailleur A apprend à créer un code qui n'est pas seulement une bonne compression, mais un code qui est facile à prédire.

La Sauce Secrète : Trois Astuces

Pour que cela fonctionne parfaitement, les auteurs ont ajouté trois ingrédients spéciaux :

1. La « Vérification des Pixels » (Perte APR)
Habituellement, l'ordinateur vérifie seulement si la prédiction du « prochain token » est correcte. Mais parfois, l'ordinateur devient très bon pour deviner les tokens mais produit une image floue et moche au final.

La Correction : Le système prend la devinette de l'ordinateur du prochain token, la retransforme en image, et vérifie si cette image ressemble à la vraie. Cela force l'ordinateur à se soucier de la qualité finale de l'image, et pas seulement du jeu de devinette des tokens.

2. Le « Professeur Intelligents » (Modèles Fondation de Vision)
Les auteurs ont fait appel à un « Professeur Intelligent » (une IA pré-entraînée qui sait déjà à quoi ressemblent les objets).

Le Piège : Si vous forcez la liste 1D à ressembler exactement à la carte 2D du Professeur, vous perdez l'avantage de la liste 1D (elle redevient une grille).
La Correction : Ils ont utilisé une méthode appelée « Alignement Implicite ». Au lieu de forcer la liste 1D à copier la carte du Professeur, ils ont simplement veillé à ce que la compréhension cachée à l'intérieur du système corresponde aux connaissances du Professeur. C'est comme permettre à un élève d'apprendre les concepts d'un professeur sans le forcer à copier son écriture. Cela maintient le flux 1D fluide mais rend le contenu beaucoup plus intelligent.

3. L'Équilibre du « Dictionnaire »
Le système utilise un dictionnaire (codebook) de tokens visuels.

Si le dictionnaire est trop petit, les images paraissent blocs.
Si le dictionnaire est trop énorme, l'ordinateur se confond en essayant de choisir le bon mot.
Les auteurs ont découvert qu'en rendant l'ordinateur plus grand (plus puissant), il pouvait gérer un dictionnaire plus vaste sans se confondre, résolvant ainsi le compromis entre le détail et la prévisibilité.

Les Résultats

L'article affirme que cette nouvelle méthode est un immense succès.

Sur un test standard (ImageNet 256x256), leur modèle a obtenu un score de 1,48 (plus bas est mieux).
C'est un résultat State-of-the-Art (de l'état de l'art), ce qui signifie qu'il est actuellement le meilleur au monde pour ce type spécifique de génération d'images sans utiliser de techniques de guidage supplémentaires.
Le modèle fonctionne mieux à mesure qu'il grandit (mise à l'échelle), prouvant que le système est robuste.

En résumé : EOSTok est une nouvelle façon d'enseigner aux ordinateurs à dessiner en faisant apprendre ensemble le « compresseur » et le « prédicteur », en vérifiant leur travail contre les vrais pixels, et en utilisant un professeur intelligent pour les guider sans les forcer dans une grille rigide. Le résultat est un ordinateur capable de générer des images incroyablement réalistes en prédisant simplement la prochaine pièce d'un puzzle.

1. Énoncé du problème

La génération d'images autorégressive (AR) est apparue comme une alternative puissante aux modèles de diffusion, reposant sur des tokens visuels discrets pour compresser les images en représentations latentes. Cependant, les approches existantes font face à deux défis principaux :

Désalignement spatial : La plupart des tokeniseurs d'images utilisent des structures de grille 2D (préservant la disposition spatiale). Cela induit des dépendances bidirectionnelles entre les tokens, ce qui entre en conflit avec la factorisation unidirectionnelle requise par la modélisation AR standard en ordre raster.
Paradigmes d'entraînement sous-optimaux : Les méthodes actuelles emploient généralement une stratégie d'entraînement en deux étapes : d'abord l'entraînement d'un tokeniseur pour la reconstruction (figé), puis l'entraînement d'un modèle AR sur les tokens résultants. Cela empêche le tokeniseur de s'adapter aux besoins spécifiques de la tâche générative.
Écart de fonction de perte : La perte de prédiction du token suivant (NTP) utilisée dans les modèles AR opère dans l'espace des tokens discrets et ne corrèle pas directement avec la qualité finale de la génération dans l'espace des pixels. L'optimisation uniquement pour le NTP peut entraîner un "effondrement de l'espace latent", où le tokeniseur n'utilise que quelques tokens pour minimiser la perte de prédiction, dégradant ainsi la fidélité de l'image.

2. Méthodologie : EOSTok

Les auteurs proposent EOSTok (Tokeniseur Sémantique Unidimensionnel de bout en bout), un cadre qui optimise conjointement un tokeniseur de vision 1D et un modèle génératif AR dans un pipeline en une seule étape.

A. Tokeniseur Vision Transformer 1D

Architecture : Basée sur une structure d'autoencodeur ViT (similaire à TiTok).
Processus : Des patches d'images 2D sont aplatis et concaténés avec des tokens de requête apprenables. Un encodeur ViT causal traite cette séquence, ne produisant que les tokens latents 1D (en rejetant les embeddings de patches spatiaux).
Quantification : Utilise IBQ (Improved Bottleneck Quantization) pour mapper les vecteurs latents continus vers un codebook discret, permettant la modélisation AR.
Décodeur : Un décodeur ViT 1D reconstruit les images en concaténant les tokens quantifiés avec des tokens de masque apprenables.

B. Entraînement conjoint de bout en bout

Au lieu de figer le tokeniseur, l'encodeur, le décodeur et le modèle AR sont entraînés simultanément. La fonction de perte totale combine :

Perte de reconstruction ( $L_{recon}$ ) : Pertes VQ-VAE standards (L1/L2, Perceptuelle, GAN) pour assurer la fidélité de l'image.
Perte de prédiction du token suivant ( $L_{NTP}$ ) : Perte d'entropie croisée standard pour le modèle AR.
Perte de reconstruction par prédiction autorégressive (APR) ( $L_{APR}$ ) :
- L'innovation : Pour combler l'écart entre la prédiction de tokens et la qualité des pixels, les tokens prédits par le modèle AR (en mode teacher-forcing) sont décodés de nouveau dans l'espace des pixels par le décodeur du tokeniseur.
- Mécanisme : La perte compare ces pixels décodés à l'image de vérité terrain.
- Effet : Cela fournit une supervision générative de bout en bout au tokeniseur, l'empêchant de "pirater" la perte NTP en effondrant l'espace latent (en utilisant trop peu de tokens).

C. Alignement de la représentation sémantique (VFM)

Pour injecter des informations sémantiques globales sans imposer de priors spatiaux 2D (ce qui nuirait aux performances AR), les auteurs proposent un Alignement implicite :

Alignement direct (Rejeté) : Aligner directement les tokens latents 1D aux caractéristiques VFM 2D impose une structure 2D sur l'espace 1D, dégradant les performances.
Substitution directe (Rejetée) : Remplacer les patches d'images par des caractéristiques VFM comme entrée.
Alignement implicite (Proposé) : Aligner les embeddings de patches cachés de l'encodeur 1D (avant l'extraction des tokens de requête) avec les caractéristiques VFM (par exemple, issues de DINOv2). Cela distille la connaissance sémantique dans l'espace latent séquentiel sans imposer de contraintes spatiales 2D explicites.
Alignement du décodeur : Le décodeur est également aligné avec les caractéristiques VFM pour traiter la reconstruction comme une tâche de génération conditionnelle, aidant la convergence.

3. Contributions clés

Cadre d'entraînement de bout en bout : Un pipeline novateur en une seule étape qui optimise conjointement la reconstruction et la génération, permettant au tokeniseur d'apprendre des représentations spécifiquement adaptées à la modélisation AR.
Perte APR : Une fonction de perte critique qui décode les prédictions AR vers l'espace des pixels, assurant que le tokeniseur apprend un espace latent à la fois reconstructif et prédictible de manière générative, empêchant l'effondrement latent.
Alignement sémantique implicite : Une stratégie pour exploiter les Modèles de Fondation Visuels (VFMs) pour les tokeniseurs 1D, améliorant la qualité de génération sans réintroduire les biais spatiaux 2D qui entravent la modélisation AR.
Performances de pointe : Atteinte de résultats SOTA sur la génération ImageNet 256×256 sans guidance de classifieur.

4. Résultats expérimentaux

Le modèle a été évalué sur le benchmark ImageNet-1K 256×256.

Qualité de génération :
- EOSTok-H (644M paramètres) : Atteint un gFID de 1,48 (sans guidance) et un IS de 239,5. Il s'agit d'un nouveau record pour les modèles AR sans guidance, surpassant les modèles basés sur la diffusion comme REPA-XL/2 (gFID 1,42 avec guidance) et d'autres bases AR.
- EOSTok-L (312M paramètres) : Atteint un gFID de 1,74 sans guidance.
Qualité de reconstruction :
- EOSTok-L atteint un rFID de 0,73, démontrant des capacités de reconstruction haute fidélité.
Études d'ablation :
- Perte APR : Sans APR, l'utilisation du codebook chute drastiquement (de ~99 % à ~51 %), et le gFID se dégrade considérablement (8,01 contre 3,32).
- Alignement sémantique : L'alignement implicite améliore le gFID de 12,27 (base) à 3,32. L'alignement direct aggrave les performances, confirmant que les priors 2D sont préjudiciables à la modélisation AR 1D.
- Ordre de séquence : Les modèles entraînés avec une supervision de bout en bout montrent des performances nettement supérieures sur les séquences de tokens originales par rapport aux séquences inversées ou aléatoires, prouvant que l'espace latent est optimisé pour la prédiction causale.
- Mise à l'échelle : Les performances s'améliorent de manière cohérente avec la taille du modèle (S à H) et la taille du codebook, les modèles plus grands atténuant le compromis reconstruction-génération.

5. Importance

Ce papier modifie fondamentalement le paradigme de la génération d'images autorégressive :

Du deux étapes au une étape : Il démontre que l'entraînement conjoint du tokeniseur et du générateur produit des résultats supérieurs par rapport à l'approche traditionnelle de tokeniseur figé.
Faisabilité de la tokenisation 1D : Il prouve que les tokeniseurs 1D, lorsqu'ils sont correctement entraînés avec une guidance sémantique et un retour de bout en bout, peuvent surpasser les tokeniseurs basés sur des grilles 2D pour la génération AR en éliminant les conflits de dépendance spatiale.
Combler l'écart de perte : L'introduction de la perte APR résout le problème critique où l'optimisation au niveau des tokens ne se traduit pas par une qualité au niveau des pixels, un goulot d'étranglement courant dans la modélisation générative discrète.
Évolutivité : La méthode s'adapte efficacement, atteignant des résultats SOTA avec un modèle de 644M paramètres, suggérant une voie prometteuse pour mettre à l'échelle les modèles de vision AR vers des tailles plus importantes.