🤖 AI

Parallel Rollout Approximation for Pixel-Space Autoregressive Image Generation

Cet article introduit le Parallel Rollout Approximation (PRA), un cadre évolutif qui comble l'écart entre l'entraînement et l'inférence dans la génération d'images autorégressives en espace de pixels en générant des états intermédiaires de faible dimension pour approximer les conditions lors de l'inférence, atteignant ainsi des scores FID de pointe sur ImageNet-1K avec nettement moins de paramètres que les modèles précédents à l'échelle du milliard.

Auteurs originaux : Jiayi Xu, Di He, Guolin Ke

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiayi Xu, Di He, Guolin Ke

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à peindre un chef-d'œuvre, un minuscule carré de couleur à la fois. C'est ce que fait la Génération d'Images Auto-régressive (AR) dans l'Espace des Pixels. Au lieu d'utiliser des « tampons » ou des « codes » pré-établis pour construire une image, le robot regarde les pixels bruts (les couleurs réelles) et essaie de prédire le carré suivant en se basant sur ceux qu'il a déjà peints.

Le document présente une nouvelle méthode appelée Parallel Rollout Approximation (PRA) pour corriger deux problèmes majeurs qui font lutter ce robot.

Les deux grands problèmes

1. Le problème du « Travail de Force » (Côté Sortie)
Imaginez demander au robot de prédire le prochain carré de la peinture. Si ce carré est un petit point simple, c'est facile. Mais avec cette méthode, le robot doit prédire tout un bloc de l'image (un patch) contenant des centaines de valeurs de couleurs d'un seul coup. C'est comme demander à un étudiant d'écrire une dissertation entière en une seule inspiration.

Le résultat : Le robot commet de grosses erreurs à chaque étape car la tâche est trop difficile.

2. Le problème de « l'Entraînement vs la Performance » (Côté Entrée)
Pendant l'entraînement, l'enseignant (l'ordinateur) donne au robot les carrés précédents parfaits à regarder. C'est comme un étudiant passant un examen où l'enseignant lui murmure les bonnes réponses aux questions précédentes.

La réalité : Lorsque le robot peint réellement de son côté (inférence), il doit regarder ses propres prédictions précédentes, qui peuvent être légèrement erronées.
Le résultat : Comme le robot s'est entraîné sur des données parfaites mais performe sur des données imparfaites, ses petites erreurs s'accumulent. Une mauvaise couleur entraîne une mauvaise prédiction pour le carré suivant, ce qui entraîne une mauvaise prédiction pour le suivant, et ainsi de suite, ruinant toute la peinture.

La Solution : PRA (La méthode « Esquisse et Traduction »)

Les auteurs proposent la PRA, qui résout ces deux problèmes à la fois grâce à une astuce ingénieuse en deux étapes.

Étape 1 : L'« Esquisse » (Résoudre le Travail de Force)
Au lieu de demander au robot de prédire directement le patch de couleur complet en haute définition, la PRA lui demande de dessiner d'abord une petite esquisse simple (un état intermédiaire de faible dimension).

Analogie : Au lieu de demander au robot de peindre un visage détaillé, demandez-lui de dessiner un simple bonhomme bâton.
La magie : Une fois que le robot a dessiné cette esquisse simple, un « traducteur » spécial (appelé Décodeur de Pixels) transforme instantanément cette esquisse en le patch de couleur complet et détaillé.
Pourquoi ça marche : Prédire une esquisse simple est beaucoup plus facile que de prédire une image complexe, donc le robot commet moins d'erreges à chaque étape.

Étape 2 : La « Répétition » (Résoudre l'écart entre Entraînement et Performance)
Pour corréter le décalage entre l'entraînement et la performance, la PRA modifie la façon dont le robot s'entraîne.

L'ancienne méthode : Le robot s'entraînait en regardant des images parfaites fournies par l'enseignant.
La méthode PRA : Pendant l'entraînement, le robot voit des images qui ont été « corrompues » par le même traducteur qu'il utilise lors de la performance réelle.
Analogie : Imaginez un musicien qui s'entraîne. Au lieu de jouer sur une scène parfaite et silencieuse, il s'entraîne en portant des casques à réduction de bruit qui jouent en retour ses propres notes légèrement fausses de la mesure précédente. Cela le force à apprendre comment se rétablir de ses propres erreurs en temps réel.
L'astuce « Parallèle » : Habituellement, pour simuler cela, il faudrait que le robot peigne toute l'image étape par étape pendant l'entraînement, ce qui est incroyablement lent. La PRA est intelligente : elle crée ces « images d'entraînement imparfaites » pour chaque étape en même temps (en parallèle). C'est comme avoir 100 acteurs répétant leurs répliques simultanément au lieu d'attendre qu'un acteur finisse avant que le suivant ne commence.

Les Résultats

Le document a testé cela sur un célèbre ensemble de données d'images (ImageNet).

Le gagnant : Leur nouveau modèle, PRA, a créé des images nettement plus nettes et plus réalistes que les méthodes précédentes qui essayaient de peindre directement avec des pixels.
L'échelle : Même une version plus petite de leur modèle (avec 135 millions de « cellules cérébrales ») a battu des modèles beaucoup plus grands, de l'ordre du milliard, d'autres chercheurs.
Bonus : Parce que le modèle a appris à comprendre si bien les pixels bruts, il est aussi devenu très bon pour reconnaître ce qui se trouve dans les images (classification), suggérant qu'il a acquis une compréhension profonde des images, et pas seulement une capacité à les copier.

Résumé

La PRA est comme donner un raccourci à un artiste : au lieu de lutter pour peindre chaque détail parfaitement en une seule fois, il dessine une esquisse rapide et laisse une machine remplir les détails. Ils s'entraînent aussi en regardant leurs propres esquisses imparfaites, afin de ne pas être confus lorsqu'ils doivent peindre seuls. Le résultat est une façon plus rapide, plus intelligente et plus précise pour les ordinateurs de générer des images à partir de rien.

Résumé Technique : Approximation de Rollout Parallèle pour la Génération d'Images Autorégressive en Espace Pixels

1. Énoncé du Problème

La génération d'images autorégressive (AR) en espace pixels vise à modéliser les images comme des séquences de patchs de pixels bruts sans dépendre d'une tokenisation discrète ou de tokeniseurs pré-entraînés séparément. Bien que conceptuellement simple, cette approche est confrontée à deux défis couplés qui ont historiquement limité ses performances par rapport aux modèles AR en espace latent ou aux modèles de diffusion :

Défi du Côté Sortie (Prédiction de Haute Dimension) : Prédire des patchs de pixels bruts de haute dimension (par exemple, des vecteurs de 768 dimensions pour des patchs de 16×16) en une seule étape AR est difficile, ce qui entraîne des erreurs de génération par étape très élevées.
Défi du Côté Entrée (Décalage Entraînement-Inférence) : L'entraînement standard par force professorale (teacher-forcing) conditionne le modèle sur des préfixes de vérité terrain propres. Cependant, lors de l'inférence, le modèle doit se conditionner sur ses propres patchs de pixels précédemment générés (et potentiellement erronés). Ce décalage provoque une accumulation et une propagation des erreurs à travers les étapes AR, un phénomène connu sous le nom de biais d'exposition (exposure bias).

Les stratégies de mitigation existantes, telles que la prédiction de $x$ (efficace dans les modèles de diffusion) ou l'injection de bruit en entrée, ne traitent que partiellement ces problèmes. Le way de rollout exact, qui exposerait le modèle à ses propres préfixes générés pendant l'entraînement, est informatiquement prohibitif pour l'AR à tokens continus car il nécessite un échantillonnage séquentiel pour chaque token.

2. Méthodologie : Approximation de Rollout Parallèle (PRA)

Les auteurs proposent la Parallel Rollout Approximation (PRA), un cadre évolutatif qui traite conjointement les défis de sortie et d'entrée tout en maintenant une interface « pixel entrant, pixel sortant ».

2.1 Côté Sortie : Cibles Intermédiaires de Bout en Bout

Pour réduire la difficulté de la génération en une seule étape, la PRA ne prédit pas directement des patchs de pixels de haute dimension. Au lieu de cela, elle génère des états intermédiaires de faible dimension ( $z_i \in \mathbb{R}^{d_z}$ , où $d_z \ll d$ ).

Construction de la Cible : Pendant l'entraînement, le token de pixel de vérité terrain $x_i$ et la représentation du préfixe causal $h_{i-1}$ sont projetés vers un état intermédiaire cible $z_i$ via un réseau de projection léger $g_\psi$ . Cette cible est sensible au contexte, intégrant des informations provenant du préfixe.
Décodage : Un décodeur de pixels causal $D_\phi$ projette l'état intermédiaire généré $\hat{z}_i$ (et les états précédents $\hat{z}_{<i}$ ) vers l'espace des pixels, produisant le token de sortie $\hat{x}_i$ .
Entraînement : Le modèle AR est entraîné pour prédire $z_i$ en utilisant une tête de diffusion au niveau du token (objectif de flux rectifié/ rectified-flow), tandis que le décodeur est entraîné pour reconstruire $x_i$ à partir de $z_i$ . Cela permet au backbone AR d'opérer dans un espace de dimension inférieure tout en maintenant l'interface externe dans l'espace des pixels.

2.2 Côté Entrée : Entrées Similaires à l'Inférence en Parallèle

Pour combler le fossé entraînement-inférence sans effectuer de rollout séquentiel, la PRA construit des entrées de pixels similaires à l'inférence en parallèle.

Mécanisme : Au lieu de s'entraîner sur des pixels de vérité terrain propres, la PRA perturbe les états intermédiaires cibles $z_i$ (en utilisant l'interpolation de flux rectifié) pour créer des états bruités $\tilde{z}_t$ . Ceux-ci sont passés à travers le même décodeur de pixels utilisé lors de l'inférence pour générer des tokens de pixels reconstruits $\bar{x}_i$ .
Parallélisme : Puisque chaque $\bar{x}_i$ est construit indépendamment de son état cible correspondant (plutôt que d'une trajectoire autorégressive séquentielle), ce processus reste entièrement parallélisable.
Boucle d'Entraînement : Le modèle AR est ensuite entraîné pour prédire la cible $z_i$ conditionnée par le préfixe de ces pixels reconstruits et « type inférence » $\bar{x}_{<i}$ . Cela approxime la structure d'erreur du rollout au moment de l'inférence tout en conservant l'efficacité de l'entraînement par force professorale.

3. Contributions Clés

Cadre Unifié : La PRA est le premier cadre évolutif qui traite conjointement les erreurs de sortie de haute dimension et le décalage entraînement-inférence dans la génération d'images en espace pixels sans nécessiter de tokeniseur pré-entraîné séparément.
Apprentissage d'États Intermédiaires : L'article introduit un espace cible intermédiaire appris de bout en bout, qui est optimisé spécifiquement pour le modèle AR causal, plutôt que de s'appuyer sur des espaces latents gelés issus de VAE.
Approximation de Rollout Parallèle : La méthode réussit à approximer les bénéfices de l'entraînement par rollout (exposer le modèle à des contextes générés) grâce à une construction parallèle et non séquentielle d'entrées de pixels décodées.
Interface Pixel-In, Pixel-Out : Contrairement aux modèles AR en espace latent, la PRA maintient une interface directe avec les patchs de pixels bruts, facilitant les applications potentielles de compréhension et de génération d'images unifiées.

4. Résultats Expérimentaux

Les auteurs ont évalué la PRA sur la génération conditionnelle de classe pour ImageNet-1K à une résolution de 256×256.

Performances de l'État de l'Art :
- PRA-S (135M paramètres) : A atteint un FID de 2,58, surpassant les précédents modèles AR en espace pixels de l'ordre du milliard de paramètres (ex: FARMER-1.9B avec un FID de 3,60).
- PRA-L (511M paramètres) : A atteint un FID de 1,94, établissant un nouvel état de l'art pour les modèles AR en espace pixels.
Études d'Ablation :
- Cibles Intermédiaires : Les cibles sensibles au contexte (incorporant la représentation du préfixe) ont surpassé les cibles locales uniquement ou les encodeurs LDM gelés. Une dimension intermédiaire $d_z=16$ a été jugée optimale.
- Construction d'Entrée : L'utilisation d'entrées de pixels décodées (PRA) a significativement surpassé l'entraînement sur des pixels de vérité terrain propres, des états intermédiaires de vérité terrain, ou une simple injection de bruit, confirmant la nécessité de faire correspondre la boucle de rétroaction de pixels de l'inférence.
Compréhension d'Images :
- Lors de l'application de sondage linéaire (linear probing) sur ImageNet, PRA-L a atteint 68,80 % de précision top-1, surpassant à la fois les bases de comparaison AR en espace latent (SphereAR-L : 52,19 %) et les bases de comparaison de diffusion en espace pixels (JiT-L : 42,76 %). Cela suggère que le modèle apprend des représentations visuelles transférables.

5. Signification et Revendications

L'article affirme que la PRA résout les goulots d'étranglement fondamentaux empêchant l'AR en espace pixels de rivaliser avec les modèles de diffusion et l'AR en espace latent. En réduisant la difficulté de génération en une seule étape via des états intermédiaires de faible dimension et en atténuant l'accumulation d'erreurs par l'approximation de rollout parallèle, la PRA permet une génération d'images de haute qualité directement à partir de pixels bruts.

Les auteurs soulignent que la nature « pixel-in, pixel-out » de la PRA, combinée à ses fortes performances en sondage linéaire, suggère un potentiel pour des modèles unifiés en espace pixels capables à la fois de génération d'images haute fidélité et d'une compréhension visuelle robuste, éliminant ainsi le besoin de tokeniseurs ou d'auto-encodeurs séparés.

Limites : Les auteurs notent que la PRA introduit des composants supplémentaires (encodeur d'état intermédiaire, décodeur de pixels et un passage AR parallèle supplémentaire durant l'entraînement). Bien que ceux-ci soient entraînés de bout en bout, des travaux futurs sont nécessaires pour valider le cadre sur des domaines de données et des tâches de génération plus larges.