Résumé Technique : Décodage Spéculatif Continu pour la Génération d'Images Autorégressive

Énoncé du Problème

Les modèles autorégressifs (AR) visuels continus sont apparus comme une alternative prometteuse aux approches basées sur des jetons discrets, offrant une meilleure qualité de reconstruction et évitant l'instabilité associée à la quantification vectorielle. Cependant, comme leurs homologues discrets et les grands modèles de langage (LLM), ces modèles AR visuels continus souffrent d'une vitesse d'inférence intrinsèquement lente en raison de leur nature de décodage séquentiel.

Bien que le décodage spéculatif ait réussi à accélérer les modèles AR visuels discrets et les LLM en employant un mécanisme de « rédaction et vérification » (draft-and-verify), son application directe aux distributions continues se heurte à deux barrières théoriques et pratiques fondamentales :

1. Faible Taux d'Acceptation : Dans les domaines continus, le modèle de rédaction (draft) et le modèle cible (target) apprennent souvent des distributions de données divergentes. Par conséquent, les échantillons générés par le modèle de rédaction tombent fréquemment en dehors des régions de haute probabilité du modèle cible. Cela conduit à des ratios de probabilité extrêmement faibles et, par conséquent, à des taux d'acceptation proches de zéro, rendant l'accélération inefficace.
2. Distribution Modifiée Non Analytique : Dans le décodage spéculatif, si un jeton de rédaction est rejeté, un nouveau jeton doit être rééchantillonné à partir d'une « distribution modifiée » définie par la différence normalisée entre les distributions cible et de rédaction ($p(x) - q(x)$). Dans les espaces discrets, la constante de normalisation est une simple somme. Dans les espaces continus, cela nécessite une intégrale complexe sur l'espace entier, ce qui ne possède pas d'expression analytique, rendant l'échantillonnage direct intraitable.

Méthodologie

Le papier propose le Décodage Spéculatif Continu, un cadre conçu pour surmonter ces défis spécifiques dans les modèles AR visuels continus. L'approche intègre trois stratégies synergiques :

1. Critère d'Acceptation Approché et Alignement de Trajectoire

Pour traiter le faible taux d'acceptation causé par l'incohérence des distributions, les auteurs introduisent une approximation pratique et une stratégie d'alignement novatrice :

• Critère Approché : Au lieu de calculer le ratio des probabilités conjointes sur l'ensemble de la trajectoire de débruitage (ce qui est coûteux en calcul et sujet à la divergence), la méthode calcule le ratio des probabilités conjointes $p(Y_p)/q(Y_q)$ où les trajectoires de rédaction et cible partagent la même variable latente initiale $x_0$.
• Alignement de la Trajectoire de Débruitage : Pour minimiser la divergence entre les sorties du modèle de rédaction et du modèle cible, les auteurs proposent d'aligner leurs trajectoires de débruitage. En se basant sur le théorème de Proximité de Reparamétrisation (Reparameterization Proximity), le fait de définir le même vecteur de bruit $\epsilon_t$ pour les modèles de rédaction et cible lors de l'étape de reparamétrisation ($x_{t-1} = \mu_\theta(x_t, t) + \Sigma_\theta(x_t, t)\epsilon_t$) réduit considérablement la distance attendue entre leurs sorties. Cet alignement garantit que la trajectoire du modèle de rédaction reste plus proche des régions de haute probabilité du modèle cible, augmentant ainsi le ratio d'acceptation.

2. Pré-remplissage de Jetons (Token Pre-filling)

Les auteurs observent que les taux d'acceptation sont particulièrement bas lors des premières étapes autorégressives en raison des incohérences des plongements de préfixe (prefix embeddings) entre les modèles de rédaction et cible. Pour atténuer cela, ils proposent le pré-remplissage de jetons, où une petite portion (par exemple 5 %) des jetons initiaux est générée par le modèle cible plutôt que par le modèle de rédaction. Cela garantit un préfixe cohérent, stabilisant le taux d'acceptation dans les premières étapes sans ajouter de latence d'inférence significative.

3. Échantillonnage par Acceptation-Rejet pour la Distribution Modifiée

Pour gérer la distribution modifiée non analytique ($p'(x)$), le papier emploie un schéma d'Échantillonnage par Acceptation-Rejet.

• Dérivation de la Borne Supérieure : Les auteurs dérivent une borne supérieure appropriée $M$ telle que $M \cdot p(Y) \geq p'(Y)$. En fixant $M = 1/Z$ (où $Z$ est la constante de normalisation intraitable), ils éliminent le besoin de calculer explicitement l'intégrale.
• Calcul Efficace du Seuil : Crucialement, le seuil de rejet $\alpha_s$ est dérivé de la même propriété d'alignement de trajectoire de débruitage. Cela permet de calculer le seuil en utilisant uniquement les distributions gaussiennes définies par les paramètres des modèles, évitant ainsi les inférences répétitives et coûteuses des modèles de diffusion qui seraient autrement nécessaires pour échantillonner à partir de la distribution modifiée.

Principales Contributions

Le papier revendique les contributions suivantes :

• Premier Décodage Spéculatif Continu : C'est le premier travail qui comble le fossé du décodage spéculatif vers les distributions continues, permettant une accélération substantielle pour les modèles AR visuels continus.
• Solutions pour les Faibles Taux d'Acceptation : Il traite le problème du faible taux d'acceptation grâce à un critère approché novateur, l'alignement de la trajectoire de débruitage (basé sur la proximité de reparamétrisation) et le pré-remplissage de jetons.
• Rééchantillonnage Traitable : Il permet l'échantillonnage de la distribution modifiée via un schéma d'échantillonnage par acceptation-rejet adapté avec une borne supérieure appropriée, évitant les intégrales complexes.
• Intégration Plug-and-Play : La méthode est validée sur trois modèles AR visuels continus existants (MAR, xAR et Harmon) sans nécessiter d'entraînement supplémentaire ou de changement architectural.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur les jeux de données ImageNet (résolutions 256×256 et 512×512) et MSCOCO/MJHQ en utilisant les modèles MAR, xAR et Harmon.

• Accélération (Speedup) : L'approche atteint une accélération en temps réel (wall-time) de plus de 2× sur divers modèles et résolutions. Les résultats spécifiques incluent :
  • MAR : Jusqu'à 2,33× d'accélération.
  • xAR : Jusqu'à 2,72× d'accélération.
  • Harmon : Jusqu'à 2,54× d'accélération.
• Préservation de la Qualité : Les métriques quantitatives (FID, Inception Score, CLIPScore, Geneval) démontrent que la génération accélérée maintient une qualité d'image comparable aux modèles cibles originaux. L'écart-type dans les métriques reste faible, indiquant une grande stabilité.
• Études d'Ablation :
  • Alignement de Trajectoire : Réduit la distance moyenne entre les jetons de rédaction et de cible de >2,0 à ~1,0, augmentant les taux d'acceptation de ~7 % à >30 %.
  • Pré-remplissage : Un ratio de pré-remplissage de 5 % s'est avéré optimal, améliorant considérablement les taux d'acceptation au stade initial et réduisant les artefacts visuels par rapport à un pré-remplissage de 0 %.

Signification et Revendications

Le papier positionne ce travail comme une évolution nécessaire pour accélérer la génération d'images autorégressive. Bien que le décodage spéculatif ait réussi dans les domaines discrets, l'absence d'une théorie analogue pour les distributions continues a entravé l'efficacité des modèles AR continus. En résolvant les défis théoriques de l'incohérence des distributions et des intégrales non analytiques, ce travail permet le déploiement pratique de modèles AR continus plus rapides. Les auteurs affirment que leur méthode offre une stratégie d'accélération robuste et sans perte (en termes de distribution) qui peut être intégrée de manière transparente dans les architectures existantes, offrant une voie vers une inférence plus efficace en vision et potentiellement dans d'autres domaines utilisant des processus autorégressifs continus.