Résumé Technique : Décodage Spatiale Spéculatif (SSD)

1. Énoncé du Problème

Les modèles autorégressifs ont connu un succès significatif dans la génération visuelle en traitant les images comme des séquences 1D de jetons discrets, calquant ainsi le modèle de langage. Cependant, cette approche impose un compromis géométrique : elle aplatit la localité spatiale 2D intrinsèque des signaux visuels en une séquence linéaire de balayage par ligne (raster-scan).

Cet aplatissement crée un goulot d'étranglement computationnel sévère lors de l'inférence, souvent appelé le « mur de la mémoire » (memory wall). Générer une image de $n \times n$ nécessite $n^2$ passes avant (forward passes) séquentielles. Comme chaque passe doit recharger l'ensemble des paramètres du transformer pour prédire un seul jeton, le processus est fortement contraint par la bande passante de la mémoire plutôt que par la puissance de calcul.

Les techniques d'accélération existantes, telles que le décodage spéculatif standard et l'itération basée sur Jacobi, tentent d'importer des méthodes de traitement du langage naturel (NLP) dans la vision. Cependant, ces méthodes restent liées à l'hypothèse séquentielle 1D. Parce que les patchs visuels présentent une entropie locale élevée sans grammaire rigide, l'anticipation de plusieurs jetons le long d'un horizon 1D aplati produit des taux d'acceptation de brouillon faibles. Par conséquent, ces méthodes n'offrent que des accélérations modestes (1,8× à 3,7×) ou dégradent la qualité de l'image en imposant des hypothèses d'indépendance non naturelles.

2. Méthodologie : Décodage Spatiale Spéculatif (SSD)

Les auteurs proposent le Décodage Spatiale Spéculatif (SSD), un cadre qui aligne l'objectif prédictif avec la géométrie 2D naturelle des images. Au lieu de prédire uniquement le jeton suivant immédiat dans une séquence 1D, le SSD prédit simultanément le jeton horizontal adjacent et le jeton situé directement en dessous.

Mécanismes Fondamentaux

1. Anticipation Spatiale 2D :

   • Le SSD factorise l'anticipation 2D en deux flux de prédiction 1D orthogonaux : horizontal (le long du balayage par ligne) et vertical (le long des colonnes).
   • Le modèle utilise des têtes légères pour rédiger horizontalement une ligne entière, puis rédige les lignes suivantes verticalement en parallèle.
   • Cette approche exploite l'observation selon laquelle la dépendance d'un jeton vis-à-vis du jeton situé directement au-dessus de lui est aussi forte que sa dépendance vis-à-vis du jeton immédiatement à sa gauche, malgré l'écart important dans la séquence aplatie.
   • Réduction de la Complexité : En rédigeant des blocs spatiaux entiers en parallèle, le SSD réduit la complexité théorique de l'inférence de $O(n^2)$ à $O(n)$ pour une image $n \times n$.

2. Prédiction dans l'Espace Latent Continu :

   • Prédire directement des identifiants de jetons discrets est difficile en raison des distributions de probabilité plates sur de grands codebooks, ce qui conduit à de faibles taux d'acceptation (<5 %).
   • Le SSD prédit plutôt les caractéristiques latentes continues du dernier calque du transformer (spécifiquement, l'état caché avant la RMSNorm finale).
   • Un prédicteur léger $f_\phi$ prend l'état caché et l'embedding du jeton en entrée pour prédire l'état caché à un décalage spatial spécifique.
   • Les états cachés prédits sont ensuite décodés via les couches de sortie existantes du modèle de base pour obtenir des candidats de jetons.

3. Vérification comme Auto-Correction :

   • Contrairement au décodage spéculatif standard, qui rejette un bloc entier dès la première discordance, le SSD traite la vérification comme un mécanisme d'auto-correction.
   • Parce que les brouillons forment des blocs spatiaux cohérents, les légères discordances représentationnelles peuvent être résolues localement.
   • Les jetons rejetés ne sont pas simplement écartés ; au lieu de cela, le système échantillonne à partir d'une distribution résiduelle pour les réparer au sein de la même passe avant.
   • Ce processus est répété pour $r$ tours, où les positions rejetées sont mises à jour et le cache KV est annulé (rollback) pour réévaluation, ne nécessant que $r+1$ passes avant par bloc plutôt qu'une régénération séquentielle.

4. Modularité :

   • Le SSD est un module plug-and-play. Il ne nécessite aucune modification du backbone pré-entraîné.
   • Seules des têtes de rédaction légères sont entraînées via auto-distillation, maintenant l'overhead de FLOPs au minimum.

3. Contributions Clés

• Réalignement Géométrique : L'article démontre que le respect de la géométrie 2D sous-jacente de la vision débloque des efficacités computationnelles massives, dépassant l'« artefact de calcul coûteux » du décodage séquentiel 1D.
• Rédaction dans l'Espace Latent : L'introduction de la prédiction de caractéristiques latentes continues améliore considérablement la précision du brouillon par rapport à la prédiction de jetons discrets dans les domaines visuels.
• Vérification Auto-Correctrice : Une stratégie de vérification novatrice qui répare les jetons rejetés en parallèle plutôt que de les rejeter, préservant ainsi les bénéfices de la rédaction spatiale.
• Accélération Plug-and-Play : Un cadre qui accélère la génération sans réentraîner les modèles de backbone massifs, applicable à tout modèle autorégressif unifié produisant des jetons visuels discrets.

4. Résultats Expérimentaux

Les auteurs ont évalué le SSD sur trois modèles autorégressifs de pointe : Janus-Pro-7B, Lumina-mGPT-7B et Emu3-8B, en utilisant les benchmarks DPG-Bench et GenEval.

• Accélération : Le SSD atteint jusqu'à 13,3× d'accélération en temps réel (wall-clock) par rapport à l'inférence autorégressive standard.
  • Emu3-8B : 339s $\to$ 25,5s (13,27× d'accélération).
  • Lumina-mGPT-7B : 91,6s $\to$ 7,5s (12,19× d'accélération).
  • Janus-Pro-7B : 7,8s $\to$ 1,4s (5,74× d'accélération).
• Qualité : La méthode maintient une haute fidélité, les métriques de qualité de génération sur DPG-Bench et GenEval restant comparables aux modèles autorégressifs de base et surpassant nettement les bases 1D-MTP (qui souffraient d'une dégradation sévère de la qualité).
• Comparaison :
  • 1D-MTP : A obtenu environ 2,0–2,4× d'accélération mais a causé des chutes de qualité importantes (par exemple, le score global d'Emu3 est passé de 78,69 à 53,11).
  • SJD (basé sur Jacobi) : A préservé la qualité mais était limité à une accélération de 1,5–2,9×.
  • SSD : A obtenu l'accélération la plus élevée tout en préservant la qualité.

5. Signification et Revendications

L'article affirme que l'inefficacité de la génération visuelle autorégressive actuelle n'est pas une limitation inhérente aux modèles, mais le résultat de l'hypothèse séquentielle 1D héritée du traitement du langage. En abandonnant cette hypothèse et en alignant le processus de décodage avec la géométrie 2D intrinsèque des images, le SSD surmonte le mur de la mémoire.

Les auteurs soutiennent que ce changement géométrique ouvre la voie à des modèles génératifs autorégressifs haute résolution en temps réel. Les résultats suggèrent que le respect de la localité visuelle permet des économies de calcul massives sans compromettre l'unification de la vision et du langage dans un seul backbone. La méthode est présentée comme une solution générale qui peut être appliquée aux modèles unifiés existants pour les rendre compétitifs en termes de vitesse d'inférence.