Résumé technique : Maîtriser la falaise d'entropie par quantification à taille de codebook variable

1. Énoncé du problème : La falaise d'entropie

La génération visuelle autoregressive (AR) repose sur des tokeniseurs discrets qui mappent les images vers des séquences de tokens. La conception prédominante, la quantification à taille de codebook constante, attribue une taille de vocabulaire fixe $K$ (typiquement $K=16384$) à chaque position de la séquence de tokens.

Les auteurs identifient une limitation fondamentale de nature informationnelle dans cette conception, qualifiée de falaise d'entropie. Dans un ensemble d'entraînement de $N$ échantillons, la quantité totale d'information est bornée par $\log_2 N$ bits. Un codebook uniforme consomme $\log_2 K$ bits par position de token. Par conséquent, l'entropie conditionnelle $H(x_t | x_{<t})$ décroît rapidement à mesure que la séquence progresse. Une fois que l'information cumulative consommée dépasse le budget informationnel du jeu de données, la distribution conditionnelle devient déterministe.

Pour ImageNet ($N \approx 1,28 \times 10^6$) avec $K=16384$ ($\log_2 K = 14$ bits), l'intégralité du budget informationnel est épuisée au cours des 2 premiers tokens ($t^* \approx 2$). Pour les 254 positions restantes d'une séquence de 256 tokens, le modèle AR fait face à une mapping déterministe plutôt qu'à une tâche de génération probabiliste. Cela force le modèle à mémoriser l'ensemble d'entraînement plutôt qu'à apprendre à généraliser, entraînant des échecs de génération sur des préfixes non vus. Ce phénomène est unique aux tokeniseurs visuels ; les séquences de langage naturel maintiennent une entropie effective bien en deçà de la capacité du codebook en raison de contraintes syntaxiques et sémantiques, évitant ainsi de telles falaises.

2. Méthodologie : Quantification à taille de codebook variable (VCQ)

Pour remédier à la falaise d'entropie sans modifier la fonction de perte, le nombre de paramètres ou la procédure d'entraînement AR, les auteurs proposent la quantification à taille de codebook variable (VCQ).

Mécanisme central

Au lieu d'une $K$ fixe, la VCQ emploie une taille de codebook $K_t$ qui croît de manière monotone le long de la séquence, depuis un minimum $K_{min}$ jusqu'à un maximum $K_{max}$ :
$$K_t = K_{min} + (K_{max} - K_{min}) \cdot f\left(\frac{t}{L-1}\right)$$
où $f(\tau)$ est une fonction de planification (par exemple, Linéaire, Cosinus ou Puissance) contrôlant le taux de croissance.

• Positions précoces ($t \approx 0$) : $K_t$ est petit (par exemple, $K_{min}=2$). Cela impose un goulot d'étranglement informationnel sévère, forçant le modèle à encoder d'abord des informations sémantiques globales et grossières. Cela retarde l'apparition de la falaise d'entropie ($t^*$).
• Positions tardives ($t \to L$) : $K_t$ augmente jusqu'à $K_{max}$, fournissant une capacité suffisante pour modéliser des détails locaux fins et préserver la fidélité de reconstruction.

Détails d'implémentation

• Codebook partagé : La VCQ est implémentée en utilisant un seul codebook partagé de taille $K_{max}$. À la position $t$, le quantiseur sélectionne le plus proche voisin uniquement parmi les $K_t$ premières entrées. Cela introduit zéro paramètre supplémentaire.
• CFG conscient de la taille du codebook : Pour gérer le codebook non uniforme lors de l'inférence, les auteurs proposent une stratégie de guidage sans classifieur (CFG) modifiée. L'échelle de guidage $s_t$ est liée à la « capacité informationnelle excédentaire » à la position $t$ :
  $$s_t = s \cdot \frac{\log_2 K_t - \log_2 K_{min}}{\log_2 K_{max} - \log_2 K_{min}}$$
  Cela évite une sur-conditionnement aux positions précoces où le codebook est petit et la distribution concentrée.

3. Contributions clés

1. Formalisation théorique de la falaise d'entropie : L'article formalise la limite des codebooks uniformes, montrant que $t^* = \lceil \log_2 N / \log_2 K \rceil$. Il démontre que l'augmentation des données seule est insuffisante pour repousser $t^*$ significativement plus haut (par exemple, atteindre $t^*=5$ nécessiterait $\sim 7,2 \times 10^{16}$ images).
2. Innovation structurelle (VCQ) : Une modification simple et sans paramètre du tokeniseur qui redistribue la capacité de représentation sur toute la séquence, retardant la falaise d'entropie de $t^*=2$ à $t^* \approx 5$ sur ImageNet.
3. Hiérarchie sémantique émergente : Le goulot d'étranglement extrême à $K_{min}=2$ induit naturellement une structure sémantique allant du grossier au fin. Les premiers tokens deviennent hautement discriminatifs, encodant des sémantiques globales sans supervision sémantique explicite.
4. Résultats de l'état de l'art : Atteinte d'une qualité de génération compétitive en utilisant un entraînement AR standard (prédiction du token suivant) sans techniques auxiliaires telles que la régularisation sémantique, l'alignement causal ou des résidus hiérarchiques.

4. Résultats expérimentaux

Des expériences ont été menées sur la génération conditionnelle par classe ImageNet 256$\times$256.

• Qualité de génération (gFID) :
  • Modèle de base (115M paramètres AR) : La VCQ a réduit le gFID (sans CFG) de 27,98 (Baseline) à 14,80 (-47 %). Avec CFG, le gFID s'est amélioré de 6,43 à 4,79.
  • Modèle mis à l'échelle (684M paramètres AR) : En utilisant le grand tokeniseur et le modèle AR XL, la VCQ a atteint un gFID de 1,71 (avec CFG), compétitif avec les méthodes de l'état de l'art qui reposent sur des techniques d'entraînement auxiliaires complexes.
• Agrégation sémantique : Une sonde linéaire appliquée uniquement aux 10 premiers tokens (3,9 % de la séquence) a atteint une précision top-1 de 43,8 % sur ImageNet, contre 27,1 % pour les codebooks constants. Cela confirme que la VCQ concentre avec succès l'information sémantique au début de la séquence.
• Reconstruction : Bien que la VCQ entraîne un léger coût de reconstruction (rFID 2,77 contre 0,96 pour LlamaGen avec $K=16384$), le compromis est largement compensé par les gains massifs en qualité de génération.
• Ablations : L'amélioration est attribuée à la structure variable (retardant $t^*$) plutôt qu'à la simple réduction de la taille moyenne du codebook. Le « CFG conscient de la taille du codebook » améliore davantage l'inférence mais est orthogonal aux gains de modélisation fondamentaux.

5. Signification et affirmations

L'article affirme que le goulot d'étranglement dans la génération visuelle autoregressive n'est pas simplement la capacité totale du codebook, mais la manière dont cette capacité est distribuée.

• Efficacité structurelle : La VCQ démontre qu'un changement purement structurel du tokeniseur peut produire des améliorations massives de la qualité de génération sans augmenter la complexité du modèle ni nécessiter d'objectifs d'entraînement spécialisés.
• Insight informationnel : Ce travail met en lumière que les modèles visuels AR actuels sont souvent limités par la « falaise d'entropie » de leurs tokeniseurs, les amenant à mémoriser les données plutôt qu'à généraliser. La VCQ résout cela en alignant la capacité du codebook avec la décroissance naturelle de l'entropie conditionnelle dans les séquences visuelles.
• Orthogonalité : Les auteurs soulignent que la VCQ est orthogonale aux techniques d'entraînement existantes (par exemple, régularisation sémantique, alignement causal) et peut être combinée avec elles pour des gains supplémentaires.

L'article conclut qu'en retardant la falaise d'entropie et en induisant une hiérarchie naturelle allant du grossier au fin, la VCQ fournit une base plus efficace et plus performante pour la génération visuelle autoregressive.