Résumé Technique : Au-delà de la Dernière Couche : Fusion de Représentations Multi-Couches pour la Tokenisation Visuelle

1. Énoncé du Problème

Les tokeniseurs visuels les plus avancés actuels, en particulier ceux exploitant des Modèles Fondamentaux de Vision (VFMs) préentraînés et figés comme DINOv2 en tant que backbones, souffrent d'un goulot d'étranglement d'information monocouche critique. Les méthodes existantes extraient exclusivement des caractéristiques de la dernière couche de l'encodeur pour définir l'espace latent. Bien que ces caractéristiques de dernière couche soient optimisées pour la sémantique de haut niveau, elles éliminent systématiquement les détails visuels de bas niveau (textures, bords, gradients de couleur) par une abstraction sémantique progressive.

Une analyse récente indique que l'information de bas niveau ne survit dans la dernière couche que sous forme de résidus atténués via des connexions résiduelles passives, devenant de plus en plus perteuse à chaque couche successive. Par conséquent, les tokeniseurs monocouches éliminent les informations hiérarchiques riches distribuées à travers les couches intermédiaires, limitant à la fois la fidélité de reconstruction et la qualité de la génération en aval. De plus, il reste une question ouverte de savoir si l'augmentation de la « richesse de représentation » des tokeniseurs visuels suit une loi d'échelle prévisible analogue à l'échelle de la taille du vocabulaire dans les tokeniseurs de traitement du langage naturel (NLP).

2. Méthodologie : DRoRAE

Les auteurs proposent DRoRAE (Autoencodeur de Représentation Routé par Profondeur), un module de fusion léger conçu pour agréger les caractéristiques de toutes les couches de l'encodeur tout en maintenant la compatibilité avec les décodeurs figés et les modèles génératifs en aval.

Architecture Principale

DRoRAE insère un module de fusion entraînable entre le backbone VFM figé et le décodeur. Le processus implique trois mécanismes clés :

1. Experts par Couche : Chacune des $L$ couches de l'encodeur est associée à un réseau expert dédié (un MLP à deux couches). Ces experts projettent les caractéristiques de couches hétérogènes sur une échelle commune, normalisée par la normalisation de couche du backbone pour gérer les disparités de variance.
2. Routage Contraint par l'Énergie : Contrairement aux Mélanges d'Experts (MoE) standards qui utilisent une normalisation softmax, DRoRAE emploie un mécanisme de routage contraint par l'énergie. Un réseau routeur produit des poids par token sur toutes les couches. Crucialement, cette formulation permet des poids négatifs, permettant au routeur de supprimer activement les contributions de couches néfastes (débruitage) plutôt que de simplement sélectionner les gagnants. La sortie est normalisée par la norme $\ell_2$ du vecteur de poids pour borner l'énergie de sortie.
3. Correction Incrémentale : Au lieu de remplacer la sortie originale de la dernière couche ($z_{base}$) par la représentation fusionnée ($z_{fuse}$), DRoRAE formule la sortie comme une correction incrémentale :
   $$z_{final} = LN_{bb}(z_{base} + \beta \cdot (z_{fuse} - z_{base}))$$
   Ici, $\beta$ contrôle la force de fusion. Cette formulation résiduelle garantit que le latent fusionné reste ancré à la distribution originale, empêchant une dérive arbitraire qui pourrait rompre la compatibilité avec la génération en aval.

Stratégie d'Entraînement Découplée en Trois Phases

Pour relever le défi du déplacement de la distribution latente par rapport à ce qu'un décodeur figé attend, les auteurs proposent une stratégie d'entraînement progressive :

• Phase 1 (Entraînement du Décodeur) : Entraîner le décodeur sur la baseline RAE monocouche standard pour établir une forte « capacité de décodage » et définir la distribution cible.
• Phase 2 (Entraînement du Module de Fusion) : Geler le backbone et le décodeur de la Phase 1. Entraîner uniquement le module de fusion. Le décodeur figé agit comme une contrainte distributionnelle implicite, forçant le module de fusion à apprendre des informations complémentaires que le décodeur peut déjà inverser, empêchant ainsi la dérive de distribution.
• Phase 3 (Affinage du Décodeur) : Geler le module de fusion optimisé et dégeler le décodeur. Affiner le décodeur pour exploiter pleinement l'espace latent enrichi, maximisant la qualité de reconstruction sans nuire à la génération.

3. Contributions Clés

1. Identification du Goulot d'Étranglement : L'article identifie que les autoencodeurs de représentation existants éliminent l'information visuelle hiérarchique en s'appuyant uniquement sur la dernière couche de l'encodeur, où les détails de bas niveau ne sont que des résidus atténués.
2. Architecture DRoRAE : Un module de fusion routé par profondeur léger (~29M de paramètres) qui agrège de manière adaptative toutes les couches de l'encodeur via un routage contraint par l'énergie (permettant des poids négatifs) et une correction incrémentale.
3. Stratégie d'Entraînement : Un protocole d'entraînement découpé en trois phases qui assure la compatibilité de génération en apprenant la fusion sous la contrainte d'un décodeur figé avant de co-adapter le décodeur.
4. Découverte d'une Loi d'Échelle : L'article établit une loi d'échelle log-linéaire ($R^2=0.86$) entre la capacité de fusion (définie par la capacité des experts et le nombre de couches fusionnées) et la qualité de reconstruction. Cela identifie la « richesse de représentation » comme une nouvelle dimension prévisible et évolutivement scalable pour les tokeniseurs visuels, analogue à la taille du vocabulaire en NLP.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet-256 (256x256) pour la reconstruction et la génération conditionnée par la classe, et sur CC12M-LLaVA-Next pour la synthèse texte-à-image.

• Reconstruction : DRoRAE améliore significativement les métriques de reconstruction par rapport à la baseline RAE. Le rFID chute de 0,57 à 0,29, le PSNR augmente de 18,8 à 24,32 dB, et le LPIPS s'améliore de 0,256 à 0,134.
• Génération Conditionnée par la Classe : En utilisant un générateur DiTDH-XL avec AutoGuidance, DRoRAE améliore le FID de génération (gFID) de 1,74 à 1,65 tout en maintenant ou en améliorant légèrement le Score d'Inception (IS) et la Précision/Rappel.
• Synthèse Texte-à-Image : Les gains se transfèrent aux tâches texte-à-image, DRoRAE obtenant des scores GenEval comparables ou légèrement supérieurs (0,60 contre 0,56 pour RAE) sur les dimensions objet, comptage et spatiale.
• Études d'Ablation :
  • Routage Contraint par l'Énergie : Surpasse le routage softmax en permettant la suppression active des couches bruyantes.
  • Correction Incrémentale : Essentielle pour la compatibilité de génération ; sans elle, la reconstruction s'améliore légèrement, mais la perte d'entraînement de diffusion en aval augmente considérablement, indiquant un décalage de distribution.
  • Stratégie d'Entraînement : L'entraînement conjoint sans la contrainte de la Phase 2 échoue à atteindre la même qualité de génération, confirmant la nécessité de l'approche découpée.

5. Importance et Revendications

L'article revendique que DRoRAE démontre que la fusion multi-couches est une mise à niveau pratique et efficace pour les tokeniseurs basés sur la représentation, récupérant les détails haute fréquence perdus dans l'extraction monocouche.

Une importance majeure de ce travail est la découverte d'une loi d'échelle prévisible pour les tokeniseurs visuels. En montrant que l'augmentation du « budget de représentation » (via plus de couches fusionnées ou des capacités d'experts plus grandes) produit des améliorations log-linéaires de la qualité de reconstruction, les auteurs soutiennent que la richesse de représentation est une dimension évolutive comparable à la taille du vocabulaire en NLP. Cela suggère que les améliorations futures de la tokenisation visuelle peuvent être systématiquement exploitées en augmentant la capacité de fusion, plutôt que de compter uniquement sur des changements architecturaux ou des ensembles de données plus vastes.

Le travail conclut que, bien que les expériences actuelles utilisent DINOv2-B, la méthodologie est généralisable à des encodeurs plus grands et potentiellement à la tokenisation vidéo, positionnant la fusion multi-couches comme une direction fondamentale pour améliorer les systèmes de génération visuelle.