Résumé Technique : MUSE – Résolution du Désalignement des Variétés dans la Tokenisation Visuelle par Orthogonalité Topologique

1. Énoncé du Problème : Le Compromis à Somme Nulle

La tokenisation visuelle unifiée vise à combler le fossé entre la compréhension et la génération d'images au sein d'un même espace latent. Cependant, les approches existantes (par exemple, UniTok, TokenFlow, UniLIP) font face à un Désalignement des Variétés fondamental. L'article identifie un « Jeu à Somme Nulle » entre deux objectifs géométriques conflictuels :

• Invariance Sémantique ($\mathcal{M}_S$) : Nécessaire à la compréhension, cet objectif encourage l'espace latent à « effondrer » les variations inutiles (par exemple, l'arrière-plan, la texture) pour stabiliser les concepts.
• Équivariance Structurelle ($\mathcal{M}_T$) : Nécessaire à une génération haute fidélité, cet objectif exige que l'espace reste « déplié » pour préserver les dispositions spatiales, les poses et les détails haute fréquence.

Les méthodes actuelles tentent de satisfaire les deux via une optimisation conjointe naïve (sommes pondérées des pertes de pixels et sémantiques). Les auteurs soutiennent que cela induit une Interférence Destructive : les gradients de pixels déplient la variété pour le détail, tandis que les gradients sémantiques l'effondrent pour l'invariance. Cela se traduit par une Polarisation Perceptive, où les modèles produisent soit du bruit haute fréquence fragmenté (axé sur les pixels), soit des abstractions floues (axées sur la sémantique), échouant à capturer le « milieu manquant » de la cohérence structurelle.

2. Méthodologie : Orthogonalité Topologique

Les auteurs proposent MUSE (Unification des Variétés par Embedding Structurel), un cadre qui résout ce conflit non pas en équilibrant les pertes, mais en découplant physiquement les voies d'optimisation au sein d'une architecture Transformer.

Hypothèse Centrale : Orthogonalité des Gradients

MUSE repose sur l'Hypothèse d'Orthogonalité des Gradients, qui postule que les objectifs sémantiques et structurels résident naturellement dans des sous-espaces orthogonaux d'un bloc Transformer :

• Valeurs des Caractéristiques ($W_V$) : Hébergent naturellement le contenu sémantique.
• Topologie de l'Attention ($W_Q, W_K$) : Hébergent naturellement les relations structurelles et la géométrie.

L'optimisation standard force ces gradients dans des domaines partagés, causant une interférence. MUSE impose l'orthogonalité en acheminant les gradients vers leurs sous-espaces natifs, transformant l'interférence destructive en Renforcement Mutuel.

Architecture : Le Bloc Synergique

MUSE remplace les couches Transformer standard par des Blocs Synergiques qui bifurquent le traitement :

1. Flux Topologique : Calcule la matrice d'adjacence $A$ (carte d'attention) en utilisant $W_Q$ et $W_K$. Ce flux est optimisé exclusivement par des objectifs structurels pour définir comment les jetons sont liés (géométrie).
2. Flux Sémantique : Met à jour le contenu des caractéristiques en utilisant $W_V$ et les agrège via la carte structurelle fixe $A$. Ce flux est optimisé par des objectifs sémantiques pour définir ce que les jetons représentent (contenu).

Curriculum d'Entraînement

Le cadre emploie un protocole d'entraînement en trois étapes pour aligner progressivement les variétés :

• Étape 1 (Structure) : Alignement de la Topologie Structurelle. La topologie d'attention de l'encodeur est alignée avec un enseignant auto-supervisé (DINOv3) en utilisant une perte de divergence KL ($\mathcal{L}_{topo}$). Cela établit l'échafaudage géométrique ($\mathcal{M}_T$) sans interférence sémantique.
• Étape 2 (Sémantique) : Ancrage Sémantique Actif. Des concepts sémantiques sont injectés dans la topologie établie en utilisant l'Estimation par Contraste de Bruit (NCE) contre des embeddings de texte ($\mathcal{L}_{anchor}$). Cela ancre les valeurs de caractéristiques sur la variété sémantique ($\mathcal{M}_S$) sans perturber la topologie.
• Étape 3 (Synergie) : Réglage Synergique. Le modèle de base est dégelé pour un entraînement de bout en bout avec une perte de reconstruction de pixels. L'isolation structurelle garantit que les gradients de reconstruction affinent la topologie tandis que les gradients sémantiques affinent les valeurs, empêchant la dégradation mutuelle.

3. Contributions Clés

1. Identification du Désalignement des Variétés : L'article attribue l'échec des tokeniseurs unifiés au conflit géométrique entre l'« effondrement » pour la sémantique et le « dépliage » pour la structure, conduisant à des compromis à somme nulle.
2. Cadre d'Orthogonalité Topologique : MUSE introduit un mécanisme architectural novateur qui découple l'optimisation en ancrant la sémantique dans les valeurs de caractéristiques et la structure dans la topologie d'attention. Cela élimine physiquement l'interférence des gradients.
3. Renforcement Mutuel : Contrairement aux méthodes précédentes qui sacrifient les performances, MUSE démontre qu'une reconstruction alignée structurellement peut affiner activement la perception sémantique.

4. Résultats Expérimentaux

Des expériences approfondies sur ImageNet-1K et ADE20K valident l'approche :

• Briser le Compromis : MUSE atteint une nouvelle frontière de Pareto. Il égale la qualité de génération spécialisée (gFID 3,08) tout en surpassant significativement les bases unifiées en compréhension (Sonde Linéaire 85,2 %).
• Dépasser l'Enseignant : De manière unique, MUSE surpasse son propre modèle enseignant (InternViT-300M) dans le sondage linéaire (85,2 % contre 82,5 %), prouvant que le processus d'alignement structurel affine plutôt qu'il ne dilue les caractéristiques sémantiques.
• Modèles Multimodaux Unifiés (UMM) : Lorsqu'il est intégré dans des UMM (par exemple, MUSE-3B), le modèle surpasse les modèles spécialisés en contrôle spatial (GenEval-Position 0,89) et en cohérence de l'édition, tout en maintenant une compréhension robuste (MMVP 74,8).
• Études d'Ablation : La suppression de l'alignement de la topologie structurelle conduit à une « cécité sémantique » et à un effondrement structurel. Le découplage physique dans MUSE atteint des performances comparables à une borne supérieure « Deux Flux » (encodeurs séparés) avec une surcharge de paramètres négligeable (1,03x contre 2,0x).

5. Signification et Revendications

L'article revendique que le Désalignement des Variétés est la cause racine du fossé perception-génération dans les modèles unifiés. En traitant la Structure comme un pont orthogonal, MUSE résout le jeu à somme nulle, permettant à un seul tokeniseur d'atteindre simultanément une reconstruction haute fidélité et une compréhension sémantique robuste.

Les auteurs soulignent que leur approche ne se contente pas d'équilibrer des objectifs conflictuels mais les découple en sous-espaces non interférents. Cela permet un Renforcement Mutuel, où les contraintes structurelles de la génération améliorent activement la compréhension sémantique, et où l'ancrage sémantique améliore la cohérence de la génération. Le travail suggère que le découplage architectural est une voie plus efficace vers une unification efficace de Pareto que la simple régularisation de perte ou les architectures multi-flux.