💻 computer science

Representation Forcing for Bottleneck-Free Unified Multimodal Models

Cet article introduit le Forçage de Représentation (RF), une technique qui permet aux modèles multimodaux unifiés sans goulot d'étranglement de prédire nativement des représentations visuelles en tant que jetons intermédiaires pour guider la diffusion de pixels, éliminant ainsi le besoin de VAE externes tout en atteignant des performances de pointe tant dans la génération que dans la compréhension d'images.

Auteurs originaux : Yuqing Wang, Zhijie Lin, Ceyuan Yang, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Zihan Ding, Fuyun Wang, Shuai Wang, Youliang Zhang, Haoqi Fan, Xihui Liu

Publié 2026-06-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuqing Wang, Zhijie Lin, Ceyuan Yang, Yang Zhao, Fei Xiao, Hao He, Qi Zhao, Zihan Ding, Fuyun Wang, Shuai Wang, Youliang Zhang, Haoqi Fan, Xihui Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à faire deux choses à la fois : regarder une image et la décrire (compréhension), et écouter une description et dessiner une image (génération).

Pendant longtemps, les meilleurs robots effectuant cette tâche présentaient un défaut majeur. Ils utilisaient un dispositif de « traduction » (appelé VAE) pour les aider à dessiner.

Comment cela fonctionnait : Quand le robot voulait dessiner, il compressait d'abord l'idée en un résumé abstrait minuscule (comme un fichier compressé), dessinait à partir de ce résumé, puis utilisait un décodeur distinct pour « décompresser » l'idée en une véritable image.
Le Problème : Ce « traducteur » était entraîné séparément et restait figé en place. C'était comme essayer d'écrire un roman en utilisant un dictionnaire écrit par quelqu'un d'autre et que l'on ne pouvait pas modifier. Cela créait un goulot d'étranglement, limitant la qualité des dessins du robot car celui-ci ne pouvait pas apprendre l'ensemble du processus depuis le début.

Certains chercheurs ont tenté de supprimer ce traducteur pour laisser le robot dessiner directement à partir de pixels bruts (les points réels de l'image). Mais cela a échoué. Sans le traducteur, le robot s'embrouillait. Il ne parvenait pas à saisir la vue d'ensemble (comme « un chat assis sur un tapis ») tout en essayant de gérer les détails minuscules (comme la texture de la fourrure) en même temps. Les dessins étaient désordonnés et manquaient de structure.

La Solution : Le « Forçage de Représentation » (Representation Forcing)

Cette publication introduit une astuce ingénieuse appelée Forçage de Représentation (RF). Considérez cela comme l'apprentissage pour le robot à réfléchir avant de parler.

Voici l'analogie :
Imaginez un architecte (le robot) qui doit construire une maison en se basant sur la description d'un client.

L'Ancienne Méthode (VAE) : L'architecte devait utiliser un système de plans pré-établis et rigides qu'il ne pouvait pas modifier. Si le système ne correspondait pas à la demande étrange du client, la maison était ratée.
La Méthode Échouée (Pixels Naïfs) : L'architecte a essayé de construire la maison en posant les briques une par une immédiatement, sans plan. Les murs s'effondraient sans cesse car ils n'avaient pas de guide structurel.
La Nouvelle Méthode (Forçage de Représentation) : L'architecte est maintenant contraint de dessiner un croquis rapide d'abord.
- D'abord, l'architecte regarde les mots du client et dessine un simple croquis de bonhomme pour la maison (ceci est la « Représentation »). Ce croquis capture la structure : où vont les murs, où sont les fenêtres.
- Crucialement, ce croquis est dessiné par le même cerveau qui comprend les mots du client.
- Ensuite, l'architecte utilise ce croquis comme guide pour poser les briques réelles (les pixels). Le croquis reste là, dans l'esprit de l'architecte (le « contexte »), pour garantir que la maison finale ressemble exactement au plan.

Comment cela fonctionne dans l'article

Les chercheurs ont construit un modèle unique qui réalise trois tâches à la suite :

Comprend : Il regarde une image et en extrait une « structure de haut niveau » (comme les formes des objets et la disposition).
Prédit : Lorsqu'on lui demande de dessiner, il prédit d'abord cette même « structure de haut niveau » sous la forme d'une série de jetons (tokens, comme un code secret), tout comme il prédit le mot suivant dans une phrase.
Génère : Il utilise cette structure prédite comme guide pour remplir les pixels réels de l'image.

Parce que le modèle apprend à prédire la structure lui-même (plutôt que de compter sur un outil externe), la partie « compréhension » et la partie « dessin » deviennent les meilleurs amis du monde. Ils partagent le même langage.

Les Résultats

L'article affirme que ce changement simple résout les problèmes :

Meilleur Dessin : Le robot peut désormais dessiner directement à partir de pixels bruts (sans le traducteur externe) et produit des images aussi bonnes que celles utilisant l'ancienne méthode du traducteur.
Meilleure Compréhension : Parce que le robot apprend à générer son propre plan structurel, il devient également meilleur pour comprendre les images. C'est comme si pratiquer la rédaction d'une dissertation aidait à mieux comprendre la lecture d'une telle.
Plus de Goulots d'Étranglement : Le robot est désormais un système véritablement « de bout en bout ». Il n'a plus besoin d'outils pré-entraînés et figés pour l'aider à dessiner. Il apprend tout depuis le début au sein de son propre cerveau.

En résumé, le Forçage de Représentation force l'IA à créer son propre « plan » interne avant de commencer à peindre, garantissant que l'image finale possède une structure solide, tout en rendant l'IA plus intelligente dans sa compréhension de ce qu'elle voit.

Résumé Technique : Forçage de Représentation pour les Modèles Multimodaux Unifiés sans Goulot d'Étranglement

1. Énoncé du Problème

Les Modèles Multimodaux Unifiés (UMM) visent à intégrer la perception (sortie textuelle) et la génération (sortie de pixels) au sein d'un seul backbone Transformer. Cependant, les UMM de pointe actuels reposent sur un goulot d'étranglement structurel : ils utilisent un Autoencodeur Variationnel (VAE) pré-entraîné et gelé pour la génération d'images. Dans ce paradigme, les images sont compressées dans des espaces latents avant la diffusion et récupérées via un décodeur fixe.

Cette dépendance crée deux problèmes principaux :

Incompatibilité d'Optimisation : L'espace latent est optimisé pour la reconstruction plutôt que pour les objectifs spécifiques du modèle unifié.
Plafond de Qualité : La compression avec perte du VAE impose une limite supérieure stricte sur la qualité de génération que l'entraînement ultérieur de l'UMM ne peut surmonter.

Une alternative naïve consiste à générer directement dans l'espace des pixels. Bien que réalisable pour des modèles autonomes, l'application de cette méthode aux UMM entraîne un écart de qualité significatif. Sans le guidage structurel fourni par un espace latent, le modèle peine à apprendre simultanément la structure sémantique de haut niveau (identité des objets, disposition) et les détails de bas niveau (textures) à partir de pixels bruts.

2. Méthodologie : Le Forçage de Représentation (RF)

Le papier propose le Forçage de Représentation (RF), une technique qui élimine le besoin de VAE externes en faisant de la prédiction de représentation une capacité native du modèle. La philosophie centrale est d'ancrer les représentations visuelles de haut niveau dans le décodeur lui-même, en les utilisant comme jetons intermédiaires pour guider la génération de pixels.

2.1 Mécanisme Central

Le RF opère en forçant le décodeur à prédire de manière autorégressive les représentations visuelles avant de générer les pixels. Ces représentations agissent comme un échafaudage structurel explicite entre les prompts textuels et les sorties de pixels.

Source des Représentations : Au lieu d'un espace latent externe, le RF utilise les caractéristiques de l'encodeur de compréhension propre au modèle (qui est entraîné conjointement). Ces caractéristiques capturent la structure de haut niveau telle que l'identité des objets et la disposition spatiale.
Discrétisation : Pour rendre ces caractéristiques prévisibles sous un objectif de prédiction du prochain jeton (compatible avec la modélisation du langage), les caractéristiques continues de l'encodeur sont discrétisées en une séquence de jetons de représentation visuelle via une quantification vectorielle en ligne.
- Une copie par Moyenne Mobile Exponentielle (EMA) de l'encodeur fournit des cibles stables.
- Les caractéristiques sont quantifiées par rapport à un codebook apprenable de prototypes.
- Ce processus produit un jeton par patch spatial, préservant ainsi la disposition de l'image.

2.2 Architecture et Entraînement

Le modèle suit une architecture de Mélange de Transformers (MoT) (basée sur BAGEL), où tous les jetons partagent des couches d'auto-attention mais sont routés vers des experts de type feed-forward spécifiques à la modalité.

Séquence Unifiée : Le modèle traite une séquence unifiée : [Jetons de Texte] → [Jetons de Représentation] → [Patches de Pixels].
Motifs d'Attention :
- Les jetons de texte et de représentation suivent une attention causale (autorégressive).
- Les patches de pixels suivent une attention bidirectionnelle entre eux, mais sont en causalité vis-à-vis des jetons de texte et de représentation précédents.
Objectif d'Entraînement : Le modèle est entraîné de bout en bout avec une perte combinée :
$\mathcal{L} = \mathcal{L}_{LM} + \mathcal{L}_{Rep} + \mathcal{L}_{FM}$
- $\mathcal{L}_{LM}$ : Entropie croisée pour la prédiction du prochain jeton de texte.
- $\mathcal{L}_{Rep}$ : Entropie croisée pour la prédiction du jeton de représentation (prédiction des caractéristiques discrétisées de l'encodeur).
- $\mathcal{L}_{FM}$ : Perte de Flow-matching pour la génération de pixels (utilisant la prédiction de $x$ avec une perte de vélocité).
Inférence : Le processus se déroule en deux étapes. D'abord, le décodeur prédit de manière autorégressive la séquence complète des jetons de représentation à partir du prompt textuel. Ensuite, conditionné par le texte et les jetons de représentation prédits, le décodeur effectue un débruitage itératif pour synthétiser l'image directement dans l'espace des pixels.

3. Contributions Clés

Proposition du Forçage de Représentation (RF) : Une méthode qui comble l'écart de qualité des UMM en espace de pixels en entraîant le décodeur à prédire des représentations visuelles comme jetons intermédiaires. Cela élimine le besoin de tout VAE pré-entraîné.
Double Bénéfice : Le RF améliore à la fois la génération d'images et la compréhension. Il permet aux modèles en espace de pixels d'égaler la qualité de génération des modèles basés sur le VAE tout en surpassant ces derniers dans les tâches de compréhension.
Unification de Bout en Bout : Ce travail préconise des UMM où la perception et la génération partagent un espace de représentation unique, appris de bout en bout, plutôt que de coordonner des composants pré-entraînés distincts.

4. Résultats Expérimentaux

Les auteurs ont mené des expériences contrôlées comparant quatre variantes : Espace de pixels (sans RF), Espace de pixels (avec RF), Basé sur VAE (sans RF), et Basé sur VAE (avec RF).

4.1 Génération d'Images

Performance : Le modèle en espace de pixels avec RF (RF-Pixel) atteint un score global GenEval de 0,84 (0,88 avec réécriture par LLM), égalant les modèles unifiés de pointe basés sur le VAE comme BAGEL et Show-o2.
Réduction de l'Écart de Qualité : Sans RF, le modèle en espace de pixels obtient seulement 0,25 sur GenEval, produisant des images avec des objets déformés et des compositions incohérentes. Avec le RF, le score grimpe à 0,76, démontrant que le RF fournit le guidage structurel nécessaire.
Comparaison : RF-Pixel égale la base de référence basée sur le VAE sur les benchmarks standards (GenEval, DPG-Bench) tout en préservant des détails texturaux riches.

4.2 Compréhension d'Images

Performance : Les modèles en espace de pixels avec RF (Pixel+RF) surpassent généralement leurs homologues basés sur le VAE (VAE+RF).
Précisions : Pixel+RF améliore les performances sur 6 des 8 benchmarks de compréhension (incluant MMMU, MME et BLINK), tandis que VAE+RF s'améliore sur 5. Notamment, Pixel+RF montre des gains substantiels sur les tâches de compréhension visuelle générale (ex: +4,3 sur MMMU), suggérant que la suppression du goulot d'étranglement du VAE permet une intégration plus étroite de la perception et de la génération.

4.3 Études d'Ablation

Prédiction vs Alignement : Le RF (prédiction par le décodeur) surpasse nettement REPA (alignement de caractéristiques auxiliaires), avec 0,76 contre 0,43 sur GenEval. Le conditionnement direct via l'auto-attention est plus efficace que l'alignement de caractéristiques implicite.
Discret vs Continu : La prédiction de jetons discrets (0,76) surpasse largement la régression continue (0,26). La discrétisation empêche l'accumulation d'erreurs dans la prédiction autorégressive et impose la séparation de la structure de haut niveau et des détails de bas niveau.
Choix de l'Encodeur : L'utilisation de DINOv3 (auto-supervisé) comme encodeur de compréhension donne de meilleurs résultats que SigLIP2, probablement parce que les caractéristiques de DINOv3 contiennent des informations spatiales et structurelles plus riches.

5. Signification et Revendications

Le papier affirme que le Forçage de Représentation constitue une étape efficace vers des Modèles Multimodaux Unifiés pleinement de bout en bout et sans goulot d'étranglement.

Capacité Native : En transformant les représentations de sorties de perception en cibles de génération, le RF ancre la compréhension et la génération dans un espace de représentation unique sans dépendre d'espaces latents externes.
Faisabilité des UMM en Espace de Pixels : Les résultats démontrent que la génération en espace de pixels est non seulement faisable mais potentiellement supérieure à la génération basée sur le VAE pour la modélisation unifiée, à condition qu'un guidage structurel soit fourni via le forçage de représentation.
Direction Future : Les auteurs considèrent cela comme un mouvement vers des modèles où toutes les capacités multimodales sont acquises directement à partir d'entrées brutes au sein d'un seul modèle, plutôt que d'être héritées de composants entraînés indépendamment.

Note : Les auteurs reconnaissent des limites, notamment l'utilisation d'un backbone LLM pré-entraîné plutôt que l'entraînement à partir de zéro, et l'accent actuel mis sur les images fixes plutôt que sur la vidéo ou les modalités temporelles.