🤖 AI

UniSpace: Unified Visual Representation and Scalable Multimodal Modeling

Le papier présente UniSpace, un cadre multimodal unifié qui surmonte la perte de détails fins dans les encodeurs de vision sémantiques en employant une nouvelle technique de Reparamétrisation de Patch, permettant à un modèle unique basé sur un ViT gelé d'effectuer simultanément la compréhension, la génération et l'édition d'images haute fidélité sans voie VAE distincte.

Auteurs originaux : Jinbo Yan, Limeng Qiao, Jie Qin, Junyan He, Feize Wu, Guanglu Wan

Publié 2026-08-11

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinbo Yan, Limeng Qiao, Jie Qin, Junyan He, Feize Wu, Guanglu Wan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à voir le monde. Pendant longtemps, les scientifiques ont construit deux « yeux » séparés pour ces robots. Le premier œil est un Encodeur Sémantique, qui est comme un critique d'art super intelligent. Il regarde la photo d'un chat et sait instantanément : « C'est un félin roux et duveteux assis sur un tapis. » Il comprend parfaitement le sens et l' histoire de l'image. Cependant, si vous lui demandiez de redessiner le chat de zéro en se basant uniquement sur ses notes, il échouerait lamentablement. Il aurait oublié la courbe exacte de la moustache ou la nuance précise de l'orange parce qu'il était trop occupé à réfléchir à l'ensemble.

Le second œil est un Encodeur de Reconstruction, qui est comme une photocopieuse hyper détaillée. Il se souvient de chaque pixel, de chaque ombre et de chaque texture. Si vous lui demandiez de redessiner le chat, il serait parfait. Mais si vous lui demandiez : « Qu'est-ce que c'est ? », il pourrait simplement répondre : « C'est un amas de pixels colorés », sans comprendre qu'il s'agit d'un chat.

Pendant des années, pour qu'un robot puisse à la fois comprendre une image et créer ou éditer une image, les ingénieurs devaient utiliser ces deux yeux en même temps, en assemblant leurs sorties. C'était comme essayer de conduire une voiture avec un pied sur l'accélérateur et un pied sur le frein. Ce papier, UniSpace, pose une question audacieuse : pouvons-nous construire un seul œil qui fait les deux tâches parfaitement ? Pouvons-nous prendre ce critique d'art super intelligent et le modifier juste assez pour qu'il n'oublie pas les détails, sans pour autant le transformer en une photocopieuse sans esprit ?

L'idée majeure : Réajuster la lentille, pas le cerveau

Les chercheurs derrière UniSpace ont découvert quelque chose de surprenant. Ils ont découvert que le « cerveau » du critique d'art (les couches profondes du réseau neuronal) était en fait très bien ainsi. Le problème n'était pas le cerveau, mais la lentille (le patch embedding) à travers laquelle l'image regardait. La lentille originale était conçue pour filtrer les petits détails afin de se concentrer sur le sens, floutant ainsi les lignes fines de manière effective.

Pour corriger cela, ils ont introduit une astuce ingénieuse appelée Reparamétrisation de Patch. Imaginez que le critique d'art porte des lunettes. Les lunettes originales sont excellentes pour lire le titre d'un livre mais terribles pour voir la petite police sur la page. Au lieu de jeter les lunettes et le cerveau, les chercheurs ont ajouté une seconde lentille spéciale juste à côté de la première. Cette nouvelle lentille est réglée spécififlement pour capturer ces petits détails flous. Ils ont ensuite combiné la vue des deux lentilles en un flux d'informations unique et surpuissant.

Le résultat est un système qui conserve la capacité du cerveau original à comprendre « ceci est un chat » tout en se souvenant aussi que « le chat a une égratignure sur son oreille gauche ». Ce flux d'informations unique devient l'UniSpace, un langage visuel unifié où la compréhension, la génération et l'édition d'images se produisent au même endroit.

Comment ils l'ont testé : L'expérience de « l'œil unique »

L'équipe n'a pas seulement construit une théorie ; elle a construit un cerveau de robot massif pour tester cela. Ils ont pris un « critique d'art » pré-entraîné (plus précisément un modèle appelé Qwen-ViT) et ont appliqué leur nouvelle technique de double lentille. Ils ont ensuite entraîné un modèle géant de 8 milliards de paramètres (appelé UniSpace) pour utiliser ce flux visuel unique pour trois tâches différentes :

Compréhension : Regarder une image et répondre à des questions à son sujet.
Génération : Créer une toute nouvelle image à partir d'une description textuelle.
Édition : Prendre une image existante et changer des parties spécifiques (comme transformer un chat en chien ou changer l'arrière-plan pour une plage) tout en gardant le reste de l'image parfait.

Les résultats sont impressionnants. Dans le monde de l'édition d'images, où les robots ont souvent du mal à changer une chose sans gâcher toute l'image, UniSpace a obtenu un score de 4,28 sur un test standard appelé ImgEdit. Cela bat d'autres modèles de taille similaire comme SenseNova-U1 (qui a obtenu 3,90) et BAGEL (3,20), et s'est même approché d'un modèle beaucoup plus grand de 32 milliards de paramètres appelé Emu3.5 (4,41).

En ce qui concerne la génération d'images à partir de texte, UniSpace a montré qu'il pouvait bien suivre des instructions complexes. Sur un test appelé OneIG-Bench, il a obtenu un score moyen bilingue de 0,547, battant légèrement ses concurrents. Il a également obtenu 86,49 sur le DPG-Bench, un test pour suivre des prompts très denses et détaillés, montant qu'il peut gérer des relations complexes entre les objets mieux que beaucoup d'autres modèles unifiés.

Ce qu'ils ont écarté : Le piège de l'« intrication »

L'une des parties les plus importantes de cette histoire est ce que les chercheurs n'ont pas fait. Ils ont d'abord testé une idée plus simple : et si nous mélangions simplement le « sens » et les « détails » dans un seul gros tas de données désordonnées sans les séparer ? Ils appellent cela une représentation « entrelacée ».

Ils ont découvert que cette approche désordonnée était un piège. Bien que le robot puisse toujours comprendre l'image et puisse toujours reconstruire une image à partir d'une photo réelle, il échouait complètement lorsqu'il essayait de générer une nouvelle image à partir de zéro. Le cerveau du robot devenait tellement concentré sur le « sens » qu'il oubliait les « détails » nécessaires pour dessiner une image réaliste. Le papier suggère que simplement mélanger ces deux types d'informations ne suffit pas ; il faut les garder distincts mais connectés, comme deux voies sur une autoroute qui circulent côte à côte sans s'écraser. C'est pourquoi leur méthode spécifique de Reparamétrisation de Patch — garder le chemin original pour le sens et ajouter un chemin séparé pour les détails — est cruciale.

À retenir

UniSpace suggère que nous n'avons pas nécessairement besoin de construire de nouveaux et de gigantesques cerveaux à partir de zéro pour faire en sorte que les robots puissent voir, comprendre et créer. Au lieu de cela, nous pourrions simplement changer la façon dont nous nourrissons les informations dans les cerveaux que nous avons déjà. En réajustant la « lentille » pour laisser entrer plus de détails tout en gardant le « cerveau » concentré sur le sens, ils ont créé un système unique et unifié capable de tout faire.

Les auteurs précisent avec prudence que, bien qu'il s'agisse d'une avancée majeure, le système n'est pas encore parfait. Il reste légèrement en retrait par rapport aux modèles spécialisés qui ne font qu'une seule chose (comme un modèle qui uniquement édite des images ou uniquement les comprend). Cependant, pour un modèle de 8 milliards de paramètres qui tente de tout faire en une seule fois, la performance est remarquablement forte. Cela prouve qu'un espace visuel unique et unifié est une voie viable pour l'avenir de l'IA, pouvant potentiellement remplacer le besoin de systèmes multi-parties encombrants par quelque chose de plus élégant et efficace.

Résumé technique de UniSpace : Représentation visuelle unifiée et modélisation multimodale évolutive

1. Énoncé du problème

Les encodeurs de vision sémantique (par exemple, SigLIP, CLIP) sont devenus l'interface visuelle standard pour la compréhension multimodale et le conditionnement sémantique dans la génération d'images. Cependant, ces encodeurs sont optimisés pour l'abstraction sémantique et l'alignement, ce qui fait que leurs jetons finaux rejettent les détails visuels fins. Cela entraîne une faible récupérabilité au niveau du pixel, les rendant insuffisants pour les tâches sensibles à la reconstruction, telles que la génération d'images haute fidélité et l'édition préservant la référence.

Les modèles multimodaux unifiés actuels tentent de remédier à cela en combinant des espaces visuels distincts : un encodeur sémantique pour la compréhension et un espace latent de Variational Autoencoder (VAE) séparé pour la génération et l'édition. Bien qu'ils soient unifiés au niveau architectural (par exemple, en utilisant un squelette partagé), ces modèles restent fragmentés au niveau de la représentation visuelle. Cette fragmentation complique le système et empêche une interface visuelle unique de supporter simultanément la compréhension sémantique, la reconstruction de précision et la modélisation générative.

La question centrale posée par ce travail est de savoir si la compréhension, la génération et l'édition peuvent être modélisées au sein d'un espace de représentation visuelle unique construit sur un Vision Transformer (ViT) sémantique préentraîné, sans introduire de voie VAE séparée.

2. Méthodologie

2.1 Insight central : Le goulot d'étranglement de l'incorporation de patchs (Patch Embedding)

Les auteurs étudient d'abord pourquoi les ViT sémantiques préentraînés échouent à reconstruire fidèlement les images. À travers des expériences de diagnostic (Fig. 1), ils démontrent que le goulot d'étranglement n'est pas les blocs Transformer gelés eux-mêmes, mais l'incorporation de patch d'origine (patch embedding).

Observation : Lorsque l'incorporation de patch préentraînée d'un ViT sémantique (par exemple, SigLIP2) est remplacée par une projection linéaire initialisée aléatoirement (tout en gardant tous les blocs Transformer gelés), la récupérabilité au niveau du pixel (PSNR) des caractéristiques des couches profondes s'améliore considérablement (+3,70 dB).
Conclusion : L'incorporation de patch préentraînée pousse la représentation vers l'abstraction sémantique, supprimant les variations visuelles de bas niveau. Les blocs Transformer gelés sont intrinsèquement capables de porter des détails de pixels si le paramétrage de l'entrée le permet.

2.2 Reparamétrisation de patch

Pour exploiter cet insight, les auteurs introduisent la Reparamétrisation de Patch, une adaptation minimale qui préserve la voie sémantique préentraînée tout en ajoutant une voie sensible à la reconstruction au sein du même squelette gelé.

Voies doubles :
1. Voie Sémantique : L'incorporation de patch originale préentraînée ( $P_s$ ) est conservée gelée pour préserver la représentation sémantique ( $T_s$ ).
2. Voie de Reconstruction : Une nouvelle incorporation de patch sensible à la reconstruction ( $P_r$ ), initialisée à partir de $P_s$ , est introduite. Elle passe par les mêmes blocs Transformer gelés pour produire des jetons de reconstruction ( $T_r$ ).
Fusion explicite des jetons : Au lieu de fusionner les caractéristiques implicitement via un MLP (ce qui, selon les auteurs, conduit à des représentations « entrelacées » qui échouent dans le décodage génératif), la méthode utilise une Décomposition explicite par canal.
- Les jetons de reconstruction $T_r$ sont projetés vers une dimension inférieure ( $d_r$ ) via une couche linéaire apprenable $W_r$ .
- Les jetons sémantiques $T_s$ et les jetons de reconstruction compressés $\tilde{T}_r$ sont concaténés le long de la dimension des canaux pour former la représentation unifiée $T_u$ .
- Cela garantit que la composante de reconstruction reste directement accessible lors de l'entraînement génératif.

2.3 Objectifs d'entraînement

La représentation unifiée est entraînée à l'aide d'un objectif de Flow-Matching équilibré.

Entraînement de la reconstruction : Les composants sensibles à la reconstruction ( $P_r, W_r$ ) et un décodeur ViT sont optimisés pour reconstruire l'image d'entrée, tandis que la voie sémantique originale reste gelée.
Modélisation générative : Le modèle utilise le flow matching conditionnel pour prédire la vélocité de la représentation unifiée. Une innovation clé est la perte équilibrée (balanced loss), qui normalise l'erreur de prédiction par la dimensionnalité de chaque composante (sémantique vs reconstruction) et assigne des poids explicites ( $\lambda_r = 0,75$ pour la reconstruction). Cela empêche la composante sémantique de dominer le prior génératif, garantissant que le modèle apprend à modéliser à la fois la structure sémantique et les détails fins.

2.4 UniSpace : Mise à l'échelle vers un modèle multimodal unifié

Les auteurs passent à l'échelle cette représentation avec UniSpace, un modèle Mixture-of-Transformer-Experts (MoT) de 8 milliards de paramètres basé sur le squelette Qwen3-8B.

Architecture : UniSpace utilise le ViT reparamétrisé comme son unique interface visuelle. Il élimine le besoin d'un encodeur ou d'un espace latent VAE séparé.
Routage : Il emploie un routage strict pour séparer les tâches :
- Expert de Compréhension : Traite le texte et les jetons d'image de référence ( $T_u$ ) pour les questions-réponses visuelles.
- Expert de Génération : Traite les jetons visuels bruités pour la génération texte-image et l'édition d'images.
- Auto-attention Partagée : Permet l'interaction entre les deux experts, maintenant un contexte sans goulot d'étranglement.
Entraînement Unifié : Le modèle est entraîné sur un mélange de données de génération texte-image, d'édition d'image basée sur des instructions et de compréhension visuelle en utilisant un curriculum progressif à travers trois étapes de résolution (256, 512, 1024), suivi d'un ajustement fin supervisé (SFT).

3. Contributions Clés

Reparamétrisation de Patch : Une technique démontrant que les ViT sémantiques préentraînés gelés peuvent être adaptés pour préserver des informations visuelles fines en modifiant uniquement l'incorporation de patch, sans réentraîner les blocs Transformer.
Encodeurs Visuels Unifiés : La création d'une famille d'encodeurs (PR-SigLIP2, PR-DINOv2, PR-Qwen-ViT) qui fournissent une représentation équilibrée pour la compréhension, la reconstruction et la génération.
UniSpace : Un modèle multimodal unifié de 8B qui réalise la compréhension, la génération et l'édition d'images dans un seul espace visuel sans voie VAE séparée, validant la scalabilité de la représentation reparamétrée.

4. Résultats Expérimentaux

4.1 Évaluation du Tokeniseur Unifié

Reconstruction Haute Fidélité : PR-DINOv2 atteint un rFID de 0,14 et un PSNR de 30,84 sur ImageNet-1K, surpassant nettement l'RAE original (rFID 0,57, PSNR 18,86) et rivalisant avec des VAE spécialisés comme FLUX-VAE, tout en conservant ses capacités sémantiques.
Compréhension Multimodale : Les tokeniseurs reparamétrés ne compromettent pas la compréhension sémantique. PR-SigLIP2 et PR-Qwen-ViT atteignent des scores moyens de 64,37 et 68,94 sur les benchmarks LLaVA-v1.5, égalant ou dépassant légèrement leurs bases sémantiques originales.
Compromis Génération-Reconstruction : La méthode établit un point de fonctionnement favorable, atteignant de solides métriques de génération (gFID 2,10 sans CFG) tout en maintenant une haute fidélité de reconstruction, un équilibre souvent difficile à atteindre dans les modèles génératifs latents.

4.2 Évaluation du Système (UniSpace)

Édition d'Image : Sur le benchmark ImgEdit, UniSpace (8B) obtient un score global de 4,28, surpassant nettement les modèles unifiés de taille comparable comme SenseNova-U1 (3,90) et BAGEL (3,20), et approchant les performances du modèle beaucoup plus grand Emu3.5 (4,41). Il démontre une forte capacité de suivi d'instructions et de préservation des détails fins dans les tâches d'édition.
Génération Texte-Image : Sur OneIG-Bench, UniSpace atteint une moyenne bilingue de 0,547, surpassant Emu3.5 et SenseNova-U1. Sur DPG-Bench, il obtient un score de 86,49, montant une forte capacité à suivre des prompts denses, particulièrement concernant les contraintes relationnelles.
Résultats Qualitatifs : Les comparaisons visuelles montrent que UniSpace produit des images avec un meilleur alignement aux prompts et des détails plus riches par rapport aux autres modèles unifiés, avec moins d'artefacts dans les scénarios d'édition complexes.

5. Signification et Revendications

L'article affirme que unifier les capacités visuelles ne nécessite pas l'entraînement d'un nouveau squelette visuel à partir de zéro. Au lieu de cela, en reparamétrant la manière dont l'information entre dans un encodeur sémantique existant, il est possible d'exposer une gamme substantiellement plus large d'informations visuelles (à la fois sémantiques et de niveau pixel) au sein d'un espace de paramètres gelés unique.

La signification de UniSpace réside dans sa démonstration qu'un espace de représentation visuelle unique peut efficacement remplacer l'approche conventionnelle à double interface (ViT Sémantique + VAE) dans les systèmes multimodaux à grande échelle. En consolidant la compréhension, la génération et l'édition dans un seul tokenizer visuel réutilisable et gelé, les auteurs montrent que :

La reconstruction haute fidélité et la compréhension sémantique ne sont pas mutuellement exclusives.
Un espace visuel unifié peut supporter l'édition d'images pratique basée sur des instructions et la génération texte-image à une échelle de 8B.
La nature « entrelacée » des représentations unifiées précédentes peut être évitée grâce à une factorisation explicite, menant à une meilleure modélisation générative.

Les auteurs restent modestes, notant que bien que la représentation unifiée préserve les capacités de l'encodeur original, la performance du système sur les benchmarks VLM standards n'est pas la cible principale d'optimisation, et que le modèle est principalement optimisé pour les tâches de génération et d'édition. Ils reconnaissent que l'encodeur partagé ne peut pas être librement mis à jour pour les tâches de compréhension sans potentiellement compromettre les capacités génératives, suggérant une direction pour les travaux futurs sur l'optimisation conjointe de ces objectifs.