Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

1. Énoncé du problème

Les Modèles Multimodaux Unifiés (UMM) actuels reposent généralement sur des encodeurs de vision préentraînés (par exemple, CLIP pour la compréhension, VQ-VAE pour la génération) pour convertir les images brutes en représentations latentes. Cette approche modulaire introduit plusieurs limitations critiques :

• Désalignement des représentations : Des encodeurs séparés pour la compréhension et la génération créent une rupture entre les deux tâches, empêchant une optimisation entièrement end-to-end.
• Biais inductifs : Les encodeurs préentraînés imposent des résolutions d'entrée fixes et limitent l'accès aux détails visuels fins et de bas niveau, ce qui nuit aux performances sur des tâches nécessitant une perception précise.
• Complexité architecturale : La dépendance à l'égard de multiples composants modulaires (encodeurs, connecteurs, décodeurs) complique le pipeline d'entraînement et empêche le modèle d'apprendre une représentation véritablement unifiée directement à partir des pixels bruts.

Les auteurs se demandent : Peut-on construire un modèle multimodal unifié qui réalise à la fois la compréhension et la génération directement à partir de pixels bruts, en éliminant complètement les encodeurs de vision préentraînés ?

2. Méthodologie

Le papier présente Tuna-2, un modèle multimodal unifié natif opérant entièrement dans l'espace des pixels. La méthodologie est développée par une simplification progressive des architectures existantes :

A. Évolution architecturale

Les auteurs proposent une évolution en trois étapes pour atteindre la conception finale sans encodeur :

1. Tuna (Référence) : Utilise une conception modulaire standard avec un encodeur VAE pour la génération et un encodeur de représentation (par exemple, SigLIP) pour la compréhension.
2. Tuna-R (Intermédiaire) : Supprime le VAE mais conserve un encodeur de représentation préentraîné (SigLIP 2). Il utilise une couche d'embedding de patches pour convertir les images en tokens pour le décodeur LLM, effectuant une génération dans l'espace des pixels via l'appariement de flux (flow matching).
3. Tuna-2 (Final) : Supprime complètement l'encodeur de représentation préentraîné. Il remplace les encodeurs complexes par de simples couches d'embedding de patches qui tokenisent directement les pixels d'image bruts. L'ensemble du système est un seul décodeur Transformer monolithique traitant conjointement les tokens textuels et visuels.

B. Génération dans l'espace des pixels

Au lieu d'une diffusion latente, Tuna-2 emploie un appariement de flux rectifié directement dans l'espace des pixels :

• Objectif : Le modèle prédit l'image propre $x_1$ à partir d'un échantillon bruité $x_t$ construit via un calendrier linéaire : $x_t = tx_1 + (1-t)x_0$.
• Fonction de perte : Il minimise l'erreur de prédiction de la vitesse ($v_\theta$), où $v_\theta = \frac{x_\theta - x_t}{1-t}$.
• Inférence : Utilise un solveur d'Euler pour débruiter les images étape par étape.

C. Apprentissage de caractéristiques par masquage

Pour pallier la difficulté d'apprendre des représentations robustes dans un espace de pixels de haute dimension (susceptible de prendre des raccourcis superficiels), les auteurs introduisent un schéma de masquage :

• Mécanisme : Pendant l'entraînement, des patches d'image aléatoires sont masqués et remplacés par un token de masquage apprenable.
• Double rôle :
  • Pour la génération : Force le modèle à reconstruire des patches propres à partir d'entrées bruitées partiellement observées, créant une tâche de débruitage plus difficile.
  • Pour la compréhension : Agit comme un régularisateur, forçant le modèle à effectuer un raisonnement sous observation visuelle partielle, empêchant une dépendance excessive à des indices visuels spécifiques.

D. Pipeline d'entraînement

Le modèle est entraîné entièrement end-to-end en deux étapes :

1. Étape 1 (Préentraînement) : Entraînement conjoint sur la légende d'images et la génération d'images à partir de texte (70 % de données de compréhension, 30 % de données de génération) utilisant un backbone de 7 milliards de paramètres (Qwen2.5-7B-Instruct).
2. Étape 2 (SFT) : Affinement supervisé sur des ensembles de données de suivi d'instructions d'images, d'édition et de génération de haute qualité.

3. Contributions clés

1. Architecture Tuna-2 : Le premier UMM natif à atteindre des performances de pointe (SOTA) à la fois en compréhension et en génération en éliminant complètement les encodeurs de vision préentraînés, en se fiant uniquement aux embeddings de pixels.
2. Validation empirique d'une conception sans encodeur : Démontre que, bien que les encodeurs préentraînés facilitent la convergence précoce, une architecture monolithique sans encodeur les dépasse en compréhension multimodale, en particulier sur des tâches fines, après un préentraînement suffisant.
3. Passage à l'échelle dans l'espace des pixels : Prouve que l'appariement de flux dans l'espace des pixels peut être mis à l'échelle vers de grands modèles unifiés, rivalisant avec les approches d'espace latent pour la génération et l'édition d'images haute fidélité.
4. Stratégie de masquage : Introduit un schéma d'apprentissage basé sur le masquage qui stabilise l'entraînement dans l'espace de pixels de haute dimension et améliore la robustesse des représentations.

4. Résultats expérimentaux

Les auteurs ont évalué Tuna-2 par rapport à diverses références (incluant Tuna, Tuna-R, Show-o2, BAGEL, et des modèles de génération uniquement comme FLUX.1).

• Compréhension multimodale (Tableau 1) :
  • Tuna-2 atteint des performances SOTA parmi les UMM natifs à l'échelle de 7B sur des benchmarks généraux (GQA, MMVet, MMMU) et des benchmarks centrés sur les pixels (V*, CountBench, VisuLogic).
  • Il surpasse nettement Tuna-R sur les tâches de perception fine, suggérant que la suppression du biais inductif de l'encodeur permet un meilleur apprentissage des détails visuels de bas niveau.
• Génération d'images (Tableaux 2 et 3) :
  • Tuna-2 est compétitif avec les modèles unifiés SOTA sur GenEval et DPG-Bench.
  • Bien que Tuna-R (avec encodeur) devance légèrement Tuna-2 sur les métriques de génération au départ, Tuna-2 rattrape son retard après le SFT.
  • Diversité : Tuna-2 génère des images significativement plus diversifiées que Tuna-R et Tuna, selon l'évaluation par des LLM (GPT-5.4, Claude Opus).
• Édition et reconstruction d'images (Tableaux 4 et 5) :
  • Tuna-2 performe fortement sur l'édition d'images (ImgEdit), surpassant de nombreuses références unifiées.
  • Dans les tâches de reconstruction d'images, Tuna-2 atteint une qualité de reconstruction (PSNR/SSIM) comparable à des VAE spécialisés comme FLUX.1, prouvant que les représentations dans l'espace des pixels peuvent encoder fidèlement l'information visuelle.
• Analyse de l'attention (Figure 7) :
  • Les visualisations montrent que Tuna-2 possède des cartes d'attention plus précises et stables, se concentrant correctement sur les régions visuelles pertinentes même lorsque les priors linguistiques sont trompeurs (par exemple, identifier une coupe en verre dans un contexte de football), alors que les modèles basés sur des encodeurs s'appuient souvent sur des priors textuels ou des distracteurs saillants.

5. Importance et conclusion

Le papier remet fondamentalement en cause le paradigme dominant selon lequel les encodeurs de vision préentraînés sont nécessaires pour une IA multimodale haute performance.

• Changement de paradigme : Il démontre que l'"apprentissage end-to-end dans l'espace des pixels" est une voie viable et supérieure pour développer des représentations visuelles plus fortes, en particulier pour les tâches nécessitant une perception fine.
• Simplicité : En éliminant les encodeurs modulaires complexes, Tuna-2 simplifie l'architecture en un seul Transformer, réduisant la charge d'ingénierie et permettant une optimisation conjointe véritable.
• Direction future : Les résultats suggèrent que les futurs UMM natifs devraient privilégier la modélisation directe des pixels par rapport à la compression dans l'espace latent, car cette dernière peut introduire des goulots d'étranglement d'information limitant la capacité du modèle à percevoir et générer des détails visuels haute fidélité.

En résumé, Tuna-2 prouve qu'une architecture simple, sans encodeur, entraînée directement sur des pixels bruts, peut surpasser des systèmes complexes basés sur des encodeurs en matière de compréhension tout en maintenant des capacités de génération compétitives, offrant un modèle évolutif pour la prochaine génération de modèles multimodaux.