A Simple Baseline for Unifying Understanding, Generation, and Editing via Vanilla Next-token Prediction

Le papier présente Wallaroo, un modèle autoregressif simple qui unifie la compréhension, la génération et l'édition multimodales grâce à la prédiction de jetons suivants, en supportant des résolutions multiples et le bilinguisme chinois-anglais.

L'essentiel

🌟 Wallaroo : Le Couteau Suisse de l'Intelligence Artificielle

Imaginez que vous avez trois amis très spécialisés :

1. Le Détective : Il est excellent pour regarder une image et vous raconter ce qu'il voit (compréhension).
2. Le Peintre : Il est génial pour créer de nouvelles images à partir de rien (génération).
3. Le Retoucheur : Il est doué pour modifier des photos existantes (édition).

Jusqu'à présent, la plupart des intelligences artificielles (IA) devaient choisir un seul métier ou utiliser deux machines différentes qui ne se parlaient pas très bien. C'était comme demander à un détective de peindre un tableau : le résultat était souvent bancal.

Wallaroo, c'est l'histoire d'un nouvel artiste qui a réussi à être les trois à la fois, avec une seule et même "tête" !

---

🧠 Comment ça marche ? (L'analogie du "Jeux de Mots")

La plupart des IA modernes pour créer des images fonctionnent comme un sculpteur qui enlève de la pierre (un processus appelé diffusion). C'est lent et complexe.

Wallaroo, lui, fonctionne comme un très grand conteur qui joue à un jeu de "complétez la phrase".

• Si vous lui dites : "Il y a un chat...", il devine le mot suivant : "...sur le tapis".
• Avec Wallaroo, on lui apprend à deviner non seulement des mots, mais aussi des morceaux d'images (comme des pixels ou des petits carrés de couleurs).

C'est ce qu'on appelle la prédiction du prochain jeton. Au lieu de sculpter l'image, l'IA la "écrit" mot par mot et pixel par pixel, exactement comme elle écrirait un texte. C'est simple, rapide et très efficace.

---

🛠️ La Recette Secrète de Wallaroo

Pour réussir ce tour de force, les chercheurs ont utilisé une recette en quatre étapes (comme un entraînement d'athlète) :

1. L'Échauffement (Alignement) : On apprend d'abord à l'IA à utiliser ses nouveaux outils pour "dessiner" des images simples, sans trop changer son cerveau existant.
2. L'Entraînement Mixte : On lui montre des millions de photos avec des descriptions (pour qu'elle comprenne) et on lui demande d'en créer d'autres (pour qu'elle apprenne à peindre). Elle apprend à faire les deux en même temps.
3. Le Perfectionnement des Tailles : On lui apprend à dessiner des images de toutes les tailles, pas seulement des carrés parfaits. C'est comme apprendre à un peintre à remplir un petit cadre ou une immense fresque murale.
4. La Maîtrise de l'Édition : C'est l'étape la plus subtile. On lui apprend à modifier une image existante. Pour cela, Wallaroo utilise une astuce : il regarde l'image de deux façons à la fois (comme un expert qui voit à la fois le sens global et les détails fins) pour pouvoir changer un élément sans tout gâcher.

---

🏆 Les Résultats : Est-ce que ça marche ?

Les chercheurs ont mis Wallaroo à l'épreuve contre d'autres géants de l'IA :

• Compréhension : Il est aussi bon que les meilleurs détectives pour décrire des images.
• Création : Il crée de très belles images, même s'il est un tout petit peu moins détaillé que les méthodes traditionnelles (comme le sculpteur), mais il est beaucoup plus rapide et flexible.
• Édition : C'est ici que ça devient magique. Wallaroo peut modifier une image (changer la couleur d'un ciel, ajouter un chat) avec une précision impressionnante, rivalisant avec des modèles beaucoup plus complexes.

Le plus beau ? Wallaroo parle couramment français et chinois, et il peut gérer des images de n'importe quelle taille.

---

💡 Pourquoi c'est important ? (La leçon à retenir)

Avant Wallaroo, on pensait qu'il fallait des machines différentes pour comprendre et pour créer. Wallaroo prouve le contraire : une seule machine, utilisant une seule méthode simple (prédire la suite), peut tout faire.

C'est comme si on découvrait qu'un seul outil, un simple marteau bien manié, peut aussi bien servir à construire une maison, sculpter une statue et réparer une montre, à condition de savoir exactement comment l'utiliser.

En résumé : Wallaroo est un modèle simple mais puissant qui unifie la compréhension, la création et la modification d'images en utilisant la même logique que celle qui fait écrire les chatbots. C'est une étape majeure vers une intelligence artificielle plus polyvalente et plus "humaine".

Résumé technique

Titre : Wallaroo : Une base simple pour unifier la compréhension, la génération et l'édition via la prédiction de jeton suivant (Next-Token Prediction)

1. Problématique

L'unification de la compréhension multimodale (analyse d'images et de texte) et de la génération visuelle (création d'images) est une étape clé vers l'intelligence artificielle générale (AGI). Les approches actuelles se divisent généralement en trois catégories, chacune présentant des limites :

• Encodeurs conditionnels améliorés : Utilisent des modèles de compréhension pour guider des générateurs de type diffusion. Cela crée un flux d'information unidirectionnel (compréhension $\to$ génération) limitant l'interaction.
• Intégration Transformer-Diffusion : Combinent des modèles auto-régressifs et de diffusion au sein d'un même Transformer. Cependant, la présence de bruit dans les représentations de diffusion réduit l'efficacité de l'interaction d'information.
• Prédiction de jeton suivant (Next-Token Prediction) : Utilise des modèles auto-régressifs purs. Bien que prometteurs pour réduire la complexité structurelle, les modèles précédents (comme Chameleon) souffraient de tokeniseurs visuels médiocres ou d'une mauvaise gestion des conflits entre les tâches de compréhension et de génération.

Le défi principal réside dans la création d'un modèle unique capable de comprendre, générer et éditer des images avec une haute efficacité, tout en supportant des résolutions variables et plusieurs langues, sans sacrifier la performance d'une tâche au profit d'une autre.

2. Méthodologie

Les auteurs proposent Wallaroo, une base de référence auto-régressive simple qui repose sur la prédiction de jeton suivant pour unifier ces trois tâches.

• Architecture :

  • Backbone : Basé sur Qwen2.5 VL (7B), un modèle de langage multimodal puissant.
  • Découplage du codage visuel : Contrairement à une approche unique, Wallaroo sépare les voies d'encodage visuel :
    • Pour la compréhension : Utilisation du module NaViT intégré à Qwen2.5 VL.
    • Pour la génération : Utilisation d'un tokeniseur VQ (issu de LlamaGen) pour convertir les images en IDs discrets (1D).
  • Édition : Une approche hybride est adoptée. Pour l'édition, le modèle combine les représentations sémantiques (via NaViT) et les détails de bas niveau (via le tokeniseur VQ) pour mieux capturer à la fois le contexte et les pixels.
  • Adaptateurs : Des adaptateurs MLP (Multi-Layer Perceptron) sont ajoutés pour projeter les embeddings du codebook VQ vers la dimension du Transformer, ainsi que des têtes de sortie dédiées (Text, Img, Edit) pour éviter les conflits d'apprentissage.

• Stratégie d'entraînement en quatre étapes :

  1. Alignement préliminaire : Entraînement des nouveaux adaptateurs de génération et de la tête de génération sur des données ImageNet1K pour aligner l'espace de représentation.
  2. Pré-entraînement conjoint : Entraînement simultané sur des données de compréhension multimodale et de génération image-à-texte (Text-to-Image) pour harmoniser les espaces de représentation.
  3. Adaptation multi-résolution : Augmentation de la taille des images (de 384x384 à 512x512 et au-delà) et introduction de tokens spéciaux (<hw_info>, <eol>) pour permettre la génération d'images à différentes résolutions et la gestion des lignes.
  4. Affinement unifié (Fine-tuning) : Entraînement conjoint sur des données de haute qualité couvrant les trois tâches (compréhension, génération, édition) pour activer et équilibrer toutes les capacités.

• Objectif d'apprentissage : Utilisation simple de la perte de prédiction de jeton suivant ($L = -\sum \log P(x_i|x_{<i})$) avec des poids égaux pour les trois tâches.

3. Contributions Clés

• Premier modèle unifié "Vanilla" : Wallaroo est l'une des premières tentatives réussies d'unification de la compréhension, de la génération et de l'édition d'images dans un seul modèle auto-régressif pur, sans mécanismes de diffusion complexes.
• Support Multi-résolution et Bilingue : Le modèle gère nativement des images d'entrées et de sorties à différentes résolutions et supporte simultanément le chinois et l'anglais.
• Découplage intelligent : La séparation des voies d'encodage visuel (NaViT pour la compréhension, VQ pour la génération) résout les conflits de représentation tout en permettant une interaction fluide via l'édition.
• Stratégie d'édition innovante : L'intégration de représentations de haut niveau (sémantiques) et de bas niveau (pixels) pour la tâche d'édition, avec des encodages de position distincts, améliore la cohérence de l'image éditée.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks de référence :

• Compréhension Multimodale : Wallaroo obtient des performances compétitives par rapport à Qwen2.5 VL et dépasse la plupart des modèles unifiés précédents (comme Janus-Pro, Mogao, OmniGen2) sur des benchmarks comme POPE, MME, MMB, SEED et MMMU. Par exemple, il atteint un score de 83.0 sur MMB.
• Génération d'Images : Sur les benchmarks GenEval et DPG, Wallaroo montre des résultats compétitifs face à d'autres modèles auto-régressifs (Janus-Pro, Show-o2), bien qu'il reste légèrement en dessous des modèles basés sur la diffusion (comme OmniGen2) en raison des pertes inhérentes à la quantification vectorielle (VQ).
• Édition d'Images : Sur le benchmark ImgEdit, Wallaroo surpasse la plupart des modèles de génération/édition purs (AnyEdit, UltraEdit) et des modèles unifiés, obtenant un score global de 2.92. Il est légèrement inférieur aux modèles basés sur la diffusion (BAGEL, OmniGen2), mais démontre la viabilité de l'approche auto-régressive pour l'édition.

5. Signification et Perspectives

• Potentiel de l'Auto-régressif Pur : Ce travail démontre que la prédiction de jeton suivant est une voie viable et puissante pour unifier la compréhension et la génération, offrant une interaction d'information plus efficace que les approches hybrides diffusion-auto-régressives.
• Limites et Solutions : L'auteur reconnaît que la quantification vectorielle (VQ) entraîne une perte de détails d'image. Pour y remédier, ils suggèrent l'utilisation de modèles de diffusion en post-traitement ou l'entraînement de tokeniseurs VQ plus puissants.
• Futur de l'Édition : L'étude suggère que l'édition pourrait servir de "pont" naturel entre la compréhension (haut niveau) et la génération (bas niveau), et que l'ordre des tokens dans la séquence d'entrée est critique pour la performance de l'édition.
• Base de Référence : Wallaroo établit une nouvelle baseline simple et efficace pour la communauté, prouvant qu'une architecture minimaliste peut atteindre des performances de pointe dans un cadre multimodal unifié.

En résumé, Wallaroo prouve qu'un modèle auto-régressif simple, bien conçu avec une stratégie d'entraînement adaptée, peut rivaliser avec des architectures beaucoup plus complexes pour unifier la vision et le langage.