💻 computer science

WinTok: A Win-Win Hybrid Tokenizer via Decomposing Visual Understanding and Generation with Transferable Tokens

WinTok est un tokenizer visuel hybride qui découple la compréhension et la génération en combinant des tokens sémantiques apprenables, distillés à partir de modèles de fondation préentraînés, avec des tokens de pixels pour atteindre des performances supérieures dans les deux tâches en utilisant nettement moins de données d'entraînement que les approches unifiées existantes.

Auteurs originaux : Yiwei Guo, Shaobin Zhuang, Zhipeng Huang, Canmiao Fu, Chen Li, Jing Lyu, Yali Wang

Publié 2026-05-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yiwei Guo, Shaobin Zhuang, Zhipeng Huang, Canmiao Fu, Chen Li, Jing Lyu, Yali Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot deux métiers très différents simultanément : décrire une image avec des mots (Compréhension) et redessiner cette image à partir de zéro (Génération).

Le problème est que ces métiers nécessitent des « langages » différents.

Pour décrire une image, le robot a besoin de concepts de haut niveau et abstraits (comme « un chien triste » ou « une plage ensoleillée »). Il n'a pas besoin de connaître la couleur exacte de chaque pixel individuel.
Pour redessiner une image, le robot a besoin de détails précis de bas niveau (comme la nuance exacte de bleu dans le ciel ou la texture du pelage). Il ne se soucie pas de la « tristesse » du chien, seulement des pixels.

L'ancienne méthode : l'approche « Jack of All Trades, Master of None » (Bon à tout, maître de rien)
Les tentatives précédentes ont essayé de forcer le robot à utiliser un seul ensemble de « jetons » (briques de construction numériques) pour accomplir les deux tâches. C'était comme demander à un chef de cuisine d'utiliser le même couteau pour hacher des légumes et pour effectuer une chirurgie délicate. Le résultat fut un compromis : le robot était passable pour décrire, passable pour dessiner, mais jamais excellent dans l'un ou l'autre.

La nouvelle solution : WinTok (l'approche « Équipe spécialisée »)
L'article présente WinTok, un nouveau système qui résout ce problème en donnant au robot deux ensembles d'outils différents qui travaillent ensemble mais restent séparés. Imaginez une équipe de construction avec deux équipes spécialisées :

L'équipe Pixel (Les Artistes) : Cette équipe gère les « Jetons Pixel ». Ils sont comme une équipe de peintres qui se concentrent entièrement sur les détails fins, les textures et les couleurs. Leur seul travail est de s'assurer que l'image finale ressemble exactement à l'originale. Ils excellent en Génération.
L'équipe Sémantique (Les Philosophes) : Cette équipe gère les « Jetons Apprenables ». Ils sont comme une équipe de critiques d'art qui observent l'image dans son ensemble et résumant l'idée principale (« C'est un chien », « C'est heureux »). Ils ne s'inquiètent pas des coups de pinceau ; ils capturent simplement le sens. Ils excellent en Compréhension.

Comment ils travaillent ensemble : la « Distillation Asymétrique »
Voici la partie ingénieuse : comment enseigner aux « Philosophes » (l'équipe Sémantique) d'être si intelligents sans les entraîner depuis zéro pendant des années ?

Les auteurs utilisent une technique appelée Distillation Asymétrique de Jetons. Imaginez un critique d'art célèbre et de classe mondiale (un « Modèle de Base » pré-entraîné) regardant une image et chuchotant l'« essence » de l'image à l'équipe Sémantique du robot. L'équipe du robot écoute, apprend et tente d'imiter la compréhension de cet expert.

La touche : L'expert n'enseigne rien de nouveau aux « Artistes » (équipe Pixel) ; ils continuent simplement à faire ce qu'ils font bien (peindre les détails).
Le résultat : L'équipe Sémantique devient une maîtresse du sens car elle a appris d'un expert, tandis que l'équipe Pixel reste une maîtresse du détail. Elles travaillent côte à côte sans se gêner mutuellement.

Le résultat : un Gagnant-Gagnant
Parce que les deux équipes ont des rôles clairs et séparés, le robot n'a pas besoin de faire de compromis.

Pour la Compréhension : Il utilise le résumé de l'équipe Sémantique pour répondre à des questions comme « Qui est sur cette photo ? » ou « Quelle est l'ambiance ? ». Il a obtenu 11,2 % de mieux en classification que le meilleur système précédent.
Pour la Génération : Il utilise les détails de l'équipe Pixel pour redessiner l'image. Il a atteint une qualité de reconstruction tout aussi bonne que les meilleurs systèmes, mais il l'a fait en utilisant beaucoup moins de données d'entraînement (50 millions d'images au lieu d'un milliard).

En résumé
WinTok est comme un restaurant qui a arrêté d'essayer d'avoir un seul chef faire tout. Au lieu de cela, il a embauché un Sous-chef qui est incroyable pour hacher et dresser les plats (Génération) et un Critique culinaire qui est incroyable pour décrire les saveurs et les ingrédients (Compréhension). En leur permettant de faire ce qu'ils font de mieux, le restaurant sert une meilleure nourriture (images) et écrit de meilleures critiques (descriptions) que jamais, tout en utilisant moins d'ingrédients (données).

Résumé Technique de WinTok

Énoncé du Problème
Les modèles multimodaux unifiés visent à combler le fossé entre la compréhension visuelle et la génération au sein d'un seul cadre autorégressif. Cependant, ces tâches imposent des exigences contradictoires sur la tokenisation visuelle. La compréhension visuelle nécessite des abstractions sémantiques de haut niveau et continues pour capturer des concepts abstraits, tandis que la génération visuelle repose sur des tokens discrets de bas niveau pour assurer une reconstruction précise des pixels et une synthèse haute fidélité. Les approches existantes font face à un dilemme :

Double Encodage : L'utilisation de tokeniseurs séparés pour chaque tâche évite le conflit mais introduit une complexité de modèle significative et échoue à réaliser une véritable unification.
Encodage Unifié : Forcer un seul jeu de tokens à gérer à la fois l'abstraction sémantique et la reconstruction des pixels conduit à des conflits d'optimisation, entraînant des compromis de performance où aucune tâche n'atteint des résultats optimaux.

Méthodologie : WinTok
Les auteurs proposent WinTok, un tokeniseur hybride concis conçu pour découpler les objectifs de compréhension et de génération visuelle tout en maintenant une architecture unifiée. L'innovation centrale réside dans la décomposition explicite des tâches à l'aide de deux types de tokens distincts au sein d'un seul encodeur unifié :

Architecture de Tokenisation Hybride :
- Encodeur Unifié : Un Vision Transformer (ViT) reçoit l'image d'entrée.
- Tokens de Pixels : L'encodeur génère des tokens de pixels à partir des patches d'image d'entrée. Ces tokens conservent des détails locaux riches et sont optimisés pour la génération visuelle.
- Tokens Sémantiques Apprenables : Un ensemble de tokens apprenables est introduit comme entrée supplémentaire à l'encodeur unifié. Ces tokens sont optimisés pour capturer des sémantiques globales de haut niveau destinées à la compréhension visuelle.
- Fusion : Les tokens de pixels et les tokens apprenables sont concaténés et traités par l'encodeur unifié, permettant une intégration adaptative des informations contextuelles complémentaires.
Distillation Asymétrique de Tokens :
Pour doter les tokens apprenables initialisés aléatoirement d'un fort pouvoir discriminatif, les auteurs introduisent un mécanisme de distillation asymétrique de tokens :
- Un modèle de fondation visuelle pré-entraîné (par exemple, SigLIP2) agit comme un « enseignant sémantique ».
- L'enseignant extrait des tokens sémantiques de l'image d'entrée.
- Un pooling global est appliqué à la fois aux tokens de l'enseignant et aux tokens apprenables du modèle pour obtenir des vecteurs globaux.
- Une perte de similarité cosinus guide l'optimisation des tokens apprenables afin qu'ils héritent des connaissances sémantiques de l'enseignant, transférant efficacement les capacités de représentation sans exiger que l'enseignant fasse partie du pipeline de génération.
Objectifs d'Entraînement :
- Perte Sémantique : Minimise la distance entre les tokens apprenables regroupés et les tokens sémantiques de l'enseignant.
- Perte de Pixels : Les tokens de pixels sont quantifiés via un module de Quantification Multi-Codebooks (MCQ) et reconstruits à l'aide d'un décodeur. L'optimisation inclut la perte de reconstruction des pixels, la perte d'apprentissage du codebook, la perte perceptuelle et la perte adversariale.

Contributions Clés

Découplage via des Tokens Transférables : WinTok résout le conflit inhérent entre la compréhension et la génération en utilisant des tokens apprenables pour l'abstraction sémantique et des tokens de pixels pour la reconstruction, évitant ainsi la complexité des double encodeurs.
Distillation Asymétrique : La méthode permet aux tokens apprenables d'hériter de fortes représentations sémantiques des modèles de fondation, améliorant les capacités de compréhension sans compromettre la fidélité de la génération.
Efficacité : L'approche atteint des performances élevées avec nettement moins de données d'entraînement (50 millions d'images) et une taille de codebook réduite par rapport à des bases de référence solides.

Résultats Expérimentaux
Évalué sur 10 benchmarks, WinTok démontre des améliorations constantes en reconstruction, compréhension et génération :

Reconstruction & Classification : Sur l'ensemble de validation ImageNet-1K, WinTok atteint une précision de classification Top-1 de 82,0 %, surpassant la base de référence solide UniTok de 11,2 %. Il maintient une qualité de reconstruction compétitive avec un rFID de 0,41, comparable à UniTok, malgré l'utilisation de données d'entraînement substantiellement inférieures (50 millions contre 1 milliard) et une capacité de codebook plus petite ( $2^{48}$ contre $2^{96}$ ).
Compréhension Multimodale : Intégré à un LLM (Qwen3-8B), WinTok surpasse UniTok sur le benchmark POPE de 3,3 % et obtient des résultats compétitifs sur GQA, TextVQA et MMBench.
Génération Visuelle : Dans les tâches de génération d'images à partir de texte (GenEval et DPG-Bench), WinTok surpasse UniTok (0,76 contre 0,59 sur GenEval) et montre des performances compétitives face aux modèles de diffusion à grande échelle et à d'autres systèmes autorégressifs.
Études d'Ablation : Les expériences confirment que l'augmentation du nombre de tokens apprenables améliore les deux tâches. De plus, inverser les rôles (utiliser des tokens apprenables pour la reconstruction) dégrade sévèrement les performances, validant le choix de conception spécifique de séparation des responsabilités sémantiques et de pixels.

Signification et Affirmations
L'article affirme que WinTok offre une direction prometteuse pour la modélisation multimodale unifiée en équilibrant efficacement les besoins divergents de la compréhension et de la génération visuelle. En décomposant ces objectifs grâce à des tokens transférables, WinTok atteint une performance « gagnant-gagnant » où les deux tâches bénéficient sans la surcharge des architectures doubles. Les auteurs notent que, bien que l'implémentation actuelle soit contrainte par un jeu de données de 50 millions d'échantillons et des choix architecturaux spécifiques, la stratégie de codage hybride fournit une base flexible pour la recherche future, en particulier dans l'augmentation des corpus d'entraînement et la conception conjointe d'architectures unifiées.

Résumé Technique de WinTok

Articles similaires