Résumé Technique : Modèle de Langage Génératif Unifié de Tokens Pix et de Tokens Mot

1. Énoncé du Problème

Les auteurs identifient des limitations critiques dans les modèles multimodaux open-source les plus avancés actuels (par exemple, LLaVA, Kimi-2.5, Qwen-2.5-VL) qui reposent sur des Transformers de Vision (ViT) pré-entraînés via des méthodes de contraste comme CLIP ou SigLIP en tant qu'encodeurs visuels. L'article soutient que cette architecture souffre de quatre problèmes principaux :

1. Perte de Détail : Le ViT encode les images en vecteurs de caractéristiques similaires au texte, ce qui peut échouer à représenter des détails fins tels que de petits textes ou des chiffres au sein d'une image.
2. Instabilité (La « Réaction en Chaîne ») : De légères modifications dans une image (par exemple, le changement d'un numéro de plaque d'immatriculation de 1 à 6) provoquent le changement de tous les nombres à virgule flottante dans les caractéristiques encodées, conduisant à des représentations instables.
3. Embeddings de Tokens « Faux » : Le ViT génère des embeddings de tokens en découpant les pixels en patches. Ces embeddings manquent de paramètres véritablement ajustables, limitant leur pouvoir expressif par rapport aux tokens de mots dans les Grands Modèles de Langage (LLM).
4. Limitations de l'Entraînement Supervisé : CLIP et SigLIP reposent sur un entraînement supervisé avec des ensembles de données limités, conduisant à des déficiences potentielles dans des scénarios hors distribution.

2. Méthodologie

L'article propose un Modèle de Langage Génératif Unifié de Tokens Pix et de Tokens Mot qui traite les pixels d'image comme des tokens de premier ordre, similaires aux mots, éliminant ainsi le besoin d'un encodeur ViT séparé. La méthodologie se compose de trois composants principaux :

2.1 Embedding de Token Pix

Au lieu du découpage en patches, le modèle attribue un embedding de token unique et apprenable à chaque pixel individuel.

• Calcul du Token : Un pixel avec des valeurs RVB $(r, g, b)$ est mappé à une valeur de token unique utilisant la formule : $TokenValue = r + g \times L + b \times L^2$, où $L$ est la longueur du canal de couleur (par défaut 256).
• Espace d'Embedding : Cela crée un vocabulaire de $256^3$ (environ 16,7 millions) de tokens. Chaque token possède son propre vecteur d'embedding indépendant et entraînable de dimension $d$, permettant des paramètres ajustables similaires aux tokens de mots.
• Prétraitement Sans Perte : Contrairement aux méthodes traditionnelles qui normalisent les valeurs RVB en nombres à virgule flottante (introduisant des erreurs de troncature), cette méthode utilise une tokenisation basée sur des entiers, assurant un prétraitement des données sans perte.

2.2 Pliage des Couleurs

Pour résoudre l'impossibilité computationnelle d'une taille de vocabulaire de 16,7 millions, les auteurs introduisent le Pliage des Couleurs.

• Concept : Un « Facteur de Pliage » ($f$) réduit la longueur du canal de couleur de $L$ à $L/f$. La nouvelle valeur de couleur devient $(R//f, G//f, B//f)$.
• Raison d'être : Les auteurs soutiennent que l'œil humain ne peut pas distinguer les différences de couleur infimes (par exemple, des changements de 8 unités dans un canal 8 bits). Réduire l'espace colorimétrique (par exemple, en utilisant un facteur de pliage de 16) réduit drastiquement la taille du vocabulaire de tokens (à 4 096 pour $f=16$) et la charge computationnelle tout en maintenant la fidélité visuelle.

2.3 Architecture de Modèle Unifiée

Le modèle intègre les tokens de mots et les tokens de pix dans une seule séquence générative.

• Approximation de Fenêtre Globale vers Locale : Pour éviter la complexité $O(N^2)$ de l'attention auto-globale sur de longues séquences de pixels, le modèle convertit la séquence globale de pixels en un lot de fenêtres locales.
• Attention de Fenêtre Locale : Au sein de chaque fenêtre, une attention auto-multiprise masquée est effectuée.
• Approximation d'Attention Conditionnelle Globale : Le modèle extrait le dernier embedding de token de chaque fenêtre locale. Ces embeddings sont ensuite combinés avec les embeddings de tokens de mots et transmis aux décodeurs transformeurs suivants. Les auteurs affirment que cela approxime l'attention conditionnelle globale, car la probabilité de la sortie $Y$ étant donné l'entrée est approximée par la probabilité étant donné les représentations agrégées des fenêtres locales.
• Stratégie de Prédiction : Le modèle prédit le token suivant, qui peut être soit un token de mot, soit le premier token de pixel de la fenêtre locale suivante.

3. Contributions Clés

1. Tokenisation Vraie par Pixel : La proposition d'« Embeddings de Token Pix » où chaque pixel possède un embedding indépendant et entraînable, contrastant avec les embeddings « faux » basés sur les patches du ViT.
2. Pliage des Couleurs : Une technique novatrice pour réduire la complexité computationnelle de la tokenisation des pixels en quantifiant l'espace colorimétrique basé sur les limites de la perception visuelle humaine, rendant ainsi l'entraînement par pixel non supervisé réalisable.
3. Architecture Unifiée : Un modèle génératif qui unifie les tokens de texte et d'image en une seule séquence, permettant au modèle d'effectuer une attention auto et une prédiction de tokens sur les deux modalités simultanément.
4. Pré-entraînement Non Supervisé d'Images : Un cadre permettant aux modèles d'apprendre des motifs directement à partir de masses de données d'images sans étiquettes supervisées, reflétant le succès du pré-entraînement textuel de GPT-3.

4. Résultats Expérimentaux

Les auteurs ont mené des expériences se concentrant sur le pré-entraînement non supervisé d'images en raison de ressources informatiques limitées.

• Configuration : Un petit modèle (120 millions de paramètres) a été entraîné sur 100 000 échantillons du jeu de données llava-cc3m-pretrain-595k (environ 5 milliards de tokens de pixels). La taille de l'image était de 224x224 avec un facteur de pliage des couleurs de 16.
• Constats :
  • Les courbes de perte d'entraînement et de validation ont convergé de manière similaire au pré-entraînement textuel de GPT-3, mais avec une convergence plus rapide par rapport au nombre de tokens de pixels traités.
  • Le modèle a démontré sa capacité à apprendre des motifs de séquences de tokens de pixels même avec un faible nombre de paramètres et des données limitées.
• Limitations : Les auteurs déclarent explicitement qu'ils n'ont pas pu tester des modèles à grande échelle ou un pré-entraînement mixte texte-image en raison de contraintes de ressources.

5. Signification et Revendications

L'article affirme que cette architecture représente un changement fondamental dans l'apprentissage multimodal :

• Évolutivité : Les auteurs estiment que le modèle se conforme à la loi d'échelle ; à mesure que les paramètres du modèle et les données d'entraînement augmentent, les performances continueront de s'améliorer, surpassant potentiellement les approches actuelles basées sur le ViT.
• Robustesse : En isolant les changements de pixels à des embeddings de tokens spécifiques plutôt qu'en altérant un vecteur de caractéristiques entier, le modèle est plus robuste aux perturbations mineures de l'image.
• Potentiel Futur : Les auteurs posent que cette méthode pourrait remplacer le pipeline CLIP/SigLIP en production, offrant une approche plus détaillée, stable et évolutive pour la compréhension visuelle. Ils expriment l'espoir qu'avec des ressources informatiques suffisantes, le potentiel du modèle pourrait bénéficier à l'humanité dans son ensemble.

L'article conclut que le modèle proposé unifie avec succès les tokens de pixels et de mots, permettant un prétraitement sans perte et un pré-entraînement non supervisé, résolvant ainsi les limitations inhérentes des encodeurs visuels actuels basés sur l'apprentissage par contraste.