Résumé Technique : Une Tokenisation d'Image Plus Proche du Mot pour les MLLM

1. Énoncé du Problème

Les Modèles de Langage Multimodaux (MLLM) emploient généralement un encodeur visuel pré-entraîné et un Grand Modèle de Langage (LLM) fixe, connectés par un projecteur visuel. L'objectif est de mapper les pixels d'une image en une séquence de tokens dans l'espace d'embedding du LLM. Cependant, les auteurs identifient un décalage structurel fondamental entre les tokens visuels actuels et les tokens discrets, dotés d'une signification sémantique, que les LLM sont optimisés pour traiter.

L'article met en évidence trois écarts principaux :

1. Enchevêtrement Sémantique : Contrairement aux tokens textuels générés par des tokeniseurs discrets (par exemple, BPE) qui sont des unités indépendantes, les caractéristiques de patchs visuels issues des Transformers de Vision (ViT) sont hautement enchevêtrées. L'auto-attention répétée dans les encodeurs visuels homogénéise les embeddings, provoquant un mélange sémantique des patchs. Les projecteurs linéaires préservent cette redondance, aboutissant à des tokens visuels fortement corrélés et dépourvus de frontières sémantiques distinctes.
2. Budget de Tokens Fixe : Les méthodes existantes (par exemple, l'agrégation sur grille fixe, les rééchantillonneurs) produisent un nombre fixe de tokens indépendamment de la complexité de l'image. Cela entraîne une redondance dans les scènes simples et une perte de détails dans les scènes complexes, échouant à imiter la nature de longueur variable des descriptions linguistiques.
3. Absence de Contrôle de la Granularité : La tokenisation visuelle actuelle repose sur des opérations spatiales sans mécanisme principiel pour contrôler le niveau de détail (granularité) par token, contrairement à la tokenisation textuelle qui équilibre les sous-mots et les mots entiers.

Par conséquent, les entrées visuelles se comportent différemment des unités « proches du mot » que les LLM attendent, entraînant une utilisation inefficace du cache KV, une latence accrue et des capacités de raisonnement sous-optimales.

2. Méthodologie : Tokenisation Visuelle Désenchevêtrée (DiVT)

Les auteurs proposent DiVT, une approche de tokenisation visuelle basée sur le clustering, conçue pour aligner les représentations visuelles sur la nature discrète des tokens LLM. DiVT fonctionne sans modifier l'encodeur visuel ni le squelette du LLM, servant de projecteur entraînable.

Le processus se compose de quatre étapes :

2.1. Clustering Initial des Patchs (Sélection Adaptative des Centroïdes)

Au lieu d'imposer un nombre fixe de tokens, DiVT détermine dynamiquement le nombre de clusters en fonction de la distribution des caractéristiques des patchs d'image.

• Mécanisme : Il calcule une matrice de similarité cosinus par paire des caractéristiques des patchs. En utilisant un seuil de similarité $\theta$, il construit un graphe de voisinage.
• Algorithme : Un algorithme glouton sélectionne le patch ayant le plus haut degré (le plus de voisins) comme centroïde. Tous les voisins dans le seuil sont assignés à ce cluster et retirés du pool de candidats. Cela se répète jusqu'à ce qu'aucun patch ne reste.
• Résultat : Cela garantit que les centroïdes sont sémantiquement distincts et que le nombre de tokens s'adapte à la complexité intrinsèque de l'image (plus de tokens pour les scènes complexes, moins pour les scènes simples).

2.2. Raffinement des Clusters

La sélection gloutonne initiale peut assigner un patch à un centroïde sous-optimal. Pour parvenir à un meilleur désenchevêtrement sémantique, la méthode réassigne chaque patch au centroïde ayant la plus haute similarité, garantissant que chaque cluster contient des patchs partageant une sémantique cohérente.

2.3. Formulation du Token Visuel

Une fois les clusters finalisés, un seul token visuel est généré pour chaque cluster.

• Attention Croisée : Le centroïde du cluster agit comme la requête ($Q$), tandis que tous les patchs du cluster servent de clés ($K$) et de valeurs ($V$).
• Encodage Positionnel : Des embeddings positionnels appris sont injectés uniquement dans la branche des valeurs pour préserver le contexte spatial sans perturber les scores d'attention.
• Masquage : Un masque d'attention restreint au cluster garantit que les tokens n'agrègent des informations que de leur propre cluster, empêchant la contamination croisée de concepts sémantiques non liés.
• Agrégation : Le résultat est passé à travers un MLP pour produire le token final.

2.4. Contrôle de la Granularité Sémantique

Le seuil de similarité $\theta$ agit comme un bouton réglable pour la granularité sémantique :

• $\theta$ élevé : Critères de regroupement plus stricts, résultant en plus de tokens à granularité fine (plus de détails, plus de calcul).
• $\theta$ faible : Regroupement plus large, résultant en moins de tokens à granularité grossière (moins de détails, moins de calcul).
• Flexibilité d'Inférence : Crucialement, $\theta$ peut être ajusté au moment de l'inférence sans réentraînement, permettant aux praticiens d'arbitrer entre le détail représentatif et la mémoire ou la latence.

3. Contributions Clés

1. Désenchevêtrement Sémantique : DiVT regroupe explicitement les embeddings de patchs en unités sémantiques cohérentes, répondant à l'enchevêtrement inhérent aux caractéristiques de patchs ViT standard.
2. Budget de Tokens Adaptatif : La méthode alloue dynamiquement les nombres de tokens en fonction de la complexité de l'image, évitant la redondance des approches à budget fixe.
3. Ajustement d'Inférence sans Entraînement : La capacité d'ajuster le seuil de similarité $\theta$ lors de l'inférence permet des compromis flexibles coût-performance sans réentraîner le modèle.
4. Agnosticisme de l'Encodeur et du LLM : L'approche est conçue pour fonctionner avec divers encodeurs visuels (CLIP, SigLIP, DINOv2) et s'adapte efficacement à des LLM plus grands (par exemple, 13 milliards de paramètres).

4. Résultats Expérimentaux

Les auteurs ont évalué DiVT sur les architectures LLaVA-1.5 7B et 13B à travers huit benchmarks (MMBench, VQAv2, GQA, MME, MM-Vet, TextVQA, SQA-IMG, POPE).

• Performance vs Nombre de Tokens : DiVT égale ou dépasse les bases de référence (incluant MLP, ToME, FastV, PruMerge, VisionZip et TokenPacker) en utilisant significativement moins de tokens.
  • Par exemple, avec environ 136,5 tokens (contre 576 pour le MLP complet), DiVT atteint des performances comparables sur MMBench (66,7 contre 64,3) et VQAv2 (78,2 contre 78,5).
  • Sous des budgets serrés (par exemple, environ 35 tokens), DiVT surpasse nettement les autres méthodes, démontrant une robustesse là où la réduction de tokens dégrade habituellement les performances.
• Comparaison avec les Projecteurs : DiVT surpasse les autres projecteurs visuels (Resampler, C-Abstractor, Pixel-Shuffle) sur les tâches de conversation générale et de VQA tout en restant compétitif sur des tâches spécialisées.
• Analyse Qualitative : Les cartes d'attention montrent que DiVT produit des motifs d'attention plus focalisés et sémantiquement cohérents par rapport à l'attention dispersée des projecteurs MLP standard.
• Contrôle de la Granularité : Les expériences montrent que les modèles entraînés avec un $\theta$ spécifique peuvent être évalués avec différentes valeurs de $\theta$ lors de l'inférence avec une perte de performance minimale, validant la flexibilité de l'approche.

5. Signification et Revendications

L'article revendique que DiVT comble le « fossé modal » entre les entrées visuelles et textuelles en créant des tokens visuels qui se comportent davantage comme des « mots ». En désenchevêtrant explicitement l'information sémantique et en adaptant le budget de tokens à la complexité de l'image, DiVT offre un mécanisme pratique pour :

• Réduire les Coûts Computations : Diminuer significativement l'utilisation de la mémoire (cache KV) et la latence en réduisant le nombre de tokens visuels.
• Améliorer la Compatibilité : Rendre les entrées visuelles plus compatibles avec les capacités de raisonnement discret des LLM.
• Permettre un Déploiement Flexible : Fournir un bouton sans entraînement pour les praticiens afin d'équilibrer précision et ressources de calcul lors de l'inférence.

Les auteurs soulignent que leur méthode ne nécessite pas de supervision externe (comme des annotations d'objets) ni un entraînement multi-étapes complexe, s'appuyant uniquement sur l'objectif de modélisation du langage pour façonner les tokens visuels. Cela fait de DiVT une solution légère, plug-and-play pour une compréhension multimodale rentable et alignée avec l'humain.