🤖 machine learning

InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

Ce papier propose InfoTok, un mécanisme de tokenisation visuelle régularisé par l'information et fondé sur le principe du goulot d'information, qui améliore les performances des modèles multimodaux unifiés en optimisant le compromis entre compression et pertinence des tâches sans nécessiter de données d'entraînement supplémentaires.

Auteurs originaux : Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un chef d'orchestre universel capable de faire deux choses très différentes en même temps :

Comprendre une image (dire ce qu'il voit, comme un critique d'art).
Créer une image (dessiner ce qu'on lui demande, comme un artiste).

Le problème, c'est que pour faire ces deux métiers, le chef d'orchestre a besoin d'un langage commun (des "jetons" ou des mots-clés) pour décrire les images. Mais ce langage est limité : il ne peut pas contenir tout le détail d'une photo (chaque brin d'herbe, chaque reflet de lumière) car cela prendrait trop de place dans sa mémoire.

C'est là que le papier InfoTok intervient avec une idée brillante.

Le Problème : Le "Trousseau de Clés" Trop Encombrant

Actuellement, les modèles d'intelligence artificielle essaient de tout mettre dans leur trousse de clés. Ils gardent les détails importants (le visage d'un chien) mais aussi beaucoup de "bruit" inutile (la texture du pelage, des ombres aléatoires).

Pour comprendre une image, on a besoin des grandes idées (c'est un chien).
Pour dessiner une image, on a besoin des détails précis (la couleur du museau).

Quand on essaie de faire les deux avec le même trousse de clés, on se retrouve avec un sac trop lourd. Le modèle essaie de tout garder, ce qui le rend confus et moins performant, un peu comme un étudiant qui essaie de mémoriser chaque mot d'un livre au lieu d'en comprendre l'histoire.

La Solution : InfoTok (Le Tri Intelligent)

Les auteurs proposent InfoTok, une méthode qui agit comme un filtre de tri très intelligent.

Imaginez que votre cerveau est un valise de voyage avec une taille de bagage stricte (la "capacité limitée"). Vous devez voyager à la fois en tant que touriste (qui veut voir les paysages) et en tant que photographe (qui veut capturer les détails).

L'approche ancienne : Vous essayez de tout mettre dans la valise. Résultat ? Vous devez jeter des choses au dernier moment, ou votre valise explose, et vous ne pouvez ni bien voir ni bien photographier.
L'approche InfoTok : Avant même de fermer la valise, vous appliquez une règle stricte basée sur l'information.
- Vous vous demandez : "Est-ce que cet objet est utile pour comprendre l'histoire de l'image ?" (Exemple : la forme du chien).
- Vous vous demandez : "Est-ce que cet objet est utile pour recréer l'image ?" (Exemple : la couleur du chien).
- Le rejet : Vous jetez tout ce qui est du "bruit" ou de la redondance (les variations aléatoires de la lumière, les détails trop complexes qui ne servent à rien).

Comment ça marche ? (L'Analogie du "Contrat d'Information")

InfoTok utilise une théorie mathématique appelée le Principe du Goulot d'Étranglement de l'Information (Information Bottleneck). C'est un peu comme signer un contrat avec votre cerveau :

Compression (Le Tri) : "Je ne garde que l'essentiel." On réduit la taille des données en éliminant le superflu.
Pertinence (L'Utilité) : "Mais je garde tout ce qui est nécessaire pour réussir mes tâches." On s'assure que l'essentiel reste intact.
Harmonie (La Cohérence) : "Et je m'assure que ce que je garde s'entend bien avec le texte." (Si le texte dit "chat", l'image doit bien dire "chat", pas "chien").

En pratique, InfoTok force le modèle à apprendre à sélectionner les informations les plus précieuses, au lieu de les ingérer toutes bêtement.

Les Résultats Magiques

Les auteurs ont testé cette méthode sur trois modèles d'intelligence artificielle différents. Le résultat est surprenant :

Sans ajouter de nouvelles données (ils n'ont pas eu à apprendre de nouvelles photos), les modèles sont devenus meilleurs à la fois pour comprendre et pour dessiner.
C'est comme si on avait donné un manuel de tri à un bibliothécaire débordé : il n'a pas besoin de plus de livres, il sait juste mieux ranger ceux qu'il a déjà.

En Résumé

InfoTok, c'est l'art de dire "Non" aux détails inutiles pour mieux dire "Oui" à l'essentiel.

Au lieu de construire des modèles plus gros et plus gourmands en énergie, les auteurs disent : "Arrêtons de tout stocker. Apprenons à trier l'information comme un expert." C'est une approche plus intelligente, plus économe et qui donne de meilleurs résultats, un peu comme passer d'un camion de déménagement rempli de paille à une valise de voyage parfaitement organisée.

1. Problématique et Contexte

Les modèles de langage multimodaux unifiés (Unified MLLMs) visent à intégrer la compréhension d'images et la génération d'images au sein d'un seul cadre architectural. Un composant central de ces modèles est le tokeniseur visuel partagé, qui convertit une image haute dimension en une séquence de tokens pour le modèle de langage (LLM).

Cependant, une tension fondamentale existe entre les deux tâches :

Compréhension (Understanding) : Nécessite une abstraction sémantique (concepts, relations).
Génération (Generation) : Nécessite des détails perceptifs fins (textures, couleurs précises).

Les approches actuelles utilisent soit des encodeurs découplés (complexité architecturale accrue), soit des tokeniseurs partagés purement guidés par l'architecture et les pertes de tâche. Ces dernières souffrent d'un manque de critère explicite pour déterminer quelles informations doivent être préservées dans un budget de tokens limité. Souvent, les tokeniseurs partagés gaspillent leur capacité sur des variations à haute entropie (bruit, détails non exploitables) plutôt que sur des structures réutilisables, ce qui nuit à l'équilibre entre abstraction et fidélité.

2. Méthodologie : InfoTok

Les auteurs proposent InfoTok, un mécanisme de régularisation basé sur le Principe du Goulot d'Étranglement de l'Information (Information Bottleneck - IB). L'approche considère le tokeniseur visuel comme un "apprenant borné par le calcul" (compute-bounded learner) qui doit allouer son budget de représentation de manière optimale.

A. Objectif Théorique (Principe IB Étendu)

InfoTok reformule l'objectif de tokenisation partagée comme un compromis entre compression et pertinence de la tâche, formalisé par des termes d'information mutuelle (MI) :

Compacité (Compactness) : Minimiser l'information mutuelle entre l'image d'entrée et les tokens ( $I(\tilde{Z}; I)$ ) pour supprimer les redondances et les variations à haute entropie.
Suffisance (Sufficiency) : Maximiser l'information mutuelle entre les tokens et les cibles de tâche ( $I(\tilde{Z}; Y^{GT})$ ) pour garantir que les tokens contiennent assez d'informations pour la compréhension et la génération.
Alignement (Alignment) : Maximiser l'information mutuelle entre les tokens visuels et les embeddings textuels ( $I(\tilde{Z}; T)$ ) pour assurer la cohérence inter-modale.

L'objectif global est une somme pondérée de ces termes pour les branches de compréhension et de génération.

B. Estimation Pratique

Le calcul direct de l'information mutuelle est intraitable pour des représentations visuelles de haute dimension. InfoTok propose deux estimateurs différentiables pour rendre l'objectif calculable :

Variational Information Bottleneck (VIB) : Utilise une borne variationnelle (approximation gaussienne) pour estimer les termes de MI.
Hilbert Schmidt Independence Criterion (HSIC) : Une mesure de dépendance basée sur les noyaux (kernels) qui ne nécessite pas de modélisation explicite de la densité de probabilité.

C. Mise en œuvre

InfoTok est appliqué comme une étape de fine-tuning sur des MLLMs unifiés pré-entraînés (sans données supplémentaires).

Des projections légères spécifiques à la tâche sont ajoutées pendant l'entraînement pour définir les termes de régularisation.
Une contrainte de distillation est introduite pour transférer la structure régularisée des projections vers le tokeniseur visuel partagé ( $V_{enc}$ ) lui-même, assurant que l'encodeur principal apprend à produire des tokens compacts et suffisants.

3. Contributions Clés

Perspective contrainte par la capacité : Introduction d'une nouvelle perspective considérant le tokeniseur visuel comme un apprenant avec un budget de représentation fini, nécessitant une allocation explicite vers des structures réutilisables plutôt que vers du bruit.
Objectif fondé sur la théorie de l'information : Formalisation de l'apprentissage de tokens partagés via le principe IB, avec des instantiations pratiques (VIB et HSIC) pour réguler le flux d'information.
Amélioration sans données supplémentaires : Démonstration que la régularisation informationnelle améliore simultanément la compréhension et la génération sur plusieurs modèles de pointe, sans nécessiter de nouveaux jeux de données ni de changements architecturaux majeurs.
Analyse théorique et empirique : Preuve que les projections spécifiques à la tâche ne peuvent pas augmenter l'information mutuelle par rapport à la sortie de l'encodeur (inégalité de traitement des données), justifiant ainsi la régularisation de l'encodeur via ces projections.

4. Résultats Expérimentaux

Les auteurs ont évalué InfoTok sur trois MLLMs unifiés représentatifs : Harmon, OpenUni et Show-o2.

Performance Globale : InfoTok améliore systématiquement les performances sur les benchmarks de compréhension (UniBench, GQA, MME, etc.) et de génération (Geneval, WISE, Geneval++).
Qualité Visuelle et Instruction : Les résultats qualitatifs montrent une meilleure adhérence aux instructions (respect des positions, des attributs) et une qualité de génération supérieure, avec moins de détails redondants ou distrayants.
Robustesse : Les gains sont observés avec les estimateurs VIB et HSIC, indiquant que le principe de régularisation est plus important que le choix spécifique de l'estimateur.
Analyse de Fréquence : Une analyse CKA (Centered Kernel Alignment) décomposée en fréquences révèle que InfoTok augmente l'alignement des tokens avec les composantes basse fréquence (structure, forme) tout en réduisant l'alignement avec les composantes haute fréquence (bruit, textures superflues). Cela confirme que la méthode favorise les structures réutilisables.
Comparaison avec d'autres régularisations : Contrairement à la régularisation par entropie ou au dropout de tokens qui dégradent souvent les performances, InfoTok apporte des gains cohérents.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la conception des MLLMs unifiés. Au lieu de se fier uniquement à l'ingénierie architecturale ou à l'augmentation des données, il propose que le contrôle explicite du flux d'information via des principes théoriques (IB) est une méthode puissante pour apprendre des représentations visuelles partagées.

InfoTok démontre qu'il est possible d'obtenir un espace de tokens équilibré, capable de soutenir à la fois l'abstraction sémantique et la fidélité perceptuelle, simplement en régulant ce qui est compressé et ce qui est préservé. Cela ouvre la voie à des designs de modèles plus stables et plus efficaces, où la régularisation informationnelle devient un outil de conception fondamental pour l'apprentissage multimodal unifié.