🤖 AI

Mull-Tokens: Modality-Agnostic Latent Thinking

Le papier présente Mull-Tokens, un cadre de tokens latents agnostique à la modalité qui permet aux modèles multimodaux d'effectuer un raisonnement intermédiaire libre entre les modalités textuelle et visuelle, améliorant considérablement les performances sur des tâches complexes de résolution spatiale et d'énigmes sans recourir à des appels d'outils fragiles ou à une génération d'images coûteuse.

Auteurs originaux : Arijit Ray, Ahmed Abdelkader, Chengzhi Mao, Bryan A. Plummer, Kate Saenko, Ranjay Krishna, Leonidas Guibas, Wen-Sheng Chu

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arijit Ray, Ahmed Abdelkader, Chengzhi Mao, Bryan A. Plummer, Kate Saenko, Ranjay Krishna, Leonidas Guibas, Wen-Sheng Chu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Penser en Une Dimension

Imaginez que vous essayez de résoudre un puzzle 3D complexe, comme un Rubik's cube ou un puzzle en pièces. Si vous essayez de le résoudre en utilisant uniquement des mots, vous pourriez dire : « Déplacez la pièce rouge vers la gauche, puis faites tourner la bleue. » Mais les mots sont lents et maladroits pour cela ; ils ne peuvent pas facilement décrire la forme, la profondeur, ou comment les pièces s'assemblent dans l'espace.

Les modèles d'IA actuels sont excellents pour parler (texte) et excellents pour voir (images), mais lorsqu'ils tentent de raisonner sur l'espace, le temps ou le mouvement des objets, ils trébuchent souvent.

L'Ancienne Méthode (Texte Uniquement) : L'IA tente de décrire le puzzle avec des mots. Elle se perd dans les détails et fait des erreurs.
La Méthode « Trop » (Image + Texte) : Certains chercheurs ont essayé de faire « dessiner » leurs pensées à l'IA. Mais c'est comme demander à un chef d'arrêter de cuisiner, d'écrire une recette, de dessiner une image du plat, d'écrire une autre recette, puis enfin de servir le plat. C'est coûteux, lent, et l'IA est souvent confuse quant à quelle image correspond à quelle phrase.

La Solution : Le « Mult-Token » (Le Brouillon Magique)

Les auteurs proposent un outil plus simple et plus intelligent appelé Mult-Tokens.

Imaginez le cerveau de l'IA comme une cuisine.

Les tokens texte sont comme les instructions verbales du chef.
Les tokens image sont comme le chef dessinant réellement une image sur un bloc-notes.
Les Mult-Tokens sont comme un brouillon magique et invisible.

Lorsque l'IA fait face à un problème difficile (comme un puzzle spatial), au lieu de crier un long paragraphe de mots ou de dessiner une image complète, elle s'arrête et écrit sur ce brouillon invisible.

Pourquoi est-ce magique ?

C'est Agnostique de la Modalité : C'est le terme fancy pour « cela ne se soucie pas de la forme que prend la pensée ». Le brouillon peut contenir une image mentale d'un cube en rotation ou une carte symbolique d'un itinéraire. Cela n'a pas besoin d'être un mot, et cela n'a pas besoin d'être une image complète. C'est simplement de la « donnée de pensée » pure.
C'est Compact : Une explication basée sur du texte typique pourrait prendre 200 mots. Une image complète pourrait prendre des centaines de pixels. L'approche Mult-Token résout le problème en utilisant seulement 20 à 40 tokens. C'est comme la différence entre écrire un essai de 10 pages pour expliquer un problème de mathématiques versus griffonner simplement la formule clé sur une serviette.

Comment Ils L'Ont Entraîné : La Routine de Gymnastique en Trois Étapes

Les chercheurs n'ont pas simplement donné le brouillon à l'IA ; ils ont dû lui apprendre à l'utiliser. Ils ont utilisé un processus d'entraînement en trois étapes :

L'Échauffement (Apprendre le Langage de la Pensée) :
D'abord, ils ont montré à l'IA des exemples de personnes résolvant des puzzles. Parfois, la solution impliquait un dessin, parfois une phrase. Ils ont appris aux Mult-Tokens à imiter ces étapes.
- Analogie : C'est comme un étudiant regardant un professeur résoudre un problème de mathématiques, voyant parfois le professeur écrire des chiffres, parfois le voyant dessiner un graphique. L'étudiant apprend que le « brouillon » peut contenir les deux.
La Pratique Libre (Lâcher Prise) :
Ensuite, ils ont cessé de montrer à l'IA comment résoudre le problème. Ils ont seulement montré la réponse finale. On a dit à l'IA : « Voici le puzzle. Utilise ton brouillon pour le résoudre, mais je ne te dirai pas quoi écrire dessus. Trouve simplement la bonne réponse. »
- Analogie : Le professeur arrête de donner des indices et dit simplement : « Résous ceci. » L'étudiant apprend à utiliser le brouillon de la manière qui fonctionne le mieux pour lui, pas juste en copiant le professeur.
Le Renforcement (Récompenser la Bonne Pensée) :
Enfin, ils ont utilisé une technique appelée GRPO (Apprentissage par Renforcement). Si l'IA utilisait son brouillon pour obtenir la bonne réponse, elle obtenait une « étoile d'or ». Si elle devinait sans réfléchir, elle n'obtenait rien. Cela a encouragé l'IA à réellement utiliser le brouillon pour raisonner, plutôt que de simplement deviner.

Les Résultats : Plus Rapide et Plus Intelligent

Le papier a testé cette nouvelle méthode sur quatre benchmarks difficiles impliquant des puzzles, un raisonnement spatial 3D et une analyse vidéo.

La Victoire : L'IA avec Mult-Tokens a obtenu 3 % de mieux en moyenne que les meilleures méthodes existantes. Sur les tests de puzzles les plus difficiles, elle s'est améliorée de 16 %.
La Vitesse : Parce qu'elle utilise seulement ~20 « tokens de pensée » au lieu de centaines de mots ou d'images, elle est beaucoup plus rapide et moins chère à exécuter.
La Flexibilité : L'IA a appris à décider quand utiliser le brouillon. Pour certaines questions faciles, elle a sauté le brouillon. Pour les puzzles spatiaux difficiles, elle l'a utilisé abondamment.

La Conclusion

Le papier soutient que nous n'avons pas besoin de forcer l'IA à « parler » ou à « dessiner » pour penser profondément. Au lieu de cela, nous pouvons lui donner un espace latent agnostique de la modalité – une « salle de pensée » privée et interne où elle peut mélanger images et concepts librement, sans la surcharge de générer des phrases complètes ou des images.

C'est comme donner à un humain un monologue intérieur silencieux qui peut visualiser un objet 3D sans avoir à le décrire à voix haute. Le résultat est une IA meilleure pour les puzzles spatiaux, plus rapide et plus efficace.

1. Énoncé du problème

Les modèles de langage multimodaux de grande taille (MLLM) actuels peinent à résoudre des tâches complexes de raisonnement spatial et visuel (par exemple, résoudre des énigmes, des tests de QI, des relations spatiales en 3D). Les approches existantes souffrent de plusieurs limitations :

Chaîne de pensée (CoT) textuelle uniquement : Bien qu'efficace pour la logique verbale, le raisonnement textuel seul a tendance à « dériver » des entrées visuelles, échouant à capturer la causalité spatiale ou les contraintes géométriques.
Génération explicite d'images : Les méthodes générant des images ou des croquis intermédiaires sont coûteuses en calcul, lentes et souvent fragiles.
Latents intercalés image-texte : Les tentatives récentes d'intercaler des tokens visuels explicites avec un raisonnement textuel (par exemple, MVoT, MIRAGE) ont donné des résultats contradictoires. Elles souffrent souvent d'un biais de changement de modalité, où le modèle revient par défaut au texte même lorsqu'il est invité à utiliser des images, ou où les performances se dégradent lorsqu'il est forcé à changer explicitement de modalité.
Pénurie de données : De nombreuses méthodes nécessitent des ensembles de données sur mesure, coûteux, contenant des traces de raisonnement alignées texte-image.

Le défi central consiste à permettre aux modèles de « penser » dans un espace unifié capable de représenter à la fois des informations visuelles et textuelles, sans la surcharge de la génération d'images explicites ni la fragilité du changement de modalité forcé.

2. Méthodologie : $\mu$ -Tokens

Les auteurs proposent les $\mu$ -Tokens (tokens multimodaux), un ensemble de tokens latents agnostiques à la modalité qui agissent comme un « brouillon » interne pour le modèle. Ces tokens peuvent encoder dynamiquement des concepts visuels (par exemple, agencements d'objets, cartes de profondeur) ou des concepts textuels selon la tâche, sans jamais être décodés en texte ou en images explicites durant la phase de raisonnement.

Cadre d'entraînement

Le processus d'entraînement suit un cadre en trois étapes inspiré du raisonnement latent et de l'apprentissage par renforcement :

Étape 1 : Échauffement (Affinage supervisé)
- Objectif : Enseigner aux $\mu$ -Tokens à s'ancrer sur des étapes spécifiques de raisonnement multimodal.
- Données : Utilisation de traces de raisonnement intercalées texte-image (par exemple, issues de Zebra-CoT, Video-R1).
- Mécanisme : Le modèle est entraîné à prédire l'étape suivante dans une chaîne de raisonnement. Si la vérité terrain est du texte, le token prédit le token textuel. Si la vérité terrain est un sous-objectif visuel (par exemple, une image recadrée ou une mise en page), le token est supervisé via une similarité cosinus par rapport aux caractéristiques visuelles encodées.
- Résultat : Les tokens apprennent à maintenir des représentations multimodales significatives.
Étape 2 : Entraînement assoupli (Supervision par réponse uniquement)
- Objectif : Permettre au modèle d'optimiser librement la trajectoire latente pour maximiser l'exactitude de la réponse finale.
- Mécanisme : La supervision explicite sur les étapes intermédiaires est supprimée. Le modèle est affiné en utilisant uniquement la réponse finale. Les $\mu$ -Tokens sont insérés sous forme d'une séquence de longueur fixe (par exemple, 20 tokens) entre l'entrée et la réponse.
- Conception clé : Contrairement aux latents récurrents continus (qui brisent le parallélisme et accumulent les erreurs), les $\mu$ -Tokens sont discrets. Ils sont traités via une auto-attention standard, permettant un calcul parallèle efficace et empêchant l'accumulation d'erreurs sur de longues chaînes.
Étape 3 : Raffinement par RL (GRPO)
- Objectif : S'assurer que la chaîne latente contribue causalement à la réponse correcte plutôt que de simplement co-occurrence avec elle.
- Mécanisme : Utilisation de l'Optimisation de Politique Relative par Groupe (GRPO). Le modèle génère plusieurs trajectoires ; celles menant à des réponses correctes reçoivent des récompenses plus élevées. Les gradients se propagent en arrière à travers le mécanisme d'auto-attention jusqu'aux $\mu$ -Tokens, affinant le processus de « pensée » pour qu'il soit causalement efficace.

3. Contributions clés

Raisonnement agnostique à la modalité : Introduction d'un paradigme où les tokens de raisonnement ne sont pas liés à une modalité spécifique (texte ou image) mais peuvent représenter des états intermédiaires dans un espace latent unifié.
Efficacité : Les $\mu$ -Tokens réalisent des gains de performance significatifs en utilisant uniquement 10 à 40 tokens, comparé aux centaines de tokens requis pour une CoT textuelle verbeuse ou une génération d'images explicite. Cela offre une amélioration Pareto-dominante en termes de vitesse et de calcul.
Stratégie d'entraînement en deux étapes : Démontre que le pré-entraînement des tokens avec des traces multimodales (Étape 1) est crucial, suivi d'une optimisation par réponse uniquement (Étape 2) pour empêcher le modèle d'être contraint par des traces de raisonnement générées par l'homme potentiellement sous-optimales.
Discret vs Continu : Prouve que les tokens latents discrets surpassent les embeddings récurrents continus en termes de stabilité, de parallélisme et de performance.

4. Résultats expérimentaux

La méthode a été évaluée sur le modèle Qwen2.5-VL (7B) à travers quatre benchmarks exigeants : BLINK (énigmes visuelles/QI), SAT-Real (raisonnement action/mouvement), VSI-Bench (raisonnement spatial vidéo) et MMSI-Bench (raisonnement multi-images).

Gains de performance :
- Les $\mu$ -Tokens ont obtenu une amélioration absolue moyenne de +3 % par rapport à la meilleure référence (Affinage par réponse directe).
- Sur les partitions axées sur le raisonnement (par exemple, puzzles Jigsaw et tests de QI de BLINK), l'amélioration a atteint +16 %.
- Ils surpassent à la fois la CoT textuelle uniquement et les approches intercalées image-texte.
Études d'ablation :
- L'échauffement multimodal est critique : L'utilisation de texte uniquement ou l'absence d'échauffement a entraîné une baisse de performance. Les tokens doivent être pré-entraînés pour contenir à la fois des informations visuelles et textuelles pour être efficaces.
- Tokens discrets : Les tokens discrets surpassent nettement les embeddings récurrents continus.
- Nombre de tokens : La performance augmente avec le nombre de tokens jusqu'à un certain point (environ 20), après quoi la « sur-réflexion » dégrade les performances.
Généralisation : Le modèle a montré une forte généralisation à des tâches hors domaine et à des benchmarks multi-images (MMSI-Bench, SiteBench).
Interprétabilité : Bien que les tokens eux-mêmes soient latents, les auteurs ont montré qu'ils peuvent être associés à des rationaux textuels explicites, permettant au modèle de « penser » d'abord dans l'espace latent, puis de verbaliser le raisonnement si nécessaire, tout en conservant une haute précision.

5. Importance

Ce travail aborde un goulot d'étranglement fondamental en IA multimodale : la difficulté de raisonner sur l'espace, le temps et les affordsances sans générer de sorties intermédiaires coûteuses.

Simplicité : Il offre une alternative plus simple aux pipelines complexes de « pensée et croquis » ou aux pipelines augmentés par des outils.
Évolutivité : En utilisant un petit nombre de tokens discrets et le parallélisme standard des transformateurs, l'approche est hautement évolutive et efficace sur le plan computationnel.
Direction future : Il suggère que l'avenir du raisonnement multimodal ne réside pas dans la génération de plus de contenu explicite (images/texte), mais dans l'optimisation des représentations latentes internes qui font le pont entre la perception et la prise de décision. L'approche comble le fossé entre l'imagination spatiale humaine et le raisonnement machine sans la surcharge de la génération explicite.