💬 NLP

Reasoning in the Dark: Interleaved Vision-Text Reasoning in Latent Space

Cet article propose l'Interleaved Vision-Text Latent Reasoning (IVT-LR), un nouveau cadre qui injecte des informations visuelles et textuelles implicites dans l'espace latent pour permettre un raisonnement multimodal efficace et peu gourmand en annotations, atteignant des gains significatifs tant en précision qu'en vitesse d'inférence par rapport aux méthodes explicites existantes.

Auteurs originaux : Chao Chen, Zhixin Ma, Yongqi Li, Yupeng Hu, Yinwei Wei, Wenjie Li, Liqiang Nie

Publié 2026-01-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chao Chen, Zhixin Ma, Yongqi Li, Yupeng Hu, Yinwei Wei, Wenjie Li, Liqiang Nie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, comme une énigme difficile qui implique à la fois une image et une phrase.

L'ancienne méthode : La méthode du « Parler à voix haute »
Actuellement, la plupart des modèles d'IA intelligents résolvent ces puzzles en « parlant à voix haute » pendant qu'ils réfléchissent. Ils regardent l'image, puis écrivent une longue liste de phrases expliquant ce qu'ils voient, puis regardent à nouveau l'image, écrivent plus de phrases, et enfin donnent la réponse.

Le problème : C'est comme essayer de résoudre un problème de mathématiques en écrivant chaque pensée dans un journal avant de pouvoir écrire le chiffre final. Cela prend beaucoup de temps (lent), nécessite que quelqu'un écrive des milliers de ces « journaux » pour enseigner à l'IA (main-d'œuvre coûteuse), et l'IA doit lire et écrire tous ces mots juste pour arriver au but.

La nouvelle méthode : « Raisonner dans le noir » (IVT-LR)
Ce document présente une nouvelle méthode appelée IVT-LR (Interleaved Vision-Text Latent Reasoning - Raisonnement latent texte-vision entrelacé). Considérez cela comme l'apprentissage de l'IA à penser silencieusement.

Au lieu d'écrire ses pensées, l'IA garde tout son processus de raisonnement entièrement à l'intérieur de son propre « cerveau » (l'espace latent). Elle ne génère ni mots ni images pendant qu'elle réfléchit. Elle traite simplement l'information en interne.

Voici comment fonctionne la nouvelle méthode, en utilisant une analogie simple :

1. Le « Fantôme » et le « Projecteur »

Dans l'ancienne méthode, l'IA devait décrire l'image avec des mots. Dans cette nouvelle méthode, l'IA utilise deux outils invisibles pour réfléchir :

Le Fantôme (Texte Latent) : Au lieu d'écrire « Je vois une balle rouge », l'IA conserve le « fantôme » de sa pensée précédente. C'est un signal caché qui porte la logique de ce qu'elle vient de penser, sans avoir besoin de le dire à voix haute.
Le Projecteur (Vision Latente) : Au lieu de décrire toute l'image, l'IA utilise un projecteur mental. Elle scanne rapidement l'image et ne choisit que les parties minuscules les plus importantes (comme une partie spécifique d'un diagramme) pour se concentrer sur cette étape précise de la réflexion.

2. La « Conversation Silencieuse »

L'IA mélange ces deux outils invisibles. Elle prend le « Fantôme » de sa dernière pensée et le combine avec le « Projecteur » sur la partie la plus importante de l'image. Elle fait cela étape par étape, entièrement dans le noir (sans générer de texte ou d'images visibles), jusqu'à ce qu'elle soit prête à crier la réponse finale.

3. L'entraînement : Apprendre à chuchoter

Comment apprendre à une IA à penser silencieusement ? On ne peut pas simplement lui dire d'arrêter de parler ; elle doit apprendre à le faire.
Les auteurs ont utilisé une stratégie d'entraînement progressive, qui est comme apprendre à un enfant à nager :

Étape 1 : L'IA apprend à résoudre le puzzle en parlant à voix haute (en écrivant toutes les étapes).
Étape 2 : Le professeur dit : « D'accord, pour la première étape, ne l'écris pas. Pense-le, tout simplement. »
Étape 3 & 4 : Le professeur demande progressivement à l'IA d'arrêter d'écrire de plus en plus d'étapes, en remplaçant l'écriture par une pensée silencieuse, jusqu'à ce que l'IA résolve tout le puzzle dans sa tête et ne prononce que la réponse finale.

Pourquoi est-ce une avancée majeure ?

Le document affirme que cette méthode est une amélioration massive pour trois raisons :

Vitesse : Parce que l'IA ne perd pas de temps à rédiger de longues explications, elle résout les problèmes 5 fois plus vite.
Pensée plus intelligente : Elle peut mélanger les images et les mots dans son « cerveau » de manière plus naturelle, plutôt que de forcer l'image dans des mots maladroits.
Moins de travail : Vous n'avez pas besoin d'humains pour écrire des milliers de « processus de pensée » détaillés pour enseigner à l'IA. L'IA apprend à penser silencieusement par elle-même.

Les Résultats
Lorsqu'ils ont testé cela sur des puzzles scientifiques et logiques difficiles (en utilisant les jeux de données appelés M3CoT et ScienceQA), la nouvelle méthode a obtenu plus de bonnes réponses (environ 5 % de mieux) et l'a fait beaucoup plus rapidement que les anciennes méthodes de « parole à voix haute ».

En résumé : Le document apprend à l'IA à arrêter de « narrer » ses pensées et à commencer à « réfléchir » silencieusement, en utilisant un mélange de logique cachée et d'attention visuelle focalisée, ce qui la rend plus rapide, plus intelligente et moins coûteuse à entraîner.

Résumé technique : Raisonnement dans l'obscurité : Raisonnement visuel-textuel entrelacé dans l'espace latent (IVT-LR)

Problématique

Les méthodes actuelles de raisonnement multimodal pour les modèles de langage de grande taille multimodaux (MLLM) font face à des limitations significatives concernant les coûts d'annotation et l'efficacité de l'inférence. Les approches existantes se divisent généralement en deux catégories :

Raisonnement textuel uniquement : Les MLLM effectuent un raisonnement en utilisant uniquement des rationales textuelles avant de générer une réponse. Bien qu'efficace, cela échoue souvent à exploiter l'information visuelle durant le processus de pensée intermédiaire.
Raisonnement impliquant vision et texte : Ces méthodes entrelacent l'information visuelle avec des rationales textuelles (par exemple, en générant des patchs d'image, en zoomant sur des régions ou en dessinant des images). Bien que cela améliore les performances sur des tâches complexes, cela repose lourdement sur des annotations vision-texte laborieuses et introduit une latence d'inférence significative due à la génération de longues chaînes de tokens explicites.

Les auteurs identifient la nécessité d'un paradigme qui conserve les avantages du raisonnement multimodal (intégration des indices visuels et textuels) tout en éliminant la surcharge de la génération explicite intermédiaire.

Méthodologie : Raisonnement latent visuel-textuel entrelacé (IVT-LR)

Le papier propose IVT-LR, un cadre qui permet aux MLLM d'effectuer un raisonnement entièrement dans l'espace latent, en entrelaçant les modalités visuelles et textuelles sans générer de tokens intermédiaires explicites.

Mécanisme central

Dans IVT-LR, chaque étape de raisonnement est représentée par un vecteur latent multimodal composé de deux parties implicites :

Texte latent : Au lieu de générer un token de texte explicite pour l'étape précédente, le modèle utilise l'état caché ( $h_{t-1}$ ) de la couche précédente comme entrée pour l'étape actuelle. Cela préserve une logique de raisonnement intermédiaire riche dans un espace continu.
Vision latente : Pour incorporer dynamiquement le contexte visuel, le modèle sélectionne un nombre fixe ( $k$ ) d'embeddings d'images basé sur les scores d'attention. Plus précisément, la somme des poids d'attention à travers toutes les couches est utilisée pour identifier les $k$ embeddings d'images les plus pertinents. Ces embeddings sélectionnés sont concaténés avec l'état caché du texte latent.

Le modèle fusionne ces composants ( $[h_{t-1}, z_{selected}]$ ) pour calculer la distribution du token suivant, effectuant ainsi un raisonnement étape par étape sans produire de texte ou d'images intermédiaires en sortie.

Stratégie d'entraînement

Pour permettre aux MLLM de s'adapter à ce paradigme de raisonnement latent, les auteurs introduisent une stratégie d'entraînement progressive multi-étapes :

Étape 0 : Le modèle est entraîné avec une supervision standard de type Chaîne de Pensée (CoT), où toutes les étapes de raisonnement sont explicitement générées.
Substitution progressive : Sur $N$ étapes suivantes, le modèle remplace progressivement les étapes de raisonnement explicites par des étapes de raisonnement latent (notées par un token spécial <latent>). À chaque étape, une étape explicite supplémentaire est remplacée par une étape latente.
Fonction de perte : L'entraînement utilise la perte de log-vraisemblance négative (NLL). Crucialement, la supervision est appliquée uniquement aux étapes de raisonnement explicites restantes et à la réponse finale. Les étapes de raisonnement latent et les tokens de la question sont masqués. Cela empêche le modèle d'être contraint à un chemin d'alignement linéaire strict avec les rationales explicites, lui permettant d'internaliser les trajectoires de raisonnement dans l'espace latent tout en étant toujours guidé vers les prédictions finales correctes.

Processus d'inférence

Lors de l'inférence, le modèle ajoute un nombre fixe de tokens <latent> après les entrées de la question et de l'image. Le processus de raisonnement se déroule entièrement dans l'espace latent, et aucun token explicite intermédiaire n'est généré avant que la réponse finale ne soit produite.

Principales contributions

Premier cadre unifié de raisonnement latent multimodal : IVT-LR est la première approche qui unifie les représentations textuelles et visuelles entièrement dans l'espace latent, éliminant le besoin de génération intermédiaire explicite de texte ou d'image.
Efficacité des données et du calcul : La méthode introduit un paradigme d'entraînement qui ne nécessite pas d'annotations explicites pour les étapes de raisonnement visuel intermédiaire. En raisonnant dans l'espace latent, elle réduit drastiquement le nombre d'étapes autoregressives requises pour l'inférence.
Performances de pointe (State-of-the-Art) : L'approche atteint de nouveaux résultats de pointe en termes de précision sur des benchmarks exigeants tout en améliorant considérablement l'efficacité de l'inférence (mesurée par un nombre réduit d'étapes autoregressives et une latence plus faible).

Résultats expérimentaux

Les auteurs ont évalué IVT-LR sur deux benchmarks : M3CoT (chaîne de pensée multimodale) et ScienceQA. Les expériences ont été menées en utilisant les architectures Qwen2-VL-7B et Chameleon-7B.

Précision : IVT-LR a obtenu une augmentation moyenne de performance de 5,45 % en précision par rapport aux approches existantes.
- Sur M3CoT (Qwen2-VL), IVT-LR atteint 71,8 % de précision, surpassant le précédent meilleur résultat (Chain-of-Focus à 64,3 %).
- Sur ScienceQA (Qwen2-VL), il atteint 94,6 % de précision, dépassant Chain-of-Focus (91,2 %).
Efficacité : La méthode a démontré une accélération de plus de 5 fois par rapport aux méthodes existantes.
- Étapes autoregressives : IVT-LR a réduit le nombre moyen d'étapes autoregressives à 10,0 (M3CoT) et 11,0 (ScienceQA), contre 73,9–185,7 étapes pour les autres méthodes.
- Latence : Le temps de génération moyen a chuté de manière significative (par exemple, de 2,63s à 0,65s sur M3CoT avec Qwen2-VL).

Signification

Le papier affirme que l'IVT-LR représente un changement vers un « Raisonnement dans l'obscurité », où l'interaction complexe entre les informations visuelles et textuelles se produit de manière interne au sein des états cachés du modèle. En découplant le processus de raisonnement du besoin de sorties intermédiaires explicites et observables, la méthode répond aux goulots d'étranglement de l'intensité d'annotation et de la latence d'inférence inhérents aux systèmes de raisonnement multimodal actuels. Les auteurs postulent que cette approche libère le potentiel du raisonnement latent pour traiter l'information multimodale riche plus efficacement que la génération traditionnelle basée sur les tokens.