💻 computer science

CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts

CoLT est un nouveau cadre qui améliore les grands modèles de langage multimodaux en remplaçant le raisonnement verbeux par chaîne de pensée basé sur le texte par des représentations de pensée latentes efficaces au niveau des étapes, atteignant des accélérations d'inférence significatives et une performance supérieure grâce à une stratégie d'entraînement qui utilise un décodeur externe léger pour une supervision bidirectionnelle tout en le supprimant lors de l'inférence.

Auteurs originaux : Lianyu Hu, Shengqian Qin, Zeqin Liao, Qing Guo, Liang Wan, Wei Feng, Yang Liu

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lianyu Hu, Shengqian Qin, Zeqin Liao, Qing Guo, Liang Wan, Wei Feng, Yang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Robot « Bavard »

Imaginez que vous avez un robot assistant brillant capable de regarder une image et de résoudre un problème mathématique. Pour obtenir la bonne réponse, le robot doit d'abord « réfléchir ».

Actuellement, la plupart des robots avancés utilisent une méthode appelée Chaîne de Pensée (Chain-of-Thought ou CoT). C'est comme si le robot se parlait à voix haute. Avant de donner la réponse finale, il écrit un long récit étape par étape : « D'abord, je vois un triangle. Ensuite, je remarque que la ligne mesure 5 pouces. Puis, j'applique le théorème de Pythagore... »

Bien que cela fonctionne bien, cela présente deux inconvénients majeurs :

C'est lent : Le robot doit taper chaque mot de son processus de réflexion. Si le processus de réflexion est long, cela prend beaucoup de temps et de puissance de calcul.
C'est rigide : Une fois que le robot a écrit un mot, il est coincé avec cette phrase spécifique. Il ne peut pas facilement changer d'avis ou explorer différents chemins sans réécrire toute l'histoire.

La Solution : CoLT (Chaîne de Pensées Latentes)

Les auteurs de cet article proposent une nouvelle façon d'enseigner la pensée à ces robots, appelée CoLT.

Au lieu de forcer le robot à écrire une longue histoire, CoLT apprend au robot à penser en murmures silencieux et invisibles (appelés « pensées latentes »). Imaginez que le robot a une conversation interne complexe dans un code secret qu'il est le seul à comprendre. Il n'écrit pas les étapes ; il garde simplement les idées dans son « esprit » (sa mémoire informatique interne) et saute directement à la réponse.

L'Analogie :

L'ancienne méthode (Text CoT) : Comme un étudiant résolvant un problème de mathématiques en écrivant chaque étape sur une feuille de papier. C'est clair, mais cela prend beaucoup de temps à écrire.
CoLT : Comme un grand maître d'échecs regardant un échiquier. Il ne prononce pas les coups à voix haute ; il visualise instantanément toute la stratégie dans sa tête, puis effectue le mouvement.

Le Défi : Le Problème du « Silence »

Les chercheurs se sont rendu compte que si l'on dit simplement à un robot de « penser silencieusement », il se confond souvent. Sans la structure des mots écrits, les pensées internes du robot pourraient devenir du charabia ou un bruit sans signification. C'est comme demander à quelqu'un de résoudre un puzzle dans sa tête sans jamais vérifier si sa logique fait sens.

La Solution : Le « Traducteur Secret »

Pour correr cela, les auteurs ont construit un système d'entraînement spécial avec trois « coachs » (signaux de supervision) pour apprendre au robot à penser correctement en silence :

Le Coach Vers l'Avant (Le Traducteur) : Ce coach regarde la pensée silencieuse du robot et essaie de la traduire en anglais. Si la pensée du robot est bonne, le coach peut facilement écrire l'étape suivante de l'histoire. Si le coach ne peut pas traduire, le robot sait qu'il doit penser plus clairement.
Le Coach Vers l'Arrière (L'Ancre) : Ce coach regarde l'histoire en anglais et essaie de la transformer à nouveau en la pensée silencieuse du robot. Cela garantit que les pensées silencieuses du robot sont réellement connectées à des idées réelles et logiques, et non à de simples nombres aléatoires.
Le Coach Interne (Le Flux) : Ce coach vérifie si les pensées du robot s'enchaînent logiquement d'une étape à l'autre. Il s'assure que le robot ne passe pas aléatoirement de l'idée A à l'idée Z sans construire de pont.

La meilleure partie : Ces coachs ne sont utilisés que pendant que le robot apprend. Une fois que le robot est entraîné, les coachs sont jetés. Quand le robot résout un problème pour vous, il utilise ses pensées silencieuses directement. Pas de traduction supplémentaire, pas d'étapes supplémentaires.

Les Résultats : Rapide et Intelligent

L'article a testé cette nouvelle méthode sur huit tâches difficiles différentes, comme la lecture de graphiques, la résolution de questions scientifiques et la compréhension de diagrammes.

Vitesse : Parce que le robot saute l'écriture de milliers de mots et n'utilise que 3 « étapes silencieuses », il est 10 fois plus rapide globalement et 22 fois plus rapide lors de la phase de réflexion par rapport à l'ancienne méthode basée sur le texte.
Précision : Étonnamment, le robot n'a pas seulement été plus rapide ; il est devenu plus intelligent. Il a surpassé d'autres méthodes qui tentaient d'utiliser une « pensée silencieuse » et a même battu des méthodes nécessitant des images supplémentaires coûteuses pour l'aider à apprendre.
Robustesse : Lorsque l'entrée était désordonnée (comme une image floue ou une question contenant des fautes de frappe), la méthode de pensée silencieuse était beaucoup plus stable que la méthode basée sur le texte. C'est comme si un murmure était moins affecté par le bruit de fond qu'un cri.

Résumé

CoLT est une nouvelle façon d'enseigner l'IA à penser. Au lieu de forcer l'IA à écrire une histoire longue et lente pour résoudre un problème, elle lui apprend à tenir une conversation structurée et logique dans son propre « esprit ». En utilisant des outils d'entraînement spéciaux pour garantir que ces pensées silencieuses font sens, l'IA devient à la fois beaucoup plus rapide et plus précise pour résoudre des énigmes visuelles complexes.

Résumé Technique : CoLT – Chain of Latent Thoughts (Chaîne de Pensées Latentes)

1. Énoncé du Problème

Bien que la Chaîne de Pensée (Chain-of-Thought - CoT) ait considérablement amélioré les capacités des modèles de langage de grande taille multimodaux (MLLM) dans les tâches visuelles complexes, le paradigme textuel prédominant fait face à trois limitations critiques :

Latence d'Inférence : La génération de chaînes de raisonnement prolongées en langage naturel est autoregressive et gourmande en jetons (tokens), consommant souvent des centaines ou des milliers de jetons, ce qui constitue le principal goulot d'étranglement computationnel lors de l'inférence.
Contraintes d'Expressivité : Le raisonnement basé sur le texte est intrinsèquement déterministe. Une fois qu'une étape de raisonnement est engagée dans une forme spécifique de langage naturel, elle réduit la riche distribution de trajectoires de résolution potentielles à une seule réalisation de surface, éliminant ainsi les voies de raisonnement alternatives.
Propagation d'Erreurs : Les erreurs commises lors des premières étapes de raisonnement peuvent se propager et s'amplifier au cours des étapes suivantes, un phénomène particulièrement préjudiciable dans les chaînes de raisonnement longues.

Les tentatives existantes de « raisonnement latent » (raisonnement dans des espaces de représentation continus) ont lutté contre l'instabilité de l'entraînement et la génération de vecteurs sémantiquement dénués de sens. De plus, les approches récentes de raisonnement visuel latent reposant sur des images auxiliaires pour la supervision introduisent des coûts d'annotation élevés et des problèmes d'extensibilité.

2. Méthodologie : Cadre CoLT

Les auteurs proposent CoLT (Chain of Latent Thoughts), un cadre qui permet aux MLLM de raisonner à travers une chaîne de représentations de pensée latentes ( $h_1, \dots, h_K$ ) plutôt que par des jetons textuels verbeux. Le cadre remplace le processus standard de génération de texte par $K$ étapes latentes discrètes (où $K \ll L$ , le nombre de jetons textuels), contournant le goulot d'étranglement de la génération de texte tout en préservant l'exploration multi-voies dans l'espace latent.

Pour relever le défi d'un entraînement stable et significatif du raisonnement latent, CoLT introduit une stratégie de supervision complète comprenant trois mécanismes complémentaires :

A. Représentation de la Pensée Latente

Au lieu de générer des jetons textuels, le modèle produit des vecteurs d'état caché aux positions de raisonnement désignées. Ces vecteurs sont réinjectés dans le modèle de langage comme plongements (embeddings) d'entrée pour les étapes suivantes, maintenant la nature autoregressive du modèle sans étendre le vocabulaire.

B. Supervision par Décodeur Externe

Un décodeur externe léger ( $D_\phi$ ), partageant le même tokenizer et le même vocabulaire que le modèle de base, fournit une supervision par étape dans deux directions :

Décodage Vers l'Avant (Forward Decoding) : Le décodeur prend la pensée latente précédente $h_k$ comme entrée et est entraîné pour décoder le contenu du raisonnement textuel de l'étape suivante ( $r_{k+1}$ ). Cela garantit que les pensées latentes encodent suffisamment d'informations pour reconstruire un raisonnement explicite.
Décodage Vers l'Arrière (Backward Decoding) : Le décodeur reçoit les étapes de raisonnement textuelles précédentes ( $r_{k-1}$ ) et produit des états cachés ( $\tilde{h}_k$ ) qui sont alignés avec la pensée latente $h_k$ du modèle. Cela ancre l'espace latent à la structure sémantique des chaînes de raisonnement explicites.

C. Supervision Interne par Étape

Une tête de projection légère ( $f_\theta$ ) encourage des transitions cohérentes entre les étapes latentes consécutives. Elle prédit la représentation de l'étape suivante ( $\hat{h}_{k+1}$ ) à partir de l'actuelle ( $h_k$ ), régularisant la chaîne latente par la cohérence étape par étape.

D. Objectif d'Entraînement

La fonction de perte totale combine la perte de tâche standard (génération de la réponse finale) avec les trois signaux de supervision :
$\mathcal{L} = \mathcal{L}_{task} + \alpha \mathcal{L}_{fwd} + \beta \mathcal{L}_{bwd} + \gamma \mathcal{L}_{int}$
L'entraînement se déroule en deux étapes :

Ajustement Fin Supervisé (SFT) : Le modèle de base et le décodeur sont entraînés sur les annotations CoT (issues du jeu de données OneThinker) en utilisant la perte combinée pour apprendre des pensées latentes structurées.
Apprentissage par Renforcement (RL) : L'optimisation relative de groupe (Group Relative Policy Optimization - GRPO) est appliquée sur les échantillons CoT. Dans cette étape, le décodeur auxiliaire et la supervision interne sont supprimés, permettant au modèle de mettre à jour les pensées latentes librement en fonction des récompenses basées sur les résultats.

Lors de l'inférence, le décodeur externe et la tête de projection sont écartés, n'entraînant aucun surcoût de calcul supplémentaire.

3. Contributions Clés

Cadre Novateur : Introduction de CoLT, qui enseigne aux MLLM à raisonner via des vecteurs latents plutôt que par des jetons textuels, atteignant un raisonnement efficace en seulement 3 étapes.
Mécanisme de Stabilisation : Un cadre de supervision fondé sur un décodeur externe léger (modes avant et arrière) et une prédiction interne pour empêcher l'effondrement des représentations latentes en sémantiques dénuées de sens.
Efficacité de l'Annotation : Contrairement aux méthodes de raisonnement visuel latent, CoLT opère entièrement dans l'espace latent du modèle de langage, ne nécessitant aucune annotation d'image auxiliaire ou encodeur spécialisé.
Efficacité : La méthode élimine la nécessité d'une génération de texte verbeuse pendant la phase de raisonnement, réduisant considérablement le temps d'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur huit benchmarks multimodaux diversifiés (SeedBench, MMBench, ChartQA, TextVQA, ScienceQA, MMStar, AI2D et MMT-Bench) en utilisant un squelette Qwen3-VL-8B.

Performance : CoLT surpasse les méthodes de raisonnement latent existantes (ex: CODI, SIM-CoT) et les approches de raisonnement visuel latent (ex: LVR). Plus précisément, il dépasse la base de comparaison latente la plus forte (SIM-CoT) de +5,1 % en précision moyenne et la base visuelle latente la plus forte (LVR) de +5,5 %.
Comparaison avec le CoT Textuel : CoLT atteint une précision moyenne de +3,4 % supérieure par rapport au CoT textuel, avec des gains significatifs sur ChartQA (+9,6 %) et TextVQA (+6,1 %).
Efficacité : CoLT réduit le temps d'inférence de 10,1× et le temps de décodage de texte de 22,6× par rapport aux méthodes CoT textuelles, tout en maintenant une précision plus élevée.
Robustesse : Sous un bruit visuel (flou gaussien, occlusion) et un bruit textuel (erreurs d'orthographe, suppression de mots clés), CoDT démontre une robustesse supérieure, avec une dégradation de la précision nettement inférieure aux bases de comparaison "Réponse Directe" et "Text CoT".
Études d'Ablation :
- Les trois signaux de supervision (avant, arrière, interne) ne sont pas redondants ; la combinaison complète produit les performances optimales.
- Un décodeur léger de 0,6B est suffisant pour une supervision efficace, les décodeurs plus grands n'apportant que des gains négligeables.
- Le nombre optimal d'étapes latentes est $K=3$ ; la performance se dégrade légèrement avec un excès d'étapes.

5. Signification et Revendications

L'article affirme que CoLT représente un changement fondamental dans la manière dont les modèles multimodaux effectuent le raisonnement. En passant de la génération de texte explicite aux vecteurs de pensée latente, CoLT répond à l'inefficacité inhérente et aux limites d'expressivité du CoT textuel. Les auteurs soulignent que leur méthode atteint une efficacité supérieure (accélération allant jusqu'à 22,6×) sans sacrifier, et en améliorant souvent, la qualité du raisonnement.

La signification réside dans la capacité à effectuer un « raisonnement » dans un espace continu qui est à la fois interprétable (vérifié via la visualisation du décodage vers l'avant) et robuste au bruit d'entrée. Le cadre démontre que le raisonnement visuel complexe peut être internalisé dans des représentations latentes compactes, éliminant la dépendance aux annotations auxiliaires coûteuses et à la latence de la génération jeton par jeton. Les auteurs concluent que cette approche offre une voie évolutive vers des agents de haute intelligence capables de raisonner efficacement.