🤖 AI

Latent Thought Flow: Efficient Latent Reasoning in Large Language Models

L'article introduit le Flux de Pensée Latente (LTF), un cadre qui modélise le raisonnement sous forme de trajectoires continues de longueur variable en utilisant un GFlowNet continu pour optimiser l'équilibre entre la qualité de la réponse et le coût computationnel, surpassant ainsi tant le Chain-of-Thought explicite que les méthodes de raisonnement latent existantes en termes de précision et d'efficacité.

Auteurs originaux : Xiandong Zou, Jing Huang, Jianshu Li, Pan Zhou

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiandong Zou, Jing Huang, Jianshu Li, Pan Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un problème mathématique difficile. Vous avez deux façons de réfléchir :

La méthode du « Dire à voix haute » (Standard actuel) : Vous écrivez chaque étape de votre raisonnement sur une feuille de papier. « D'abord, j'ajoute 2 et 2, puis je multiplie par 5... » C'est clair, mais cela prend beaucoup de temps pour écrire et lire. C'est comme un robot qui doit prononcer chaque pensée à voix haute avant de pouvoir vous donner la réponse.
La méthode du « Murmure Silencieux » (Raisonnement latent) : Vous réfléchissez aux étapes dans votre tête sans les écrire. C'est plus rapide, mais il est difficile d'apprendre à un ordinateur à faire cela car il pourrait s'égarer dans ses propres pensées ou sauter des étapes.

Le document présente une nouvelle méthode appelée Latent Thought Flow (LTF). Considérez le LTF comme un GPS intelligent et interne pour le cerveau d'un robot. Voici comment il fonctionne, décomposé en concepts simples :

1. Le Problème : Le goulot d'étranglement de la « Parole »

Les modèles d'IA actuels (LLM) sont excellents pour raisonner, mais ils sont contraints de « dire » leurs pensées à voix haute (sous forme de jetons de texte) avant de donner une réponse.

L'analogie : Imaginez un chef cuisinier qui doit écrire une recette pour chaque coup de couteau sur un légume avant de pouvoir réellement le couper. C'est précis, mais incroyablement lent et gaspille de l'énergie. Le document appelle cela le « goulot d'étranglement de l'espace linguistique ».

2. La Solution : Penser dans un « Espace Continu »

Le LTF permet à l'IA de penser en pensées continues et silencieuses au lieu de mots discrets.

L'analogie : Au lieu d'écrire « Étape 1, Étape 2 », l'IA se déplace à travers un paysage d'idées fluide et invisible. Elle n'a pas besoin de s'arrêter pour taper un mot pour chaque pensée. Elle peut glisser à travers le processus de réflexion.

3. Le Défi : Comment apprendre à l'IA à penser efficacement ?

Si vous laissez une IA penser silencieusement, elle pourrait s'égarer, prendre trop de temps ou boucler sur elle-même. Les méthodes précédentes essayaient de forcer l'IA à trouver l'unique chemin parfait, ce qui revient à dire à un randonneur : « Il n'y a qu'un seul sentier pour atteindre le sommet ». En réalité, il existe de nombreux sentiers, et certains sont courts et faciles, tandis que d'autres sont longs et difficiles.

Le LTF utilise un concept appelé GFlowNet.

L'analogie : Imaginez une rivière coulant vers un lac (la bonne réponse).
- Les anciennes méthodes essayaient de trouver le flux le plus rapide et ignoraient les autres.
- Le LTF cartographie l'ensemble du système fluvial. Il apprend que certains chemins sont courts et mènent rapidement au lac (bien), tandis que d'autres sont longs, sinueux ou des impasses (mauvais).
- Il apprend à l'IA à répartir sa probabilité sur les bons chemins. Il ne se contente pas d'en choisir un ; il apprend à favoriser les chemins qui sont à la fois précis et courts.

4. La Recette Secrète : La supervision « Pondérée par l'Entropie »

Comment l'IA sait-elle quelles pensées silencieuses étaient bonnes si elle ne voit que la réponse finale ?

L'analogie : Imaginez un professeur corrigeant le processus de pensée silencieux d'un élève. Si la pensée de l'élève était très chaotique (entropie élevée ou confusion), le professeur lui accorde une attention supplémentaire pour l'aider à s'organiser. Si la pensée était déjà très concentrée, le professeur lui accorde moins d'attention.
Le LTF utilise un tour mathématique spécial (Équilibre de sous-trajectoire pondéré par l'entropie) pour accorder plus de « crédit » aux parties du processus de pensée qui étaient incertaines ou complexes, garantissant que l'IA apprenne à naviguer dans ces passages délicats sans s'égarer.

5. Le Résultat : Plus Rapide et Plus Intelligent

Le document a testé cela sur des problèmes mathématiques et a constaté que le LTF est une amélioration majeure :

Précision : Il a obtenu la bonne réponse plus souvent (environ 9,5 % de mieux que les autres méthodes de « pensée silencieuse »).
Vitesse : Il a utilisé nettement moins d'« étapes de pensée » (environ 27 % plus court) pour y parvenir.
Efficacité : Il a appris à arrêter de réfléchir une fois qu'il avait la réponse, plutôt que de s'épancher.

En résumé :
Le LTF est comme une mise à niveau d'un robot, passant d'un sténographe (qui écrit chaque pensée) à un artiste de combat (qui pense et agit dans un flux interne et fluide). Il apprend à naviguer dans le paysage invisible des idées, choisissant la route la plus courte et la plus précise vers la réponse sans avoir besoin de dire un mot avant la toute fin.

Résumé Technique : Latent Thought Flow (LTF)

Énoncé du Problème

Les grands modèles de langage (LLM) s'appuient de plus en plus sur des processus de raisonnement intermédiaires, tels que la Chaîne de Pensée (Chain-of-Thought, CoT), pour résoudre des tâches complexes. Cependant, la CoT explicite souffre d'un goulot d'étranglement de l'espace linguistique : chaque pensée intermédiaire doit être décodée en jetons (tokens) discrets, ce qui entraîne un surcoût d'inférence substantiel et contraint la computation interne à des formes textuelles potentiellement redondantes. Cela crée un compromis inhérent entre précision et efficacité.

Bien que le raisonnement latent (effectuer des calculs dans l'espace continu des états cachés) offre une solution à ce goulot d'étranglement, les méthodes existantes apprennent principalement des chemins déterministes ou optimisent la maximisation de la récompense sous des budgets fixes. Ces approches manquent d'un mécanisme principled pour allouer la masse de probabilité à travers des trajectoires de raisonnement qui varient à la fois en exactitude et en coût computationnel. Par conséquent, elles échouent souvent à optimiser la variété (manifold) du raisonnement latent, soit en héritant de la verbosité des rationalisations d'entraînement, soit en s'effondrant sur quelques modes à haute récompense, échouant ainsi à équilibrer précision et efficacité.

Méthodologie : Latent Thought Flow (LTF)

Les auteurs proposent le Latent Thought Flow (LTF), un cadre qui modélise le raisonnement comme des trajectoires continues de longueur variable dans l'espace latent du LLM. LTF entraîne un échantillonneur pour correspondre à une postérior induite par la récompense qui équilibre la qualité de la réponse et le coût de calcul.

Composants Clés

Trajectoires Latentes de Longueur Variable :
Au lieu de jetons déterministes, le LTF échantillonne une trajectoire $\tau = (z_{1:T}, \perp)$ , où $z_t$ sont des états de pensée latents continus et $\perp$ est une décision d'arrêt adaptative. Le modèle apprend « combien » raisonner en interne avant de générer la réponse finale. La trajectoire est échantillonnée à partir d'une politique gaussienne $q_\phi$ paramétrée par une tête de raisonnement latent.
Distribution Cible Proportionnelle à la Récompense :
Le LTF définit une fonction d'utilité $R_{x,y}(\tau)$ combinant la qualité de la réponse ( $V_{x,y}$ ) et le coût de calcul ( $C(\tau)$ , typiquement la longueur de la trajectoire). L'objectif est d'apprendre un échantillonneur où la probabilité d'une trajectoire est proportionnelle à sa récompense :
$p^*(\tau | x, y) \propto R_{x,y}(\tau)$
Cela encourage le modèle à concentrer la masse de probabilité sur des chemins concis et précis tout en supprimant les chemins redondants ou erronés.
Objectif GFlowNet Continu :
Pour apprendre cette distribution, le LTF instancie un GFlowNet continu. Contrairement à l'apprentissage par renforcement (RL) qui maximise la récompense attendue (menant souvent à l'effondrement de mode), les GFlowNets apprennent une politique stochastique où les échantillons terminaux sont proportionnels à la récompense, préservant ainsi la diversité des solutions de haute utilité.
- Défi : Les pensées latentes sont continues, rendant les équations d'équilibre au niveau des jetons discrets inapplicables.
- Solution : Le LTF adapte l'Équilibre de Sous-trajectoire (Subtrajectory Balance) aux espaces continus. Il calcule le flux analytiquement pour chaque état préfixe en permettant au modèle de s'arrêter à n'importe quelle étape intermédiaire, de décoder une réponse et de recevoir une récompense.
Équilibre de Sous-trajectoire Pondéré par l'Entropie (EW-SubTB) :
Pour gérer la supervision parcellaire des réponses et guider l'exploration, le LTF introduit un mécanisme de pondération sensible à l'entropie. Il repondère les résidus de l'Équilibre de Sous-trajectoire en fonction de l'entropie différentielle des sous-trajectoires latentes. Cela garantit qu'une supervision plus forte est appliquée aux régions à haute entropie (où la dispersion de l'information est plus riche) sans altérer la distribution cible proportionnelle à la récompense.
Régularisateur de Priorité de Référence (Reference-Prior Regularizer) :
Pour éviter que l'exploration aléatoire dans l'espace latent continu ne dérive vers des états sémantiquement dénués de sens, le LTF utilise un prior de référence dérivé de traces de raisonnement générées par un enseignant (lorsqu'elles sont disponibles). Cela ancre l'exploration précoce dans des régions latentes significatives, la récompense du GFlowNet remodelant ensuite l'échantillonneur vers l'exactitude et l'efficacité.

Contributions Clés

Formulation du Raisonnement Latent comme un Flux : L'article reformule le raisonnement latent comme un problème d'appariement de distribution sur des trajectoires continues de longueur variable, plutôt que comme une optimisation de chemin déterministe.
GFlowNet Continu pour les LLM : Il étend la théorie des GFlowNets à l'espace latent continu de haute dimension des LLM, permettant la préservation de chemins de raisonnement diversifiés qui sont à la fois précis et efficaces.
Nouveaux Objectifs d'Entraînement : L'introduction de l'Équilibre de Sous-trajectoire Pondéré par l'Entropie et du Régularisateur de Priorité de Référence répond aux défis spécifiques de la supervision parcellaire et de l'instabilité de l'exploration dans les espaces latents continus.
Calcul Adaptatif : Le cadre permet au modèle d'allouer dynamiquement son budget de calcul, assignant des trajectoires plus courtes aux problèmes faciles et des trajectoires plus longues aux problèmes difficiles.

Résultats Expérimentaux

Des expériences ont été menées sur plusieurs architectures de LLM (LLaMA-3.2 1B/3B, LLaMA-3.1 8B, DeepSeek-R1 Distill-Qwen 1.5B) à travers des tâches de raisonnement mathématique (GSM8K-Aug, ASDiv-Aug, DU, MATH) et des tâches d'apprentissage par transfert.

Performance vs CoT Explicite : Le LTF réduit considérablement la longueur du raisonnement (surcoût de décodage) tout en maintenant ou en améliorant l'exactitude par rapport aux méthodes de CoT explicite.
Performance vs Baselines Latentes : Comparé à de solides bases de raisonnement latent comme CoLaR et ReGuLaR :
- Fine-tuning : Le LTF a amélioré l'exactitude moyenne de 12,9 % tout en réduisant la longueur du raisonnement de 34,5 %.
- Apprentissage par Transfert : Le LTF a amélioré l'exactitude moyenne de 6,0 % tout en réduisant la longueur du raisonnement de 19,9 %.
- Gains Spécifiques : Sur GSM8K-Aug avec LLaMA-3.2 1B, le LTF a fait passer l'exactitude de 34,58 % (ReGuLaR) à 37,09 % tout en réduisant les étapes de raisonnement de 3,69 à 3,34.
Compression Extrême : Dans des contextes de compression extrême (ex: dataset MATH), le LTF a systématiquement surpassé les baselines, démontant une capacité supérieure à préserver l'information sémantique pertinente pour la tâche.
Études d'Ablation : Les résultats ont confirmé que l'Équilibre de Sous-trajectoire Pondéré par l'Entropie améliore l'exactitude avec une augmentation minimale de la longueur, et que les objectifs basés sur GFlowNet fournissent de meilleurs compromis exactitude-efficacité que les objectifs de RL standard (comme GRPO).

Signification et Revendications

L'article affirme que le LTF établit une nouvelle frontière exactitude–efficacité pour le raisonnement dans les LLM. En déplaçant la délibération dans un espace latent continu et en utilisant un cadre d'échantillonnage proportionnel à la récompense, le LTF surmonte le goulot d'étranglement linguistique de la CoT explicite.

Les auteurs soutiennent que l'absence de vision distributionnelle dans les méthodes de raisonnement latent existantes est centrale à leur inefficacité. Le LTF fournit un moyen principled pour allouer la probabilité aux trajectoires, permettant aux modèles de balancer dynamiquement exactitude et coût. Ce travail démontre que la computation intermédiaire significative n'a pas besoin d'être exprimée en mots linguistiques, offrant une voie scalable pour les scénarios de raisonnement à ressources limitées.

Limites : Les auteurs notent que leurs expériences actuelles se concentrent sur des tâches textuelles (mots et symboles), et que l'extension du cadre à d'autres modalités (vision, parole) reste un travail futur. La généralisation théorique est également notée comme un domaine nécessitant davantage d'exploration.