🤖 machine learning

SuperThoughts: Reasoning Tokens in Superposition

L'article présente SuperThoughts, une méthode qui compresse les jetons consécutifs de la Chaîne de Pensée (Chain-of-Thought) en des représentations latentes uniques décodées via un module de Prédiction Multi-Jetons afin d'obtenir une réduction de 20 à 30 % de la longueur du raisonnement et de doubler le débit d'inférence tout en maintenant une précision compétitive sur les benchmarks complexes de mathématiques et de raisonnement.

Auteurs originaux : Zheyang Xiong, Shivam Garg, Max Yu, Vaishnavi Shrivastava, Haoyu Zhao, Anastasios Kyrillidis, Dimitris Papailiopoulos

Publié 2026-06-15

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zheyang Xiong, Shivam Garg, Max Yu, Vaishnavi Shrivastava, Haoyu Zhao, Anastasios Kyrillidis, Dimitris Papailiopoulos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un problème de mathématiques très difficile. Habituellement, un ordinateur intelligent (appelé Modèle de Langage de Grande Taille ou LLM) résout cela en se parlant à lui-même étape par étape, comme un humain qui écrit une longue liste de pensées avant de donner la réponse finale. C'est ce qu'on appelle le « Chaîne de Pensée » (Chain-of-Thought ou CoT).

Considérez chaque étape de ce processus de pensée comme un seul mot que l'ordinateur écrit. Pour résoudre un problème difficile, il peut avoir besoin d'écrire 500 mots. Pour chaque mot écrit, l'ordinateur doit s'arrêter, réfléchir et effectuer un calcul massif. C'est précis, mais c'est lent et cela consomme beaucoup d'énergie, comme conduire une voiture où l'on doit s'arrêter et redémarrer le moteur pour chaque mètre parcouru.

Le Problème : Trop d'arrêts
Les chercheurs derrière ce papier se sont demandé : « Pourquoi devons-nous nous arrêter et redémarrer pour chaque mot ? L'ordinateur ne peut-il pas penser à deux mots à la fois ? »

Les tentatives précédentes pour faire réfléchir l'ordinateur via des pensées « invisibles » (au lieu de mots) ont échoué car l'ordinateur se perdait et perdait le fil sans retour clair ; c'est comme essayer d'apprendre une nouvelle langue en pensant uniquement dans sa tête sans jamais parler ; on peut se perdre parce qu'on ne sait pas si nos pensées sont correctes tant qu'on ne les a pas dites à voix haute.

La Solution : SuperThoughts
Le papier présente une nouvelle méthode appelée SuperThoughts. Voici comment elle fonctionne, en utilisant une analogie simple :

Imaginez que vous êtes un chef préparant un repas.

L'ancienne méthode (Standard) : Vous coupez un légume, vous le cuisez, vous le goûtez, puis vous coupez le suivant, vous le cuisez, vous le goûtez. Vous faites cela un par un. Cela prend beaucoup de temps.
La méthode SuperThoughts : Vous coupez deux légumes en même temps et vous les mettez dans un « bol spécial » (c'est le Compresseur). Vous cuisez ensuite ce « super-bol ». Quand vous le sortez, vous n'obtenez pas seulement un légume cuit ; vous obtenez deux légumes parfaitement cuits prêts à être servis (ce sont le Module Principal et le Module MTP qui travaillent ensemble).

En regroupant deux pensées en une seule « super-pensée », l'ordinateur n'a besoin de faire que moitié moins d'étapes de cuisson (passages vers l'avant) pour obtenir le même résultat. Cela double théoriquement la vitesse.

Le Filet de Sécurité : Le « Test de Confiance »
Il y a un bémol. Parfois, regrouper deux pensées ensemble est trop difficile. Si l'ordinateur essaie de résoudre une partie vraiment complexe du problème, il pourrait s'embrouiller s'il essaie de faire deux étapes à la fois.

Pour corriger cela, les chercheurs ont ajouté un Test de Confiance.

Imaginez un conducteur qui vérifie la route. Si la route est dégagée et facile (une pensée « facile »), le conducteur accélère et fait deux pas à la fois.
Mais si la route devient brumeuse ou dangereuse (une pensée « difficile »), le conducteur ralentit et revient à l'ancienne méthode : un pas à la fois.

Cela se produit automatiquement. Si l'ordinateur n'est pas sûr à 100 % de pouvoir prédire correctement les deux mots suivants, il dit : « Tant pis, faisons juste un mot maintenant », puis il réessaie pour le mot suivant. Cela garantit que l'ordinateur ne fait pas d'erreurs juste pour aller plus vite.

Ce qu'ils ont trouvé
Les chercheurs ont testé cela sur plusieurs énigmes difficiles de mathématiques et de sciences (comme MATH500 et OlympiadBench). Voici ce qui s'est passé :

Vitesse : L'ordinateur a eu besoin d'écrire environ 20 % à 30 % d'étapes en moins pour résoudre les problèmes. C'était comme couper un long voyage en deux en prenant un raccourci.
Précision : Étonnamment, l'ordinateur n'est pas devenu beaucoup moins intelligent. Sa précision n'a baissé que d'un tout petit peu (environ 1 ou 2 points sur 100) par rapport à la méthode lente et prudente.
La taille compte : Les ordinateurs plus gros (avec plus de « puissance cérébrale ») ont mieux géré l'astuce du « deux à la fois » que les plus petits.

En résumé
SuperThoughts est une façon de faire réfléchir l'IA plus rapidement sans perdre son intelligence. Au lieu de faire un pas à la fois, elle essaie de faire deux pas à la fois. Si elle n'est pas sûre d'elle, elle ralentit automatiquement pour faire un pas à la fois afin de s'assurer qu'elle a raison. Cela permet de gagner du temps et de la puissance de calcul tout en gardant des réponses majoritairement correctes.

Résumé technique : SuperThoughts : Jetons de raisonnement en superposition

Problématique

Les grands modèles de langage (LLM) résolvent des problèmes complexes en générant des séquences explicites de Chaîne de Pensée (Chain-of-Thought ou CoT), où chaque jeton représente une unité de calcul (une passe avant). Bien que des modèles récents comme OpenAI o1 et DeepSeek-R1 démontrent qu'une augmentation du calcul au moment de l'inférence améliore considérablement les performances, cette génération séquentielle de jetons est coûteuse en termes de calcul.

Les approches existantes tentant de contourner la génération de jetons discrets en raisonnant dans des espaces latents continus (par exemple, COCONUT, raisonnement latent) sont confrontées à un défi critique : l'absence de supervision intermédiaire. L'entraînement standard de la CoT repose sur une perte de cross-entropie au niveau du jeton à chaque étape, fournissant des signaux de gradient denses. Lorsque le raisonnement se produit dans un espace latent non contraint, cette supervision disparaît, entraînant une instabilité de l'entraînement, une dérive représentationnelle et de mauvaises performances sur les tâches à long horizon. Inversement, les méthodes qui se contentent de compresser le contexte ou de réduire le nombre de jetons discrets via le fine-tuning ne réduisent pas le nombre de passes avant nécessaires, ce qui limite leur impact sur le débit d'inférence.

La question centrale abordée par ce travail est la suivante : Un modèle peut-il être entraîné pour raisonner dans un espace latent plus riche et superposé tout en conservant les signaux de supervision intermédiaire de la génération de jetons discrets ?

Méthodologie

Les auteurs proposent SuperThoughts, un cadre qui compresse les paires de jetons consécutifs de la CoT en représentations latentes uniques, permettant au modèle de décoder deux jetons par étape. Cette approche réduit de moitié le nombre de passes avant nécessaires pour une chaîne de raisonnement de longueur $L$ (réduisant à $L/2$ étapes) tout en préservant la supervision par jetons discrets.

Architecture

Le modèle se compose de trois composants principaux :

Compresseur (Compressor) : Encode une paire d'embeddings de jetons $(c_{2i-1}, c_{2i})$ $(c_{2 i - 1}, c_{2 i})$ en un vecteur latent unique $x_i$ $x_{i}$ . Les auteurs explorent deux implémentations :
- Projection Linéaire : Concatène les embeddings et les projette via une matrice apprenable.
- Bloc Transformer : Traite la paire à travers un petit bloc Transformer, extrayant l'état caché du second jeton.
Module Principal (Main Module) : Le squelette de raisonnement principal (initialisé à partir d'un LLM pré-entraîné). Il traite le vecteur compressé $x_i$ pour produire un état caché $h_i$ et prédit le jeton suivant d'indice impair ( $c_{2i+1}$ ).
Module de Prédiction Multi-Jetons (MTP Module) : Un module léger qui prédit le jeton suivant d'indice pair ( $c_{2i+2}$ ). Il prend en entrée le jeton pair précédent, le jeton impair nouvellement prédit, et l'état caché du module principal, les projetant dans un vecteur $x'_i$ pour générer la prédiction suivante. Les deux modules partagent la même tête de modélisation de langage.

Stratégie d'entraînement

Pour remédier à l'instabilité du raisonnement latent, un protocole d'entraînement en deux étapes est employé :

Distillation Latente (Étape 1) : Le Compresseur est entraîné pour aligner l'espace latent compressé avec la variété linguistique pré-entraînée. Un modèle « enseignant » traite la séquence de jetons discrets, tandis qu'un modèle « étudiant » traite les paires compressées. Le Compresseur est optimisé pour minimiser la distance Smooth-L1 entre les états cachés de l'étudiant (après traitement de $x_i$ ) et les états cachés de l'enseignant (après traitement de la paire de jetons correspondante). Cela garantit que les représentations compressées préservent l'état de raisonnement de la séquence discrète originale.
Entraînement Conjoint de Bout en Bout (Étape 2) : Le module principal, le module MTP et le Compresseur sont entraînés conjointement en utilisant la perte de cross-entropie standard pour tous les jetons prédits (tant pour les sorties du module principal que du MTP).

Inférence Adaptative

Reconnaissant que toutes les étapes de raisonnement ne sont pas également difficiles, les auteurs introduisent un mécanisme adaptatif basé sur la confiance. À chaque étape, si la confiance de prédiction du module MTP (probabilité maximale) tombe en dessous d'un seuil $\tau$ , le modèle rejette la prédiction du MTP. Il revient alors à un décodage standard pour cette étape, injectant le jeton unique directement au module principal. Cela permet au modèle d'allouer plus de calcul aux jetons « difficiles » tout en maintenant l'efficacité sur les jetons « faciles ».

Contributions Clés

Architecture SuperThoughts : Un nouveau cadre qui fusionne les paires de jetons dans des embeddings superposés et décode deux jetons par étape en utilisant un module principal et un module MTP, réduisant ainsi de moitié le nombre de passes avant nécessaires.
Protocole d'Entraînement en Deux Étapes : Une méthode pour stabiliser le raisonnement latent en alignant d'abord l'espace compressé via la distillation avant l'entraînement conjoint de bout en bout avec une supervision discrète.
Mécanisme d'Inférence Adaptative : Un système de repli dynamique qui échange le débit contre la précision sur les étapes de raisonnement incertaines, évitant la dégradation des performances sur les tâches complexes.
Évaluation Empirique : Évaluation complète sur des benchmarks de raisonnement mathématique et scientifique (MATH500, AMC23, OlympiadBench, GPQA-Diamond) démontrant une réduction significative de la longueur de la CoT avec une perte de précision minimale.

Résultats

Les auteurs ont évalué SuperThoughts sur des modèles Qwen2.5-Math (variantes 1.5B, 7B et 14B) sur plusieurs benchmarks :

Réduction de Longueur : Avec le mécanisme adaptatif, SuperThoughts atteint une réduction de 20 à 35 % de la longueur de la CoT.
Précision : La méthode maintient une précision à 1 ou 2 points près de la référence de la CoT discrète standard sur la plupart des tâches. Par exemple, sur le modèle 1.5B avec $\tau=0.999$ , la précision sur MATH500 a atteint 73.0 % (contre 72.4 % pour la référence) avec une réduction de 36 % de la longueur de la CoT.
Effets d'Échelle : Les modèles plus grands (7B) tolèrent mieux la compression agressive que les plus petits (1.5B). Sans inférence adaptative, le modèle 1.5B a subi des chutes de précision importantes (14 à 21 points), tandis que le modèle 7B n'a chuté que de 5 à 12 points.
Comparaison avec HAMburger : SuperThoughts a surpassé la ligne de base HAMburger (Liu & Zhang, 2025) à chaque niveau de compression, obtenant une précision plus élevée pour la même longueur de CoT ou des longueurs de CoT plus courtes pour la même précision.
Accélération de l'Inférence : Bien que l'accélération théorique soit proportionnelle à la réduction de longueur, l'accélération réelle du temps de calcul (wall-clock time) est légèrement inférieure en raison de la surcharge des modules Compresseur et MTP. Cependant, cette surcharge diminue à mesure que la taille du modèle augmente ; pour le modèle 14B, une réduction de longueur de ~33 % s'est traduite par une réduction de ~28 % du temps de génération.

Signification

L'article affirme que SuperThoughts démontre avec succès que les modèles peuvent raisonner dans un espace latent superposé sans sacrifier la stabilité fournie par la supervision de jetons discrets. En compressant les paires de jetons et en utilisant l'inférence adaptative, le cadre offre une voie pratique pour réduire le coût computationnel des tâches de raisonnement à long horizon. Le travail suggère que les modèles plus grands possèdent une capacité par étape suffisante pour gérer des jetons superposés de manière fiable, laissant présager que le passage à l'échelle pourrait permettre une compression encore plus grande (par exemple, la superposition de trois jetons ou plus). De plus, les auteurs notent qu'à mesure que les modules MTP natifs deviendront standards dans les futurs LLM (par exemple, Qwen3-Next, MiMo), l'application de SuperThoughts deviendra encore plus directe et efficace.