💬 NLP

J-CoT: Chain-of-Thought in J-Space

Cet article introduit J-CoT, un cadre de raisonnement récurrent qui améliore les méthodes de raisonnement latent existantes en propageant les états intermédiaires sous forme de coefficients indexés par le vocabulaire au sein d'un système de coordonnées « espace-J », permettant ainsi un calcul efficace sans nécessiter de rationales entièrement verbalisées ou de récurrence d'états cachés denses.

Auteurs originaux : Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

Publié 2026-07-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le langage secret des machines pensantes

Imaginez que vous essayiez d'apprendre à un robot super intelligent comment résoudre un casse-tête complexe. Par le passé, la meilleure façon de faire était de forcer le robot à « penser à voix haute ». Il devait écrire chaque étape de son raisonnement en phrases d'anglais parfait avant de pouvoir vous donner la réponse finale. C'est ce qu'on appelle la Chaîne de Pensée (Chain-of-Thought), et cela fonctionne bien car cela ralentit le robot, lui permettant de vérifier son travail. Mais il y a un piège : forcer un robot à s'exprimer en phrases complètes, c'est comme demander à un humain de murmurer tout son monologue intérieur à un ami avant même de pouvoir terminer une pensée. C'est lent, et cela gaspille de l'énergie en grammaire et en narration alors que le robot a simplement besoin de faire des mathématiques ou de la logique.

À l'autre extrémité du spectre, certains scientifiques ont essayé de laisser le robot penser en silence total, en transmettant des signaux secrets et invisibles entre les étapes. C'est ce qu'on appelle le Raisonnement Latent (Latent Reasoning). C'est plus rapide, mais c'est comme essayer de faire passer un mot en classe qui est écrit dans un code si dense et désordonné que personne ne sait exactement quelles informations sont réellement importantes. Le robot pourrait se perdre dans une mer de chiffres sans moyen clair d'organiser ses pensées.

Ainsi, la grande question pour les chercheurs est la suivante : existe-t-il un juste milieu ? Pouvons-nous donner au robot un moyen de transmettre ses pensées de manière organisée et claire, sans pour autant perdre de temps à transformer chaque petite idée en une phrase complète ? C'est le problème que l'article « J-COT : Chain-of-Thought in J-Space » cherche à résoudre.

La grande idée de l'article : La « Pensée-J »

Les auteurs présentent une nouvelle méthode appelée J-CoT (J-Chain-of-Thought). Au lieu de forcer le robot à écrire une histoire ou à transmettre un bloc de données désordonné, J-CoT utilise un intermédiaire ingénieux appelé une pensée-J (J-thought).

Considérez le cerveau du robot comme une immense bibliothèque contenant des millions de livres. Quand le robot réfléchit, il doit généralement sortir des livres entiers (des phrases) pour lire et écrire. Mais J-CoC suggère qu'entre les étapes, le robot n'a pas besoin de sortir le livre entier. À la place, il a juste besoin de transmettre une carte de bibliothèque avec une liste de numéros de pages spécifiques et de passages surlignés.

Voici comment cela fonctionne dans leur système d'« espace-J » :

L'index du vocabulaire : Imaginez que chaque mot du vocabulaire du robot possède une adresse unique dans son cerveau.
La pensée-J : À la fin d'une étape de réflexion, le robot n'écrit pas une phrase. Au lieu de cela, il observe son cerveau et dit : « Je me concentre sur les concepts liés à ces adresses de mots spécifiques, et voici l'intensité de ma concentration. » Il crée une courte liste de nombres (coefficients) attachés à ces adresses de mots.
Le passage de relais : Cette liste est la pensée-J. Elle est transmise à l'étape suivante. Ce n'est pas une phrase, donc c'est rapide. Mais parce qu'elle est liée à des mots spécifiques, elle est organisée et significative.
L'étape suivante : Le robot prend cette liste, recherche les « adresses » dans son cerveau, et utilise cette information pour poursuivre sa réflexion. Il peut ensuite effectuer tout son travail lourd dans son cerveau complet et complexe sans être forcé de parler avant d'être prêt à donner la réponse finale.

Ce qu'ils ont découvert

Les chercheurs ont testé cette idée sur des tâches très difficiles, comme la résolution de problèmes mathématiques complexes, la réponse à des questions scientifiques et l'écriture de code informatique. Ils ont comparé J-CoT aux anciennes méthodes de « pensée à voix haute » et de « code secret ».

Les résultats sont très prometteurs. Ils ont constaté que J-CoT-Zero (une version qui ne nécessitait aucun entraînement supplémentaire) était déjà aussi bonne, voire parfois meilleure, que les meilleures méthodes de « code secret » qu'ils ont testées. Elle a réussi à égaler ou à dépasser les meilleurs performeurs sur tous les tests de référence qu'ils ont essayés, des puzzles mathématiques aux défis de codage.

Mieux encore, lorsqu'ils ont entraîné une version appelée J-CoT-Train pour devenir encore plus efficace dans la lecture et l'écriture de ces « cartes de bibliothèque », elle est devenue la grande gagnante. Elle a obtenu les scores les plus élevés dans tous les tests de mathématiques, de sciences, de codage et de logique qu'ils ont testés. Par exemple, sur un test de mathématiques difficile appelé MATH-500, la version entraînée est passée d'un score de 50,4 % (le précédent meilleur score) à 54,0 %.

Pourquoi c'est important (et ce que cela n'est pas)

L'article suggère que cette interface d'« espace-J » est un point d'équilibre. Il prouve que vous n'avez pas besoin de forcer un robot à parler en phrases complètes pour qu'il réfléchisse clairement, mais que vous n'avez pas non plus besoin de le laisser errer dans un brouillard de chiffres invisibles. En utilisant cette liste indexée sur le vocabulaire, le robot peut garder ses pensées organisées sans la lourdeur de la grammaire.

Cependant, les auteurs prennent soin de ne pas prétendre qu'il s'agit d'une solution miracle qui résoudra tout pour toujours. Ils notent que leurs résultats sont basés sur des tests et des modèles spécifiques. Ils soulignent également que, bien que la « pensée-J » soit un excellent compromis, le robot doit toujours effectuer ses calculs lourds à l'intérieur de son cerveau ; la pensée-J n'est que le messager.

En résumé, l'article suggère qu'en changeant la manière dont un robot transmet ses pensées d'une étape à l'autre — passant de phrases complètes à une liste intelligente basée sur les mots — nous pouvons le rendre plus intelligent, plus rapide et plus efficace pour résoudre des problèmes difficiles. C'est comme réaliser que pour faire passer un message dans une pièce bondée, vous n'avez pas besoin de hurler un paragraphe ou de chuchoter un code secret ; il vous suffit de lever un panneau avec les bons mots-clés.

Résumé Technique : J-CoT : Chain-of-Thought dans l'Espace J

1. Énoncé du Problème

Les grands modèles de langage (LLM) reposent actuellement sur deux paradigmes principaux pour le raisonnement récurrent, qui présentent tous deux des limitations :

Chaîne de Pensée (CoT) Explicite : Cette approche utilise le langage naturel comme interface récurrente. Bien qu'efficace, elle force chaque état intermédiaire à être sérialisé en jetons (tokens) discrets. Cela oblige le modèle à s'engager dans des formes grammaticales, une continuité discursive et des explications explicites, même lorsque cela est inutile pour l'étape de raisonnement suivante. Cela contraint l'état transmis entre les cycles à une interprétation linguistique spécifique.
Raisonnement Latent Dense : Des méthodes comme Coconut propagent des états cachés continus entre les étapes de calcul, évitant ainsi la verbalisation. Cependant, ces méthodes transmettent un vecteur caché dense dans son ensemble. Cette interface manque d'un mécanisme explicite pour sélectionner et organiser l'information spécifique requise par l'étape de raisonnement suivante, risquant de transporter du bruit non structuré ou non pertinent.

L'article postule la nécessité d'une interface intermédiaire qui soit linguistiquement ancrée (ancrée dans le vocabulaire du modèle) mais non sentencielle (ne nécessitant pas la décodage d'une phrase), permettant un calcul complet dans l'espace caché au sein des cycles tout en fournissant un état structuré pour la récurrence.

2. Méthodologie : J-CoT

Les auteurs introduisent J-CoT, un cadre de raisonnement récurrent opérant dans l'espace J, un système de coordonnées indexé par le vocabulaire dérivé des représentations cachées du modèle.

2.1 Concept Central : La Pensée J (J-Thought)

Au lieu de transmettre des jetons décodés ou des vecteurs denses, J-CoT transmet une pensée J : un état de coefficients indexés par le vocabulaire.

Construction de l'Espace J : La méthode construit un dictionnaire pour chaque couche $\ell$ en effectuant une rétroprojection des directions du vocabulaire de la couche finale à travers la jacobienne descendante moyennée. Cela crée un index de vocabulaire partagé à travers différentes géométries de couches.
Extraction et Reconstruction :
- Écriture (Extraction) : À une couche d'écriture désignée, le modèle extrait des coefficients non négatifs sur le dictionnaire de l'espace J à partir de positions « porteuses » (carriers) spécifiques via une décomposition élastique-net. Cela forme la matrice de pensée J $A_t$ .
- Lecture (Reconstruction) : À une couche de lecture désignée, ces coefficients sont reconstruits dans le flux résiduel via le dictionnaire de la couche de lecture. Une porte de lecture apprise régule l'intégration de cet état avec la ligne de base conditionnée par le prompt.
Positions Porteuses (Carrier Positions) : Le modèle ajoute $M$ positions porteuses non linguistiques à l'entrée. Ces positions participent aux calculs standards d'auto-attention et de réseaux de neurones (feed-forward) mais ne sont jamais décodées. Elles servent de lieux de lecture/écriture pour la pensée J.

2.2 Mécanisme Récurrent

Le cycle J-CoT fonctionne comme suit :

Initialisation : Le prompt et les plongements (embeddings) neutres des porteurs sont propagés vers la couche de lecture.
Lecture : La pensée J précédente est reconstruite à la couche de lecture et injectée via une porte dans les activations des porteurs.
Calcul : Les porteurs et le prompt propagent à travers les couches intermédiaires du Transformer (de la couche de lecture à la couche d'écriture) en utilisant des représentations cachées denses et non restreintes.
Écriture : À la couche d'écriture, de nouveaux coefficients sont extraits des activations des porteurs pour former la pensée J suivante.
Terminaison : La récurrence s'arrête lorsque la pensée J se stabilise (faible changement de la norme de Frobenius) ou qu'un budget de cycle maximal est atteint. L'état final conditionne le décodage autorégressif de la réponse.

2.3 Configurations

J-CoT-Zero : Une configuration sans entraînement utilisant des composants d'interface fixes (plongements pré-entraînés moyens, force de lecture unitaire). Elle ne nécessite aucune optimisation spécifique à J-CoT.
J-CoT-Train : Une variante entraînable qui optimise les plongements des porteurs et la porte de lecture tout en gardant le Transformer sous-jacent et les dictionnaires de la lentille J gelés.

3. Contributions Clés

Cadre J-CoT : Introduction d'un cadre de raisonnement récurrent qui transporte un état de pensée J indexé par le vocabulaire à travers les cycles, comblant le fossé entre le raisonnement linguistique explicite et la récurrence latente dense.
Mécanisme de Lecture-Écriture Natif du Modèle : Développement d'un mécanisme qui utilise les coordonnées de l'espace J pour transporter l'état sans rationales décodées ou récurrence de l'état caché complet, permettant au modèle de préserver des informations difficiles à exprimer en langage naturel tout en maintenant une interface structurée.
Validation Empirique : Évaluation complète à travers le raisonnement mathématique, les questions-réponses scientifiques, la génération de code et le raisonnement de chemin structuré, démontrant que J-CoT égale ou dépasse les bases solides.

4. Résultats Expérimentaux

Les expériences ont été menées sur le squelette Qwen3-8B-Base (et mises à l'échelle sur des modèles plus grands) à travers huit benchmarks : GSM8K, MATH-500, AIME 2024, GPQA-Diamond, HumanEval+, MBPP+, LiveCodeBench et CRUXEval.

Performance vs Baselines :
- J-CoT-Train a obtenu les scores les plus élevés sur toutes les tâches évaluées, surpassant la base la plus forte du raisonnement latent (SIM-Coconut) avec une moyenne de 2,7 points de pourcentage (50,2 % contre 47,5 %).
- J-CoT-Zero (sans entraînement) a égalé ou dépassé SIM-Coconut sur chaque benchmark, améliorant le score moyen à 47,9 % sans aucune optimisation spécifique à J-CoT.
- Les deux variantes de J-CoT ont significativement surpassé le CoT linguistique standard et les baselines PS+.
Mise à l'échelle (Scaling) : J-CoT présente un passage à l'échelle positif tant avec la capacité du modèle (de 7B à 405B paramètres) qu'avec la profondeur du raisonnement (budgets de cycles adaptatifs). Les modèles plus grands bénéficient davantage de cycles de raisonnement supplémentaires.
Spectre d'Interface : Une expérience d'interpolation entre les états latents denses ( $\lambda=0$ ), les pensées J ( $\lambda=0,5$ ) et les états linguistiques explicites ( $\lambda=1$ ) a révélé une tendance non monotone. La performance a culminé avec la configuration J-CoT ( $\lambda=0,5$ ), suggérant qu'elle offre un équilibre optimal entre la préservation des chemins de raisonnement alternatifs (contrairement au CoT explicite) et la réduction de la persistance des chemins invalides (contrairement aux états latents denses).
Ablations : Supprimer la lecture de la pensée J ou réduire la pensée J à un seul porteur a considérablement dégradé les performances, validant la nécessité de la conception multi-porteurs indexée par le vocabulaire.

5. Signification et Revendications

L'article affirme que J-CoT démontre la viabilité des interfaces récurrentes natives du modèle comme une alternative supérieure aux états intermédiaires entièrement verbalisés ou entièrement denses.

Ancrage Linguistique sans Verbalisation : Les résultats soutiennent l'hypothèse qu'un système de coordonnées indexé par le vocabulaire (espace J) permet l'extraction et la réutilisation des calculs internes sans la surcharge de la génération d'un texte intermédiaire fluide.
Efficacité et Structure : En évitant l'engagement envers une interprétation linguistique spécifique à chaque étape, J-CoT permet au modèle de porter plus efficacement des calculs incertains ou distribués que le CoT explicite, tandis que l'indexation par le vocabulaire fournit un mécanisme de sélection absent des méthodes latentes denses.
Potentiel Sans Entraînement : La forte performance de J-CoT-Zero suggère que le Transformer pré-entraîné contient déjà un système de coordonnées d'espace J utilisable, ne nécessant aucun entraînement supplémentaire pour exploiter cette capacité récurrente.

Les auteurs concluent que J-CoT motive l'étude approfondie de telles interfaces, offrant une voie vers un raisonnement plus efficace et structuré dans les grands modèles de langage.