💬 NLP

CoLT: Reasoning with Chain of Latent Tool Calls

Le document propose CoLT, un nouveau cadre qui améliore l'efficacité du raisonnement des grands modèles de langage en générant des jetons de semence qui incitent des modèles externes à les décompresser en étapes de raisonnement complètes, atteignant ainsi une précision et une longueur de raisonnement plus courtes sans nécessiter d'augmentation de la structure du modèle ni d'entraînement exhaustif.

Auteurs originaux : Fangwei Zhu, Zhifang Sui

Publié 2026-02-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Fangwei Zhu, Zhifang Sui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef brillant mais très occupé (le Grand Modèle de Langage) qui essaie de résoudre un problème mathématique complexe. Habitellement, pour résoudre le problème, le chef doit noter chaque étape de sa réflexion sur une longue feuille de papier, mot après mot. Cela s'appelle la « Chaîne de Pensée » (Chain-of-Thought). Cela fonctionne bien, mais cela prend beaucoup de temps pour écrire et lire tous ces mots, ce qui rend le processus lent et coûteux.

Certains chercheurs ont essayé d'accélérer cela en demandant au chef de simplement « penser silencieusement » dans sa tête sans rien écrire. Mais c'est comme demander au chef de garder une recette entière en mémoire sans prendre de notes ; c'est difficile, cela nécessite souvent de reconstruire le cerveau du chef (en changeant la structure du modèle), et parfois le chef oublie les étapes ou s'embrouille.

Entrez en scène : CoLT (Chain-of-Latent-Tools).

CoLT est une nouvelle façon astucieuse d'aider le chef à penser vite sans perdre sa capacité à expliquer son travail. Voici comment cela fonctionne, en utilisant une analogie simple :

Le système de la « Note Secrète »

Au lieu d'écrire un paragraphe complet de raisonnement, le chef écrit une petite note secrète (appelée « jeton de graine » ou seed token).

La Note : Cette note n'est composée que de quelques symboles spéciaux. Cela ne ressemble pas à une phrase, mais cela contient toute la « saveur » et l'information d'une étape complète de raisonnement, compressées dans un petit paquet.
Le Décodeur (Le Traducteur) : Lorsque le chef écrit cette note secrète, il sonne une cloche. Un petit assistant rapide (le « décodeur ») entend la cloche, saisit la note secrète et la traduit instantanément en phrases complètes et lisibles.
La Boucle : Le chef lit les phrases traduites, les ajoute à son travail, puis écrit la prochaine note secrète pour l'étape suivante.

Pourquoi est-ce mieux ?

Vitesse : Écrire une note secrète est beaucoup plus rapide que d'écrire un paragraphe entier. Le chef passe moins de temps à « taper » et plus de temps à résoudre.
Clarté : Contrairement aux méthodes de « pensée silencieuse » où le raisonnement reste caché à jamais, CoLT traduit les notes en texte clair. Ainsi, à la fin de la journée, vous avez toujours une histoire claire et lisible de la manière dont le problème a été résolu. Le chef n'a pas perdu sa capacité à parler ; il a simplement appris un langage abrégé.
Pas de Reconstruction : Vous n'avez pas besoin de reconstruire le cerveau du chef. Vous ajoutez simplement un petit assistant (le décodeur) qui sait traduire les notes. Le chef principal reste exactement le même.

La magie de l'« Appel d'Outil » (Tool Call)

L'article appelle cela un « Appel d'Outil ». Imaginez que c'est comme un chef qui dit : « J'ai besoin d'un traducteur pour cette étape ! »

Le chef génère un jeton déclencheur spécial (comme l'appui sur un bouton).
Le système choisit le bon traducteur (décodeur) en fonction de ce bouton.
Le traducteur prend la « pensée » cachée à l'intérieur du bouton et la déballe en mots.

Qu'ont-ils découvert ?

Les chercheurs ont testé cela sur des problèmes mathématiques (comme des problèmes de mathématiques élémentaires).

Plus Rapide : La méthode de la « note secète » produisait des chaînes de raisonnement beaucoup plus courtes que l'écriture de tout le texte, et elle était plus rapide que les autres méthodes de « pensée silencieuse ».
Plus Intelligent : Elle a en réalité obtenu de meilleurs scores (une précision plus élevée) que d'autres méthodes de raccourci.
Flexible : Ils ont essayé différents types de « traducteurs » (certains étaient simples, d'autres complexes). Les meilleurs étaient de petites versions rapides du cerveau du chef principal (Transformers), mais des traducteurs encore plus simples fonctionnaient aussi très bien.
Apprentissage : Ils ont même appris au système à apprendre de ses erreurs en utilisant une technique appelée Apprentissage par Renforcement (Reinforcement Learning). Le système pouvait essayer différents chemins, recevoir des commentaires et devenir encore meilleur pour résoudre des problèmes difficiles.

En Résumé

CoLT est comme donner à une IA super intelligente un langage abrégé. Cela permet à l'IA de compresser sa pensée en petits paquets efficaces, d'avoir un assistant pour les déballer instantanément, et de continuer à travailler. Cela conserve la vitesse de la « pensée silencieuse » tout en gardant la clarté de « l'écriture de tout le texte », le tout sans avoir besoin de reconstruire le cerveau de l'IA à partir de zéro.

Résumé Technique : CoLT – Raisonnement avec Chaînes d'Appels d'Outils Latents

Énoncé du Problème

Le prompting par Chaîne de Pensée (Chain-of-Thought ou CoT) s'est avéré essentiel pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) en décomposant les problèmes complexes en étapes séquentielles. Cependant, la CoT explicite nécessite de générer des chaînes de raisonnement jeton par jeton, ce qui entraîne des coûts de calcul élevés lors de l'inférence. Bien que des méthodes de CoT implicite (par exemple, COCONUT, CODI, COLAR) aient été proposées pour raisonner dans un espace latent continu afin de réduire la longueur des jetons, elles souffrent généralement de deux limitations critiques :

Rigidité Structurelle : Elles nécessitent souvent des modifications significatives de l'architecture du modèle et un entraînement exhaustif.
Applicabilité : Ces contraintes limitent leur adoption plus large à travers différentes tâches et structures de modèles.

De plus, les méthodes de raisonnement latent existantes opèrent souvent entièrement dans un espace latent "boîte noire", sacrifiant potentiellement l'interprétabilité et les capacités de raisonnement préentraînées du modèle de base.

Méthodologie : Le Cadre CoLT

Les auteurs proposent CoLT (Chain-of-Latent-Tools), un nouveau cadre qui implémente le raisonnement latent sous forme d'« appels d'outils paramétriques ». Au lieu de raisonner entièrement dans l'espace latent, CoLT permet au LLM principal d'opérer dans l'espace de jetons explicite tout en déléguant l'expansion des étapes de raisonnement à des décodeurs externes différentiables.

Mécanisme Central

Jetons de Semence (Seed Tokens) et Appels d'Outils Latents :
Pendant le processus de raisonnement, le LLM principal génère des « jetons de semence » spéciaux pour représenter une étape de raisonnement condensée. Ceux-ci se composent de :
- Jetons de Corps (<BDY>) : Porteurs d'embeddings latents contenant l'information compressée de l'étape de raisonnement.
- Jetons de Déclenchement (<TRG>) : Indicateurs qui signalent la fin d'un appel d'outil latent et spécifient quel décodeur externe invoquer.
Une séquence typique d'appel d'outil latent apparaît comme suit : [Question] [Étapes Précédentes] <BDY> ... <TRG>.
Décodage Différentiable :
Lorsqu'un jeton de déclenchement est levé, les états cachés des jetons de semence sont extraits et transmis à un décodeur différentiable externe (par exemple, un Transformer léger, un RNN ou un décodeur Multi-hot).
- Le décodeur déballe les états cachés pour les transformer à nouveau en jetons de texte explicites complets (par exemple, des équations mathématiques).
- Ces jetons décodés sont concaténés au contexte, et le LLM principal poursuit sa génération autorégressive avec le contexte mis à jour et lisible.
Objectifs d'Entraînement :
Le cadre est entraîné de bout en bout en utilisant deux composantes de perte supervisée :
- Perte Principale ( $L_{main}$ ) : Garantit que le modèle principal génère correctement les jetons de semence et les signaux de déclenchement.
- Perte Latente ( $L_{lat}$ ) : Garantit que le décodeur reconstruit correctement les jetons de texte à partir des embeddings de semence.
- Perte Totale : $L_{sup} = L_{main} + L_{lat}$ .
Compatibilité avec l'Apprentissage par Renforcement (RL) :
Parce que les décodeurs sont différentiables et peuvent supporter l'échantillonnage, l'ensemble du processus de raisonnement peut être modélisé comme une conversation multi-tours. Cela permet l'application de l'Optimisation de Politique Relative de Groupe (Group Relative Policy Optimization ou GRPO) pour explorer des chemins de raisonnement diversifiés et renforcer les chaînes correctes sans injection manuelle de bruit.

Contributions Clés

Nouveau Cadre : CoLT introduit une méthode pour implémenter le raisonnement latent comme des appels d'outils, permettant au modèle principal de raisonner dans l'espace de texte préentraîné tout en compressant les étapes intermédiaires dans des jetons de semence.
Flexibilité du Décodeur : Les auteurs conçoivent et évaluent diverses structures de décodeurs (Transformer, RNN, Multi-hot), démontrant que bien que les Transformers soient les plus performants, le cadre est adaptable à différentes formes.
Efficacité et Performance : CoLT atteint une précision plus élevée et des longueurs de raisonnement plus courtes par rapport aux modèles latents de référence, nécessitant moins d'époques d'entraînement et moins de modifications structurelles.
Intégration RL : Le cadre est montré comme étant compatible avec les algorithmes d'apprentissage par renforcement, permettant des gains de performance sur des jeux de données difficiles grâce à l'exploration.

Résultats Expérimentaux

Les auteurs ont évalué CoLT sur quatre benchmarks de raisonnement mathématique : GSM8k, GSM8k-hard, SVAMP et MultiArith.

Précision vs Longueur : CoLT a surpassé les bases de comparaison de raisonnement latent (incluant COCONUT, CODI, COLAR et SIM-CoT) tant en précision qu'en longueur de chaîne de raisonnement. Par exemple, sur GSM8k-Aug, CoLT a obtenu une amélioration de précision de 5 % par rapport à COLAR (2x) tout en réduisant la longueur des jetons de raisonnement de 12,7 à 7,73.
Généralisation : Le modèle a démontré une forte capacité de généralisation hors domaine, particulièrement sur le jeu de données MultiArith où il a surpassé la base de référence CoT supervisée.
Études d'Ablation :
- Couches du Décodeur : L'augmentation des couches du décodeur et de la longueur des jetons de semence améliore la précision, bien qu'avec des rendements décroissants par rapport au coût computationnel.
- Structure du Décodeur : Les décodeurs Transformer ont produit les meilleures performances, suivis par les RNN. Les décodeurs Multi-hot ont moins bien performé, suggérant que les structures récurrentes sont mieux adaptées pour déballer les semences compactées.
Apprentissage par Renforcement : L'application de GRPO aux modèles CoLT sur GSM8k-Aug et le jeu de données MATH (en utilisant DeepSeek-R1-Distill-Qwen-1.5B) a encore amélioré les performances, prouvant la capacité du cadre à apprendre à partir de divers chemins de raisonnement.

Signification et Revendications

L'article affirme que CoLT offre une solution pratique au compromis entre efficacité de raisonnement et capacité du modèle. En ancrant le modèle principal dans l'espace de texte préentraîné et en utilisant des décodeurs externes pour gérer l'expansion « latente », CoLT préserve l'interprétabilité des chaînes de raisonnement (la sortie finale est entièrement textuelle) tout en réduisant considérablement les coûts d'inférence.

Les auteurs soulignent que CoLT nécessite une modification minimale de la structure originale du modèle, ce qui le rend plus largement applicable que les méthodes de raisonnement latent précédentes qui exigent de lourds changements architecturaux. De plus, la compatibilité du cadre avec l'apprentissage par renforcement suggère une voie pour passer à l'échelle du raisonnement latent vers des tâches plus complexes, à condition que la granularité des appels d'outils et les structures des décodeurs soient appropriées pour le domaine spécifique. L'article conclut que, bien qu'actuellement focalisé sur le raisonnement mathématique, le concept d'appels d'outils latents possède un potentiel pour des applications plus larges, incluant la récupération d'entités et le raisonnement multimodal.