Résumé technique : CIRF (Chaînes de pensées en unités fonctionnelles réutilisables)

1. Énoncé du problème

Les grands modèles de langage (LLM) ont démontré des améliorations significatives dans les tâches de raisonnement complexe grâce à l'approche d'incitation par chaîne de pensée (CoT), qui génère des justifications intermédiaires explicites. Cependant, la génération de ces traces complètes en langage naturel entraîne des coûts substantiels en latence d'inférence et en mémoire. Bien que des recherches récentes aient exploré des méthodes de CoT implicite pour internaliser le raisonnement dans des états cachés ou des tokens spéciaux, les approches existantes font face à des limitations critiques :

• Manque d'alignement : De nombreuses méthodes utilisent des tokens de remplissage homogènes (par exemple, des tokens « pause » répétés) qui ne parviennent pas à s'aligner sur la structure sémantique des justifications explicites.
• Problèmes d'adaptativité : Les méthodes implicites actuelles peinent souvent à adapter la longueur du raisonnement à la complexité de l'entrée, conduisant soit à un sous-raisonnement, soit à un sur-raisonnement.
• Instabilité de l'entraînement : Les approches qui alimentent récursivement les états cachés en tant qu'entrées (par exemple, les espaces latents continus) introduisent des coûts d'entraînement substantiels et une instabilité, en particulier lors de la modélisation de multiples étapes de raisonnement.
• Passage à l'échelle : La difficulté à augmenter le nombre de tokens implicites limite les performances, car le nombre optimal d'étapes de raisonnement varie considérablement d'une tâche à l'autre.

2. Méthodologie : CIRF

Les auteurs proposent CIRF, un cadre qui tokenise les traces explicites de CoT en une séquence dynamique de tokens fonctionnels discrets. L'idée centrale consiste à traiter chaque unité de raisonnement sémantiquement cohérente comme une opération fonctionnelle réutilisable, encodée sous la forme d'un seul token.

2.1 Attribution de tokens fonctionnels

Le processus commence par la segmentation des justifications explicites de CoT en unités sémantiquement cohérentes (par exemple, « Étape 1 », « Étape 2 »).

• Encodage sémantique : Chaque segment est encodé à l'aide d'un modèle d'encodage de phrases pré-entraîné.
• Réduction du biais : Pour éviter que les encodages ne soient biaisés vers le contexte spécifique d'une question, les auteurs appliquent un centrage moyen aux représentations des segments au sein de chaque question. Cela isole l'opération fonctionnelle du biais situationnel.
• Quantification vectorielle (VQ-VAE) : Les encodages centrés sont quantifiés en un vocabulaire discret de tokens fonctionnels en utilisant une approche VQ-VAE.
  • Initialisation du dictionnaire : Une procédure de clustering équilibrée basée sur l'algorithme Sinkhorn-Knopp est utilisée pour initialiser le dictionnaire, garantissant une distribution égale des attributions entre les tokens.
  • Apprentissage : Le dictionnaire et les réseaux encodeur/décodeur sont entraînés pour minimiser l'erreur de reconstruction tout en maintenant des attributions de tokens discrètes.
• Initialisation des encodages : Les nouveaux tokens fonctionnels sont ajoutés au vocabulaire du LLM. Leurs encodages initiaux sont définis en redimensionnant les vecteurs du dictionnaire appris, permettant au modèle d'exploiter immédiatement les relations géométriques entre les codes fonctionnels.

2.2 Génération autoregressive et alignement

Le LLM cible est affiné pour générer de manière autoregressive une séquence composée de :

1. Tokens fonctionnels : Représentant les étapes de raisonnement.
2. Tokens de résultat optionnels : Ponts textuels minimaux décrivant la sortie de l'opération fonctionnelle (par exemple, « 0,4 » au lieu d'une phrase complète).
3. Réponse finale : La solution au problème.

L'objectif d'entraînement est un modèle de langage autoregressif standard. Le modèle apprend à prédire le token fonctionnel suivant et son résultat optionnel, conditionnés par la question et les étapes précédentes.

2.3 Compression des résultats

Pour optimiser davantage le compromis précision-latence, CIRF introduit un mécanisme de compression des résultats. Étant donné que les tokens fonctionnels seuls suffisent souvent pour obtenir des réponses correctes, le système élimine itérativement les tokens de résultats qui ne réduisent pas significativement la perte. Cela permet un compromis ajustable : un seuil d'élagage plus élevé produit une inférence plus rapide avec une précision légèrement inférieure, tandis qu'un seuil plus bas conserve davantage d'informations textuelles intermédiaires.

3. Contributions clés

• Tokenisation fonctionnelle discrète : CIRF introduit une méthode pour convertir les traces de raisonnement continues en un vocabulaire discret et réutilisable de tokens fonctionnels, comblant le fossé entre le CoT explicite et le raisonnement latent efficace.
• Longueur de raisonnement adaptative : Contrairement aux méthodes avec des profondeurs de raisonnement fixes, CIRF génère des séquences de tokens fonctionnels de longueur variable, ajustant dynamiquement la profondeur du raisonnement en fonction de la complexité de l'instance d'entrée.
• Entraînement efficace : En utilisant des tokens discrets et un entraînement autoregressif standard (avec forçage de l'enseignant), CIRF évite l'instabilité et le coût computationnel élevé associés à l'alimentation récursive des états cachés.
• Interprétabilité : Les tokens fonctionnels appris correspondent à des opérations de raisonnement distinctes et interprétables (par exemple, addition, soustraction, sélection de bon sens), plutôt qu'à des identifiants arbitraires.

4. Résultats expérimentaux

Les auteurs ont évalué CIRF sur des benchmarks de raisonnement mathématique, symbolique, logique et de bon sens (incluant GSM8K, MATH-500, BIG-Bench Hard et CommonsenseQA) en utilisant les architectures de base Qwen3-8B et Llama3.1-8B.

• Compromis précision-latence : Les variantes de CIRF (CIRFFull, CIRFFast, CIRFFaster) atteignent systématiquement une position favorable sur la frontière de Pareto par rapport aux références de l'état de l'art (incluant iCoT-SI, Coconut, CODI et Pause Tokens).
  • CIRFFull atteint la précision la plus élevée, surpassant la meilleure référence implicite (CODI) jusqu'à 45,7 points de pourcentage sur GSM8K.
  • CIRFFast et CIRFFaster réduisent considérablement le temps d'inférence (jusqu'à 2 fois plus rapide que CODI) tout en maintenant une précision compétitive.
• Généralisabilité : CIRF démontre des performances robustes sur des tâches hors domaine (par exemple, MATH-500, StrategyQA), où de nombreuses références souffrent de résultats dégénérés ou d'une latence excessive.
• Comportement adaptatif : L'analyse montre une corrélation positive entre le nombre de tokens fonctionnels générés et la difficulté du problème, confirmant que CIRF adapte sa longueur de raisonnement à la tâche.
• Interprétabilité des tokens : L'analyse qualitative révèle que des tokens fonctionnels spécifiques correspondent systématiquement à des opérations spécifiques (par exemple, l'ID de token 23 correspond à la multiplication/division), validant l'ancrage sémantique du vocabulaire appris.

5. Importance et affirmations

L'article affirme que CIRF offre une direction prometteuse pour construire des modèles de langage capables de raisonner plus efficacement. Son importance principale réside dans :

• Préservation de la structure fonctionnelle : En convertissant le raisonnement en unités fonctionnelles réutilisables, CIRF maintient l'intégrité structurelle du processus de raisonnement tout en éliminant la surcharge de la génération de langage naturel verbeux.
• Passage à l'échelle et stabilité : Le cadre permet un entraînement en une seule étape avec forçage de l'enseignant, évitant l'apprentissage de curriculum complexe ou les modèles auxiliaires requis par d'autres méthodes de CoT implicite.
• Efficacité : CIRF atteint un équilibre optimal entre la qualité du raisonnement et le coût d'inférence, en faisant une alternative viable au CoT explicite pour les applications sensibles à la latence.

Les auteurs reconnaissent des limitations, notant que la qualité de la supervision des tokens fonctionnels dépend de la structure des traces de CoT explicites et que la segmentation actuelle repose sur des marqueurs ordinaux. Ils suggèrent que des travaux futurs pourraient explorer des méthodes de segmentation plus robustes et le comportement de CIRF sur des modèles plus grands et des tâches à contexte long.