Résumé Technique : AGCLR – Raisonnement Latent Continu à Porte Adaptative (Adaptive Gated Continuous Latent Reasoning)

Identification du Problème : Le Goulot d'Étranglement Conceptuel

Les grands modèles de langage (LLM) ont démontré de fortes capacités de raisonnement, particulièrement lorsqu'ils sont guidés par le prompting de type Chaîne de Pensée (Chain-of-Thought ou CoT). Cependant, la CoT est contrainte à une passe avant unique où chaque jeton généré devient l'entrée pour le suivant, forçant un engagement précoce sur un chemin de raisonnement. Pour y remédier, le paradigme CoCoNuT (Chain of Continuous Thought) a été introduit, permettant aux modèles de raisonner dans un espace latent continu en réinjectant le dernier état caché comme l'embedding d'entrée suivant. Cela permet une recherche en largeur implicite sur les chemins de raisonnement sans passer par des jetons discrets.

Malgré sa promesse, les auteurs identent une limitation critique de la CoCoNuT vanilla nommée goulot d'étranglement conceptuel. Dans l'inférence multi-passes, les états cachés intermédiaires sont progressivement écrasés à mesure que de nouveaux jetons latents sont générés. Sans mécanisme de préservation de l'information, les faits critiques calculés lors des étapes de raisonnement initiales sont perdus à mesure que la profondeur du raisonnement augmente. Les preuves empiriques montrent que si la CoCoNuT vanilla affiche des performances comparables à la CoT sur des tâches peu profondes, ses performances se dégradent sur des chaînes de raisonnement profondes (par exemple, sur GSM8K et ProsQA), échouant à s'améliorer par rapport aux bases de référence CoT standard sur des tâches de QA multi-étapes comme HotpotQA.

Méthodologie : AGCLR

Pour résoudre le goulot d'étranglement conceptuel, les auteurs proposent l'AGCLR (Adaptive Gated Continuous Latent Reasoning). Cette méthode augmente la CoCoNuT avec un Flux de Concepts à Portes (Gated Concept Stream), un vecteur de mémoire résiduelle persistant ($c_t$) maintenu à travers tous les passages de raisonnement.

Architecture

À chaque position de jeton latent, le modèle calcule un état caché ($h_t$) qui est traité à travers trois portes sigmoïdes apprises pour contrôler le flux d'information entre l'état actuel et la mémoire persistante :

1. Porte d'Écriture (Write Gate - $w_t$) : Détermine quelle part de l'état caché à porte actuel ($h'_t$) est engagée dans le flux de concepts. Cela empêche les états à faible confiance ou non pertinents de polluer la mémoire.
2. Porte de Lecture (Read Gate - $r_t$) : Contrôle la quantité de flux de concepts antérieur ($c_{t-1}$) qui est récupérée et intégrée dans l'état caché actuel, permettant au modèle d'accéder aux faits des passages précédents.
3. Porte d'Oubli (Forget Gate - $f_t$) : Détermine quelle part de l'état caché actuel est préservée par rapport à celle remplacée par la mémoire récupérée, permettant l'élagage sélectif du contexte non pertinent.

Les équations de mise à jour sont définies par :
$$\hat{h}_t = \text{LayerNorm}(h_t)$$
$$r_t, f_t, w_t = \sigma(W \hat{h}_t)$$
$$h'_t = (1 - f_t) \odot h_t + r_t \odot c_{t-1}$$
$$c_t = \text{LayerNorm}(c_{t-1} + w_t \odot h'_t)$$

L'état caché à porte $h'_t$ remplace $h_t$ comme entrée pour la position du jeton latent suivant, tandis que $c_t$ sert de mémoire persistante pour les passages ultérieurs.

Protocole d'Entraînement

L'AGCLR utilise une approche d'apprentissage curriculaire multi-étapes inspirée de la CoCoNuT :

• Étape 0 : Le modèle est entraîné sur des données CoT standard avec des étapes de raisonnement explicites.
• Étapes suivantes : Les étapes de raisonnement explicites sont progressivement remplacées par des jetons latents continus. À l'étape $k$, les $k$ premières étapes sont remplacées par $k \times c$ jetons latents.
• Étape Finale : Tout le raisonnement est effectué dans l'espace latent.
  Le modèle est entraîné sur GPT-2 (117M de paramètres) en utilisant ce curriculum sur trois jeux de données : GSM8K (arithmétique), HotpotQA (QA multi-étapes) et ProsQA (planification).

Principales Contributions

1. Identification du Goulot d'Étranglement Conceptuel : Les auteurs démontrent empiriquement que la CoCoNuT vanilla souffre d'une perte d'information dans les états intermédiaires à mesure que la profondeur du raisonnement augmente, entraînant une dégradation des performances sur les tâches complexes.
2. Architecture AGCLR : La proposition d'un mécanisme de mémoire résiduelle à portes qui résout ce goulot d'étranglement avec seulement une augmentation de 1,41 % des paramètres par rapport au modèle de base GPT-2.
3. Gains de Performance : L'AGCLR surpasse systématiquement la CoCoNuT vanilla sur tous les jeux de données testés, l'avantage de performance se renforçant à mesure que la profondeur du curriculum (complexité du raisonnement) augmente.

Résultats

L'évaluation sur trois benchmarks révèle les points suivants :

• GSM8K (Mathématiques) : L'AGCLR atteint 34,0 % de précision, surpassant la CoCoNuT vanilla (31,4 %) [la CoT de base est de 40,6 %, mais les variantes CoCoNuT sont généralement inférieures sur la mathématique à étape unique ; l'AGCLR s'améliore significativement par rapport à la base latente uniquement].
• HotpotQA (QA Multi-étapes) : L'AGCLR atteint 14,0 % d'Exact Match (EM), soit une amélioration de +3,6 % par rapport à la CoCoNuT vanilla (10,4 %) et un gain significatif par rapport à la base CoT (11,0 %).
• ProsQA (Planification) : L'AGCLR atteint 96,0 % de précision, contre 92,0 % pour la CoCoNuT vanilla. Notamment, la performance de la CoCoNuT vanilla se dégrade à l'étape de curriculum la plus profonde (Étape 6), tandis que l'AGCLR maintient son amélioration.

Analyse de la Rétention de la Mémoire

L'analyse de la similitude cosinus entre l'état caché initial et les passages suivants montre que la CoCoNuT vanilla souffre d'une décroissance monotone de la mémoire (la similitude chute de 1,0 à 0,126 à la passe 6, représentant une perte d'information de 87 %). En revanche, l'AGCLR se stabilise après la passe 3, conservant une similitude d'environ 0,22, ce qui correspond à 71 % de rétention d'information supplémentaire par rapport à la base.

Les études d'ablation confirment que les gains proviennent du mécanisme de mémoire persistante plutôt que simplement de l'ajout de paramètres :

• Supprimer la porte d'écriture fait chuter la performance à 8,8 % EM (en dessous de la CoCoNuT vanilla).
• Geler la porte d'écriture après la passe 2 ne produit qu'une baisse de 0,8 % (13,2 % contre 14,0 % EM), suggérant que la capture précoce de l'information est suffisante, et que les portes de lecture/oubli maintiennent la qualité de cette information stockée.
• Supprimer la porte d'oubli provoque une chute significative (8,4 % EM), soulignant la nécessité d'élaguer le contexte non pertinent pour éviter la pollution de la mémoire.

Signification et Revendications

L'article affirme que l'AGCLR traite directement le goulot d'étranglement conceptuel en introduisant une mémoire résiduelle à portes persistante qui permet aux modèles de maintenir des faits critiques à travers les cycles de raisonnement itératifs. Contrairement aux approches précédentes qui opèrent dans l'espace du langage (ex: iCoT, pause tokens) ou manquent d'état persistant, l'AGCLR permet de raisonner dans un espace latent non contraint tout en préservant les états computationnels nécessaires aux tâches multi-étapes.

Les auteurs soulignent que l'amélioration est pilotée par la capacité de l'architecture à stocker, maintenir et récupérer l'information à travers les passes, plutôt que par une simple augmentation de la capacité du modèle. Bien que les résultats soient cohérents à travers divers types de raisonnement (mathématiques, QA, planification), l'article reste modeste quant à sa portée, notant que les expériences ont été menées sur un seul "seed" avec un modèle de base GPT-2 de 124M de paramètres. La scalabilité vers des modèles plus grands et des distributions de tâches plus larges reste un sujet de validation future.