🤖 AI

Unlocking the Working Memory of Large Language Models for Latent Reasoning

L'article présente le Raisonnement en Mémoire (RiM), une méthode de raisonnement latent économe en calcul qui remplace la génération de pensées autorégressive par des blocs de mémoire fixes, permettant aux grands modèles de langage d'utiliser la mémoire de travail pour un raisonnement interne sans externaliser les étapes intermédiaires.

Auteurs originaux : Lukas Aichberger, Sepp Hochreiter

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lukas Aichberger, Sepp Hochreiter

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème Central : « Penser à voix haute » est lent

Imaginez que vous essayez de résoudre un problème mathématique complexe. Actuellement, la plupart des modèles d'IA (les grands modèles de langage) sont contraints de « penser à voix haute ». Pour résoudre un problème, ils doivent écrire chaque étape de leur processus de pensée, en phrases complètes, avant de pouvoir vous donner la réponse finale.

L'Analogie : C'est comme un élève passant un examen qui est obligé de rédiger un essai complet expliquant chaque calcul qu'il effectue avant de pouvoir écrire le chiffre final.
Le Problème : C'est inefficace. L'IA consacre beaucoup de temps et de puissance de calcul à générer des mots (grammaire, ponctuation, phrases de liaison) juste pour accéder à la logique. C'est comme conduire une voiture où vous devez vous arrêter à chaque feu rouge pour écrire un poème sur la couleur rouge avant de pouvoir repartir.

La Solution Humaine : Le « Brouillon Interne »

Les humains ne font généralement pas cela. Lorsque nous résolvons des problèmes difficiles, nous utilisons notre mémoire de travail. Nous retenons les nombres et la logique dans notre tête, nous les manipulons intérieurement, et nous ne prononçons que le résultat final. Nous n'avons pas besoin de dire chaque étape à voix haute pour faire des maths.

Le papier soutient que l'IA devrait pouvoir faire la même chose : disposer d'un espace de travail interne où elle peut effectuer le gros du travail sans « parler » ses pensées.

La Nouvelle Méthode : Le Raisonnement en Mémoire (RiM)

Les auteurs introduisent une méthode appelée Raisonnement en Mémoire (RiM). Au lieu de faire générer du texte à l'IA pour ses pensées, ils lui donnent un ensemble de blocs de mémoire fixes.

L'Analogie : Imaginez que l'IA se voit remettre un ensemble de post-it magiques et vides (les blocs de mémoire) placés juste à côté de la question.
- L'Ancienne Façon : L'IA écrit une longue histoire sur une feuille de papier pour résoudre le problème.
- La Façon RiM : L'IA écrit ses pensées directement sur les post-it. Ces notes sont spéciales ; ce ne sont pas des mots que vous lisez, mais elles contiennent le sens des pensées.
- La Magie : Parce que ces notes sont pré-placées et fixes, l'IA peut les examiner toutes et traiter les informations d'un seul coup (en une seule « passe avant »), plutôt que de les écrire une par une.

Comment ils ont appris à l'IA à l'utiliser (L'Entraînement en Deux Étapes)

On ne peut pas simplement donner un carnet vide à une IA et s'attendre à ce qu'elle sache l'utiliser. Les auteurs ont utilisé un curriculum d'entraînement en deux étapes, comme apprendre à un enfant à faire du vélo avec des roulettes, puis les retirer.

Étape 1 : La Phase des « Roulettes »

Objectif : Apprendre à l'IA que les blocs de mémoire servent à penser.
Fonctionnement : On montre à l'IA une question et les blocs de mémoire. Après chaque bloc, l'enseignant demande : « Quelle est l'étape suivante du raisonnement ? » L'IA doit utiliser les informations contenues dans les blocs de mémoire pour prédire l'étape écrite suivante.
Résultat : L'IA apprend à stocker les « pensées » à l'intérieur des blocs de mémoire car elle sait qu'elle sera immédiatement testée sur eux. Elle apprend à transformer les blocs en un espace de travail fonctionnel.

Étape 2 : La Phase du « Monde Réel »

Objectif : Apprendre à l'IA à résoudre tout le problème en utilisant uniquement les blocs.
Fonctionnement : L'enseignant arrête de demander les étapes intermédiaires. Désormais, après chaque bloc de mémoire, on demande à l'IA : « Quelle est la réponse finale ? »
Résultat : L'IA apprend à affiner sa réponse au fur et à mesure qu'elle remplit davantage de blocs de mémoire. Elle arrête de « penser à voix haute » et commence à « penser en mémoire », utilisant les blocs pour se rapprocher de la bonne réponse à chaque étape.

Les Résultats : Plus rapide et plus intelligent

Le papier a testé cette méthode sur des problèmes mathématiques (GSM8K et GSM-Hard) en utilisant différentes tailles de modèles d'IA.

Vitesse : Parce que l'IA n'a pas à générer de mots pour ses pensées, elle est beaucoup plus rapide. Elle traite les blocs de mémoire d'un seul coup. Le papier note que RiM est environ 7 fois plus rapide que les meilleures méthodes précédentes de « pensée silencieuse » et 27 fois plus rapide que les méthodes qui écrivent des chaînes de raisonnement complètes.
Précision : Malgré sa vitesse accrue, l'IA a obtenu des scores meilleurs ou équivalents par rapport aux méthodes qui écrivent leurs pensées. Cela prouve que l'IA a réussi à apprendre à utiliser les blocs de mémoire comme un véritable espace de travail.
Efficacité : Elle utilise moins de puissance de calcul car elle saute la partie « frappe au clavier » de la pensée.

Résumé

Le papier présente un moyen de faire « penser silencieusement » l'IA en lui donnant des blocs de mémoire fixes au lieu de la contraindre à écrire ses pensées. En entraînant l'IA en deux étapes (d'abord pour utiliser les blocs pour les étapes, puis pour les utiliser pour la réponse finale), ils ont créé un système qui est aussi intelligent que les modèles actuels mais nettement plus rapide et plus efficace, imitant la façon dont les humains utilisent leur mémoire de travail pour résoudre des problèmes sans avoir besoin de prononcer chaque pensée à voix haute.

Résumé technique : Raisonnement en mémoire (RiM)

Énoncé du problème

Les méthodes actuelles visant à améliorer les capacités de raisonnement des grands modèles de langage (LLM) reposent fortement sur la mise à l'échelle de la puissance de calcul au moment du test en générant des tokens intermédiaires avant la réponse finale, comme dans le raisonnement par chaîne de pensée (CoT). Cependant, cette approche couple le calcul interne directement à la génération de texte autoregressive. Par conséquent, le modèle est contraint de « penser à voix haute », allouant une part significative de son budget de calcul à la génération d'un langage naturel grammaticalement fluide plutôt qu'à un raisonnement purement interne.

Bien que les approches récentes de « raisonnement latent » tentent de contourner les contraintes du langage naturel en utilisant des représentations continues, elles préservent largement le paradigme de génération autoregressive étape par étape. Dans ces méthodes, les calculs intermédiaires sont toujours externalisés de manière séquentielle avant que l'étape suivante ne puisse s'y conditionner. Cet article soutient que la cognition humaine offre un principe de conception supérieur : la mémoire de travail. Les humains peuvent maintenir et manipuler des informations pertinentes pour la tâche en interne sans externaliser chaque pensée intermédiaire. Les auteurs postulent que les LLM peuvent être entraînés à utiliser un espace de travail interne similaire, découplant le raisonnement du goulot d'étranglement séquentiel de la génération de tokens.

Méthodologie : Raisonnement en mémoire (RiM)

Les auteurs introduisent le Raisonnement en mémoire (RiM), une méthode de raisonnement latent qui remplace la génération autoregressive des étapes de raisonnement par des blocs de mémoire fixes.

Mécanisme central

Au lieu de générer une séquence de tokens de raisonnement, le modèle se voit fournir $K$ blocs de mémoire fixes, $m_{1:K}$ . Chaque bloc consiste en une séquence prédéfinie de tokens spéciaux :
$m_k = [<b>, <m>, \dots, <m>, </b>]$
où $<b>$ et $</b>$ délimitent les frontières du bloc, et les tokens $<m>$ forment l'espace de travail latent.

Entrée fixe : Ces blocs sont ajoutés à la question d'entrée en tant que tokens fixes.
Passage avant unique : Comme les blocs sont des entrées fixes et non des sorties générées, toute la séquence augmentée (question + blocs de mémoire) est traitée en un seul passage avant. Cela élimine le goulot d'étranglement du décodage séquentiel associé à la génération autoregressive.
Représentations apprises : Bien que les identités et les positions des tokens soient fixes, leurs représentations contextuelles sont apprises pour être dépendantes de la tâche, encodant les étapes de raisonnement intermédiaires.

Curriculum en deux étapes

Pour enseigner au modèle à utiliser ces blocs fixes comme mémoire de travail, RiM emploie un curriculum d'entraînement en deux étapes :

Étape 1 : Supervision des étapes de raisonnement

Objectif : Ancrer les blocs de mémoire en leur assignant un rôle computationnel.
Mécanisme : Pour une trace de raisonnement de $T$ étapes, le modèle est entraîné avec $T$ blocs de mémoire. Après chaque bloc $m_t$ , le modèle doit prédire l'étape de raisonnement explicite suivante $r_{t+1}$ .
Contrainte : Un masque d'attention personnalisé garantit que la lecture pour l'étape $t+1$ peut porter attention à la question et aux blocs de mémoire précédents, mais pas aux étapes de raisonnement explicites précédentes. Cela force le modèle à encoder le calcul intermédiaire nécessaire au sein de l'espace de travail latent des blocs de mémoire.
Supervision : Utilise une fonction objectif de négatif de vraisemblance pondérée avec un programme d'atténuation pour réduire progressivement la force de la supervision.

Étape 2 : Raffinement de la réponse finale

Objectif : Convertir les blocs de mémoire ancrés en un espace de travail latent pour la prédiction de la réponse finale.
Mécanisme : La trace de raisonnement explicite est abandonnée. Le modèle utilise un nombre fixe de $K$ blocs de mémoire. Après chaque bloc, le modèle est entraîné à prédire la réponse finale directement.
Objectif : Cela déplace la supervision de la prédiction des étapes intermédiaires vers le raffinement progressif de la réponse finale à mesure que davantage de blocs de mémoire (calcul latent) deviennent disponibles.
Inférence : Au moment du test, le modèle traite la question et les blocs de mémoire en un seul passage, et la lecture du dernier bloc fournit la réponse.

Masquage de l'attention

Un masque d'attention causale personnalisé (Figure 2 dans l'article) est critique pour la méthode. Il empêche les fuites d'information en garantissant que :

Les blocs de mémoire portent attention à la question et aux blocs de mémoire précédents.
Les lectures cibles (étapes de raisonnement à l'Étape 1, réponse finale à l'Étape 2) portent attention à la question et aux blocs de mémoire disponibles, mais pas aux autres lectures cibles.
Cela permet de prédire toutes les cibles en un seul passage avant sans que le modèle ne « triche » en lisant la vérité terrain future.

Contributions clés

Raisonnement en mémoire (RiM) : Une nouvelle méthode de raisonnement latent qui débloque la capacité de mémoire de travail des LLM en fournissant un espace de travail latent dédié et fixe pour le calcul intermédiaire, le découplant de la génération autoregressive.
Curriculum en deux étapes : Une approche d'entraînement structurée qui ancre d'abord les blocs de mémoire via une supervision explicite des étapes, puis les affine pour la prédiction de la réponse finale, permettant une utilisation efficace de l'espace latent sans objectifs auxiliaires complexes.
Efficacité et performance : Des preuves empiriques montrant que RiM égale ou dépasse les références existantes de raisonnement explicite et latent tout en maintenant la vitesse d'inférence des modèles à réponse directe (aucun surcoût de génération séquentielle).

Résultats expérimentaux

Les auteurs ont évalué RiM sur les benchmarks de raisonnement mathématique GSM8K (en distribution) et GSM-Hard (hors distribution) en utilisant les modèles GPT-2 et Llama-3.2 (1B et 3B paramètres).

Performance : RiM a systématiquement surpassé la référence de raisonnement latent la plus forte (Coconut) et l'ajustement fin supervisé (SFT) à réponse directe.
- Sur GSM8K (Llama-3.2-1B), RiM a atteint une précision gourmande de 42,1 %, contre 36,9 % pour Coconut et 23,9 % pour le SFT sans CoT.
- Sur GSM-Hard, RiM a atteint 10,5 %, dépassant Coconut (8,5 %) et le SFT sans CoT (5,3 %).
- RiM a également montré des scores Pass@8 supérieurs, indiquant que les solutions correctes sont distribuées le long de la trajectoire latente avec une forte probabilité.
Latence : RiM a atteint des vitesses d'inférence comparables au SFT sans CoT (Temps jusqu'au premier token ~16 ms pour Llama-3.2-1B), tandis que Coconut était ~7 fois plus lent et le SFT avec CoT ~27 fois plus lent en raison de la génération autoregressive.
Analyse des représentations : Les projections PCA des représentations des blocs de mémoire ont montré que le modèle apprend à créer des espaces de travail latents distincts et dépendants de l'échantillon. Les représentations évoluent systématiquement pendant l'entraînement, confirmant que les blocs ne sont pas de simples espaces réservés fixes mais des états computationnels actifs.
Robustesse : Les performances sont restées stables avec des budgets de mémoire variables au moment de l'inférence (nombre de blocs), suggérant que la méthode est robuste aux contraintes de déploiement.

Signification et affirmations

L'article affirme que les LLM peuvent être entraînés à utiliser la mémoire de travail comme un mécanisme efficace pour le raisonnement latent.

La signification principale réside dans le découplage du calcul de la communication. En remplaçant la génération de pensées intermédiaires par des blocs de mémoire fixes, RiM permet aux modèles de réaliser un calcul interne dense et parallélisable sans le surcoût de la génération de langage naturel ou de représentations continues séquentielles. Cela résulte en une méthode qui est :

Computationnellement efficace : Elle évite le goulot d'étranglement séquentiel de la génération autoregressive, permettant une inférence en un seul passage.
Efficace : Elle atteint des performances de pointe parmi les méthodes de raisonnement latent sur les benchmarks mathématiques.
Évolutif : Elle fonctionne sur différentes familles et tailles de modèles sans nécessiter d'architectures récurrentes complexes ou d'objectifs d'entraînement multi-voies.

Les auteurs concluent que cette approche démontre une voie viable vers des systèmes de raisonnement plus efficaces qui imitent l'efficacité cognitive humaine en intériorisant le processus de raisonnement plutôt qu'en l'externalisant sous forme de texte.