🤖 machine learning

Continual Self-Improvement with Lightweight Experiential Latent Memories

Cet article propose une méthode en ligne efficace qui convertit les traces de raisonnement transitoires en mémoires latentes compactes et modulaires via un entraînement auto-supervisé léger, permettant aux grands modèles de langage d'atteindre une auto-amélioration continue et des performances de raisonnement supérieures sans oubli catastrophique.

Auteurs originaux : Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un étudiant brillant, un génie, un modèle de langage (LLM) incroyablement doué pour résoudre des problèmes mathématiques. Cependant, cet étudiant a une particularité étrange : il n'a aucun souvenir de ce qu'il vient d'apprendre.

Chaque fois que vous lui donnez un nouveau problème, il repart de zéro. Même s'il passe des heures à réfléchir, à faire des erreurs, à se corriger et qu'il finit par trouver la bonne réponse, une fois qu'il rend sa solution, tout ce « processus de réflexion » s'évapore. Il ne devient pas plus intelligent pour le problème suivant. C'est comme un génie qui oublie ses propres devoirs dès qu'il les rend.

Ce document présente un système appelé ELM (Experiential Latent Memory) pour corriger cela. C'est un moyen pour l'IA de conserver un « aide-mémoire » de sa propre réflexion afin de s'améliorer au fil du temps, sans avoir besoin d'un enseignant pour corriger son travail.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Pourquoi « lire des notes » ne fonctionne pas

Les chercheurs ont d'abord tenté une approche simple : l'Apprentissage en Contexte (In-Context Learning - ICL).

L'analogie : Imaginez que l'étudiant essaie d'apprendre en lisant la transcription de ses propres pensées précédentes. « La dernière fois que j'ai résolu un problème de géométrie, j'ai écrit : Étape 1 : Trouver l'angle. Étape 2 : Utiliser la formule. »
Le résultat : Cela n'a pas bien fonctionné. Le papier a constaté que le simple fait de lire le texte de la solution, c'est comme lire une recette sans jamais cuisiner le plat. Cela manque de la « saveur » du véritable processus de réflexion — les impasses, les niveaux de confiance et la logique cachée qui se sont déroulés à l'intérieur du cerveau du modèle mais qui n'ont jamais été retranscrits en texte. C'est trop superficiel pour aider lors de nouveaux problèmes complexes.

2. La Solution : Le système de « Flashcards »

Au lieu d'écrire toute l'histoire, les chercheurs ont créé un système où l'IA crée de minuscules « Flashcards » invisibles pour chaque problème qu'elle résout.

Le processus :
1. Le Test : L'IA essaie de résoudre un problème mathématique.
2. L'Auto-vérification : Puisqu'il n'y a pas de professeur, l'IA génère plusieurs réponses différentes au même problème. Elle les examine ensuite et se dit : « D'accord, 7 réponses sur 10 disent que la réponse est 42. Donc, 42 est probablement la bonne. » C'est ce qu'on appelle le Vote Majoritaire (Majority Voting). Cela agit comme un système d'auto-notation.
3. La Leçon : L'IA prend ce problème spécifique et sa réponse auto-notée pour entraîner une « Flashcard » minuscule et légère (appelée Soft Prompt).
4. Le Stockage : Cette Flashcard est stockée dans un « Pool de Mémoire ». Elle est incroyablement petite (seulement 0,001 % de la taille du modèle) pour ne pas ralentir le système.

3. Utiliser les Flashcards : Le « Bibliothécaire »

Lorsqu'un nouveau problème mathématique arrive, le système agit comme un bibliothécaire :

Recherche : Il examine le nouveau problème et demande : « Avons-nous une Flashcard dans notre pool qui ressemble à ceci ? »
Récupération : S'il trouve une correspondance, il extrait cette minuscule Flashcard et l'attache au nouveau problème.
La Double Vérification : L'IA résout le problème deux fois : une fois sans la Flashcard (Zero-Shot) et une fois avec la Flashcard.
Le Verdict : Un « Vérificateur » (un garde de sécurité) compare les deux réponses. Si la version avec la Flashcard est meilleure, il utilise celle-ci. Si la Flashcard empire les choses (car parfois, l'auto-notation est erronée), le Verdict choisit la réponse originale.

4. Pourquoi est-ce une avancée majeure ?

Pas d'oubli : Comme l'IA ne réécrit pas l'intégralité de son cerveau (ce qui la ferait oublier ses anciennes compétences), elle se contente d'ajouter ces petites Flashcards isolées. C'est comme ajouter un nouveau chapitre à un livre sans effacer les anciens.
Efficacité : Elle n'a pas besoin d'un supercalculateur pour apprendre. Elle apprend à la volée, un problème à la fois, en utilisant très peu d'étapes.
Meilleur que l'entraînement hors ligne : De manière surprenante, le papier a découvert qu'apprendre d'un seul problème à la fois avec cette méthode fonctionne souvent mieux que d'entraîner l'ensemble du modèle sur un ensemble massif de données comprenant des milliers de problèmes d'un coup. Il semble que l'IA apprenne mieux l'« essence » du raisonnement lorsqu'elle se concentre sur une expérience spécifique à la fois.

Résumé

Considérez ELM comme un petit carnet de notes personnel et auto-actualisé donné à un génie distrait.

Au lieu d'écrire toute l'histoire d'un problème, il écrit un petit « indice » invisible basé sur ce qu'il a appris.
Il vérifie son propre travail pour s'assurer que l'indice est bon.
Lorsqu'un nouveau problème arrive, il vérifie son carnet pour trouver un indice similaire.
Si l'indice aide, il l'utilise ; s'il nuit, il l'ignore.

Le résultat est un système qui devient plus intelligent chaque fois qu'il résout un problème, transformant son propre « temps de réflexion » en une connaissance permanente et réutilisable, le tout sans avoir besoin d'un enseignant humain.

Résumé Technique : Amélioration Continue par Mémoires Latentes Expérientielles Légères

Énoncé du Problème

Les grands modèles de langage (LLM) atteignent actuellement de fortes capacités de raisonnement grâce à l'augmentation du calcul au moment de l'inférence (ex: Chaîne de Pensée, pensée étendue). Cependant, ces modèles restent fondamentalement sans état (stateless) après leur déploiement. Ils rejettent les riches traces de raisonnement auto-produites lors de l'inférence, échouant ainsi à accumuler de l'expérience ou à convertir l'effort de calcul en connaissances réutilisables pour des problèmes futurs.

Les approches existantes pour y remédier font face à des limitations significatives :

Apprentissage en Contexte (ICL) sans entraînement : Les méthodes qui stockent des traces de raisonnement textuelles brutes souffrent d'un « goulot d'étranglement textuel ». Elles stockent des sorties de surface plutôt que la structure de raisonnement sous-jacente ou les états intermédiaires, ce qui conduit à une généralisation superficielle et à un échec de la transfertabilité efficace entre les tâches.
Apprentissage par Renforcement (RL) Hors Ligne : Bien que les méthodes de RL non supervisées utilisant des récompenses internes (ex: vote majoritaire) soient prometteuses, elles opèrent généralement dans un régime hors ligne, nécessitant un accès préalable à l'ensemble du jeu de données de test. De plus, elles reposent sur des mises à jour du modèle complet, ce qui risque d'entraîner l'oubli catastrophique, l'instabilité de l'optimisation et ne se scale pas bien à mesure que les données de temps de test s'accumulent en raison d'interférences de signaux d'auto-supervision.

Le défi central est de permettre une amélioration continue et réellement en ligne où un LLM apprend d'un flux de problèmes un par un, sans supervision externe, sans accès préalable aux données futures, et sans oublier ses capacités initiales.

Méthodologie : Mémoire Expérientielle Latente (ELM)

Les auteurs proposent ELM, une méthode en ligne qui distille le calcul au moment de l'inférence en des mémoires latentes compactes et modulaires. L'approche se compose de trois composantes principales :

1. Création de Mémoire (Apprentissage par Échantillon)

Au lieu de mettre à jour le modèle principal, le système apprend une mémoire légère et spécifique à chaque problème rencontré.

Signal de Récompense Interne : En l'absence d'étiquettes de vérité terrain, le modèle génère plusieurs réponses candidates ( $N$ ) pour une entrée donnée. Une réponse de consensus est dérivée via un vote majoritaire, servant de proxy d'étiquette.
Objectif d'Entraînement : Le modèle est entraîné en utilisant l'Optimisation de Politique Relative de Groupe (GRPO). L'avantage est calculé en normalisant les récompenses au sein du groupe de sorties échantillonnées par rapport au consensus.
Paramétrage : La mémoire est paramétrée comme un Soft Prompt (une séquence de vecteurs continus entraînables préfixés à l'entrée).
- Efficacité : Ces soft prompts ne constituent qu'environ $0,001 \%$ des paramètres totaux du modèle.
- Isolation : Le modèle de base reste gelé. Chaque mémoire est entraînée indépendamment pour quelques étapes de gradient (ex: 10 étapes) en utilisant le signal de récompense interne. Ce design modulaire empêche l'interférence entre les échantillons et évite l'oubli catastrophique.

2. Récupération de Mémoire

Lorsqu'un nouvel échantillon de test arrive, le système récupère la mémoire la plus pertinente du pool.

Construction de Clés : Les clés sont dérivées soit des plongements (embeddings) du soft prompt (Récupération par Entrée), soit par le regroupement des activations des projections Clé-Valeur (KV) internes du modèle (Récupération KV).
Correspondance : La récupération est effectuée en calculant la similitude cosinus entre le vecteur de requête de la nouvelle entrée et les clés de la mémoire stockée.

3. Routage de Réponse (Vérification)

Puisque les mémoires sont apprises par auto-supervision, elles peuvent être bruitées et occasionnellement dégrader les performances (transformant une réponse zéro-shot correcte en une réponse incorrecte).

Double Génération : Pour une entrée donnée, le système génère à la fois une réponse zero-shot et une réponse augmentée par la mémoire.
Vérification : Si les réponses concordent, la réponse est retournée. Si elles divergent, un Vérificateur (un Modèle de Récompense de Processus) sélectionne la réponse ayant le score le plus élevé. Ce mécanisme de routage garantit la fiabilité et atténue les régressions induites par la mémoire.

Contributions Clés

Mémoires Expérientielles Latentes : Introduction d'une méthode pour apprendre des représentations latentes modulaires et au niveau de l'instance (soft prompts) directement à partir du calcul au temps de test, capturant des structures de raisonnement abstraites plutôt que du texte de surface.
Protocole Continu en Ligne : Un cadre strictement en ligne où les modèles s'améliorent continuellement à mesure que l'expérience s'accumule, sans nécessiter d'accès préalable à l'ensemble du jeu de données ou d'étiquettes externes.
Efficacité et Modularité : Un design qui isole l'expérience dans des unités légères ( $\sim 0,001 \%$ de paramètres), permettant un apprentissage stable sans mises à jour complètes du modèle ni oubli catastrophique.
Validation Empirique : Démonstration que l'apprentissage à partir d'échantillons individuels avec des récompenses internes peut produire des gains de généralisation qui rivalisent ou surpassent l'entraînement hors ligne sur l'ensemble du jeu de données.

Résultats Expérimentaux

Les auteurs ont évalué ELM sur des benchmarks de raisonnement mathématique exigeants (MATH500, AMC23, AIME24) en utilisant Llama-3.1-8B-Instruct et Qwen2.5-Math-7B.

Performance vs Baselines :
- ELM surpasse significativement les baselines zero-shot et ICL de données brutes.
- Sur MATH500, ELM (entraîné entièrement en ligne sans accès préalable au jeu de données) a surpassé les baselines de GRPO hors ligne sur l'ensemble du dataset et de TTRL.
- Sur AMC23 et AIME24, ELM a substantiellement amélioré la performance de base (ex: +12,5 points sur Qwen pour AMC23), égalant ou dépassant souvent les résultats de l'entraînement hors ligne sur l'ensemble du dataset.
Généralisation : Il a été démontré que les mémoires latentes individuelles se généralisent efficacement à travers l'ensemble du jeu de test, les soft prompts surpassant les paramétrages basés sur LoRA en capacité de généralisation.
Transfert Trans-Dataset : Les mémoires entraînées sur un dataset (ex: AIME24) ont été transférées efficacement vers un autre (ex: AMC23), démontant que les représentations apprises capturent des structures de raisonnement généralisables.
Comparaison avec l'Entraînement Hors Ligne : Étonnamment, l'entraînement sur des échantillons individuels avec des récompenses internes a souvent produit une meilleure généralisation que l'entraînement du modèle complet sur l'ensemble du jeu de données, suggérant que les mises à jour complètes du modèle peuvent souffrir de déséquilibres de capacité ou d'interférences dans des régimes de faibles données.

Signification et Revendications

Le papier positionne ELM comme une étape fondamentale vers des modèles capables d'auto-amélioration continue. Sa signification réside dans :

Combler le fossé : Il convertit avec succès le calcul transitoire et coûteux au moment de l'inférence en connaissances persistantes et réutilisables sans supervision externe.
Scalabilité : En utilisant des mémoires modulaires et légères, la méthode s'adapte à l'accumulation d'expérience sans la surcharge computationnelle ou les problèmes de stabilité associés au fine-tuning complet du modèle.
Surmonter les limitations : Il répond au « goulot d'étranglement textuel » de l'ICL en opérant dans l'espace latent et résout la « contrainte hors ligne » du RL en fonctionnant dans un véritable cadre de flux continu (streaming).

Les auteurs reconnaissent des limites, notant que la qualité de la mémoire varie (certaines sont bruitées) et que la dépendance actuelle à un vérificateur est une atténuation nécessaire. Ils laissent les travaux futurs explorer la compositionnalité des mémoires, les stratégies d'éviction et les méthodes pour identifier les échantillons de haute qualité pour la création de mémoire. Cependant, ils affirment qu'ELM offre une voie viable et efficace pour que les LLM intériorisent leurs explorations de raisonnement et s'améliorent de manière constante.