🤖 machine learning

Beyond Experience Retrieval: Learning to Generate Utility-Optimized Structured Experience for Frozen LLMs

Ce papier présente SEAM, un module adaptateur léger qui stocke l'expérience directement dans ses paramètres pour générer des guides structurés et optimisés, permettant ainsi à un LLM figé d'améliorer ses performances de raisonnement sans recourir à la recherche externe.

Auteurs originaux : Xuancheng Li, Haitao Li, Yujia Zhou, Yiqun Liu, Qingyao Ai

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xuancheng Li, Haitao Li, Yujia Zhou, Yiqun Liu, Qingyao Ai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'étudiant qui refait toujours les mêmes erreurs

Imaginez un étudiant très intelligent, capable de résoudre des problèmes de mathématiques complexes, mais qui a un petit défaut : il n'a pas de mémoire à long terme.

Chaque fois qu'il s'assoit devant une nouvelle copie d'examen, il repart de zéro. S'il a fait une erreur stupide au premier examen (par exemple, oublier de vérifier un signe "moins"), il est incapable de s'en souvenir au deuxième. Il va refaire exactement la même erreur, car pour lui, chaque problème est une rencontre totalement nouvelle.

Actuellement, pour aider ces modèles d'IA (les "étudiants"), on utilise une méthode appelée RAG (la recherche d'information). C'est comme si on donnait à l'étudiant une immense bibliothèque de vieux examens. Avant de répondre, il cherche dans les livres un problème qui ressemble au sien.
Le souci ?

C'est lent (il faut chercher dans les livres).
Ce n'est pas toujours utile (parfois, le livre qu'il trouve ressemble au problème, mais les conseils à l'intérieur ne l'aident pas du tout à résoudre son problème spécifique).

La Solution : SEAM, le "Coach Personnel" ultra-rapide

Les chercheurs ont inventé SEAM. Au lieu de donner une bibliothèque de livres à l'étudiant, ils lui ont donné un Coach Personnel (un petit module léger et intelligent).

Ce coach ne cherche pas dans des livres. Il a "digéré" toutes les expériences passées et les a transformées en instinct.

Comment ça marche ? (L'analogie du GPS)

Imaginez que l'IA (l'étudiant) est une voiture qui doit traverser une ville inconnue.

L'ancienne méthode (RAG) : Avant de partir, la voiture doit s'arrêter, chercher une carte papier, trouver la bonne page, et essayer de comprendre le trajet. C'est long et on peut se tromper de carte.
La méthode SEAM : La voiture a un GPS intégré (le module SEAM). Dès que vous tapez une destination, le GPS ne vous donne pas juste une carte, il vous murmure à l'oreille : "Attention, sur ce trajet, les gens oublient souvent de tourner à gauche au troisième feu, et le pont est en travaux, privilégie cette stratégie."

SEAM ne fait pas le travail à la place de l'IA, il lui donne le "mode d'emploi" idéal pour réussir.

Les 3 étapes de l'entraînement : "L'école du Coach"

Pour que ce coach devienne excellent, les chercheurs l'ont entraîné avec une méthode très précise :

L'Exploration : Le coach propose plusieurs petits conseils différents pour un même problème.
Le Test (Le Crash-Test) : On laisse l'étudiant (l'IA) essayer de résoudre le problème en suivant chaque conseil. On regarde lequel a vraiment permis de trouver la bonne réponse.
L'Évolution (Le renforcement) : Si un conseil a permis de réussir, le coach se dit : "C'était un bon conseil, je vais apprendre à en donner d'autres comme celui-là." S'il a échoué, il apprend à ne plus jamais donner ce genre de conseil.

Pourquoi est-ce une révolution ?

C'est ultra-rapide : Pas besoin de fouiller dans des bases de données géantes. Le coach donne son conseil en un clin d'œil (un seul passage informatique).
C'est "sur mesure" : Le coach apprend à connaître les défauts spécifiques de l'étudiant. Si l'étudiant est fort en calcul mais nul en logique, le coach va se concentrer sur les conseils de logique.
C'est léger : On n'a pas besoin de changer le cerveau de l'étudiant (qui est énorme et coûte cher à modifier). On lui ajoute juste ce petit module "coach" qui est très petit et facile à transporter.

En résumé

SEAM, c'est passer d'une méthode où l'on cherche des solutions dans un vieux manuel poussiéreux, à une méthode où l'on possède un expert qui vous chuchote la meilleure stratégie directement à l'oreille, juste au moment où vous en avez besoin.

Résumé Technique : SEAM (Structured Experience Adapter Module)

1. Problématique (The Problem)

Les grands modèles de langage (LLM) sont par nature statiques. Face à de nouveaux problèmes, ils ont tendance à raisonner à partir de zéro, à répéter des erreurs passées ou à explorer des chemins de solution déjà échoués.

Pour pallier cela, les approches actuelles utilisent généralement la Génération Augmentée par Récupération (RAG) pour extraire des expériences passées d'une bibliothèque externe. Cependant, les auteurs identifient trois limites majeures à cette approche :

Similitude $\neq$ Utilité : La récupération basée sur la similarité sémantique peut ramener des informations pertinentes en apparence, mais inutiles, voire bruyantes, pour la résolution du problème actuel.
Surcharge de latence : La gestion d'une bibliothèque externe (indexation, recherche, résumé) ajoute un coût computationnel et une latence significative.
Manque de spécificité : Les méthodes de récupération ne sont pas optimisées pour les biais ou les modes d'échec spécifiques d'un "exécuteur" (le modèle qui résout le problème).

2. Méthodologie (Methodology)

Les auteurs introduisent SEAM, un module adaptateur léger et paramétré qui remplace la bibliothèque de recherche externe par une capacité de génération interne.

Architecture :
Au lieu de chercher dans une base de données, SEAM est un petit modèle entraîné qui, en un seul passage avant (forward pass), génère une entrée d'expérience structurée ( $z$ ) adaptée à l'instance actuelle ( $s$ ) et à l'exécuteur spécifique ( $\phi$ ). Cette entrée suit un schéma strict composé de trois parties :

Analyse du problème : Évaluation de la difficulté et des pièges potentiels.
Points saillants de l'expérience : Stratégies et heuristiques distillées.
Plan de référence : Une décomposition procédurale étape par étape.

Processus d'entraînement (Forward Learning) :
L'entraînement repose sur une boucle de rétroaction sans modifier les paramètres de l'exécuteur (qui reste "gelé" ou frozen) :

Exploration : SEAM génère plusieurs candidats d'expérience pour une instance donnée.
Évaluation par déploiement (Rollout) : L'exécuteur tente de résoudre le problème en utilisant chaque candidat. Le succès est mesuré par une récompense binaire (exactitude de la réponse + complétude du schéma).
Évolution paramétrique (GRPO) : SEAM est mis à jour via l'algorithme GRPO (Group Relative Policy Optimization). Il apprend à maximiser la probabilité de générer les guides qui maximisent réellement le succès de l'exécuteur.

Note : Une étape optionnelle de SFT (Supervised Fine-Tuning) peut être appliquée après le déploiement en utilisant les succès enregistrés pour affiner continuellement le module.

3. Contributions Clés (Key Contributions)

Passage de la "Récupération" à la "Génération" : L'expérience n'est plus stockée de manière explicite mais est encodée dans les paramètres du module SEAM.
Optimisation par l'utilité : Contrairement au RAG, SEAM est entraîné pour produire ce qui fonctionne pour l'exécuteur, et non ce qui ressemble le plus au problème.
Modularité et légèreté : SEAM est un plugin "plug-and-play" qui peut être couplé à n'importe quel LLM puissant sans nécessiter de réentraînement de ce dernier.
Spécificité de l'exécuteur : Le module apprend les forces et faiblesses propres au modèle qu'il guide.

4. Résultats (Results)

Les expérimentations ont été menées sur des benchmarks de raisonnement mathématique (GSM8K, MATH, AIME) avec des exécuteurs comme Qwen et DeepSeek-R1.

Performance supérieure : SEAM surpasse systématiquement les modèles originaux et les méthodes basées sur le RAG (comme MEM-0 ou Memento). Les gains sont particulièrement marqués sur les problèmes complexes (AIME).
Efficacité : SEAM réduit considérablement le "temps pour trouver la solution correcte" (Time-to-correct) par rapport aux méthodes RAG, tout en maintenant une latence d'inférence très faible.
Généralisation : Bien que spécialisé, SEAM montre une capacité de transfert sur d'autres domaines (code, QA) et une robustesse face à différents modèles d'exécuteurs.
Scaling : Les performances de SEAM s'améliorent de manière monotone avec l'augmentation de la taille de la base d'expérience utilisée lors de l'entraînement.

5. Signification (Significance)

Ce travail marque un changement de paradigme dans la gestion de la mémoire pour les agents IA. Il démontre qu'il est plus efficace d'apprendre une politique de génération de conseils procéduraux que de construire une simple base de données de souvenirs. SEAM offre une voie prometteuse pour créer des agents capables d'auto-évolution et d'adaptation rapide, tout en restant économes en ressources de calcul.