💬 NLP

MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning

MILES est un nouveau cadre pour le raisonnement auto-amélioré des LLM qui étend dynamiquement une mémoire modulaire de paires d'instructions étape par étape et emploie un mécanisme de sélection apprenable, du grossier au fin, pour optimiser la composition de la mémoire et la précision du raisonnement sous des contraintes réalistes de temps d'exécution.

Auteurs originaux : Ruilin Tong, Dong Gong

Publié 2026-07-09

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruilin Tong, Dong Gong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le « Cahier Intelligent » pour l'IA

Imaginez que vous avez un ami brillant mais têtu (l'IA) qui est excellent pour résoudre des énigmes, mais qui a une mémoire catastrophique. Chaque fois que vous lui posez un nouveau problème de mathématiques, il agit comme s'il ne l'avait jamais vu auparavant. Il le résout, mais si vous lui posez une question similaire plus tard, il doit tout reprendre depuis le début.

D'habitude, pour rendre cet ami plus intelligent, vous devriez le renvoyer à l'école pendant des années pour qu'il réapprenne tout (c'est ce qu'on appelle l'« entraînement » ou la mise à jour des paramètres du modèle). Mais et si votre ami était un livre fermé que vous ne pouvez pas renvoyer à l'école ? Vous ne pouvez pas modifier son cerveau.

MILES est une nouvelle façon d'aider cet ami à devenir plus intelligent pendant qu'il travaille, sans changer son cerveau. Cela lui donne un cahier dynamique et apprenable dans lequel il peut écrire et consulter en temps réel.

Le problème des anciens cahiers

Les tentatives précédentes pour donner une « mémoire » à l'IA présentaient deux défauts principaux :

Le cahier de la « Solution Entière » : Certaines méthodes stockaient des réponses entières à des problèmes passés. Si vous posiez une question à 90 % similaire à une ancienne, cela fonctionnait très bien. Mais si la question était légèrement différente (un problème « nouveau »), l'ancienne réponse était inutile. C'était comme essayer d'utiliser une recette de « Tarte aux Pommes » pour cuisiner un « Muffin aux Myrtilles ».
Le cahier « Heuristique » : D'autres méthodes stockaient de petites étapes (comme « diviser par 2 » ou « vérifier les unités »). Mais l'IA devait deviner quelle étape utiliser ensuite en regardant simplement la similitude des mots. C'était comme un chef qui attrape un pot d'épices au hasard parce que l'étiquette ressemble à celle dont il a besoin, en espérant que ça marche.

La solution MILES : Un système « Modulaire » et « Apprenable »

MILES change la donne en traitant le raisonnement comme un ensemble de LEGO plutôt que comme un seul bloc de béton.

1. Les blocs de construction : « Sous-objectifs » et « Sous-instructions »

Au lieu de stocker des réponses entières, MILES décompose les problèmes en minuscules briques réutilisables.

Le Sous-objectif (L'étiquette) : Une courte description de ce qui doit être fait ensuite (ex : « Simplifier la fraction »).
La Sous-instruction (La brique) : Un conseil spécifique en langage naturel sur comment le faire (ex : « Divisez le numérateur et le dénominateur par leur plus grand commun diviseur »).

Considérez cela comme une boîte à outils où chaque outil possède une étiquette claire.

2. Le « Sélecteur Intelligent » (La tête apprenable)

C'est la partie magique. Dans le passé, l'IA saisissait simplement l'outil qui ressemblait le plus au problème actuel. MILES donne à l'IA un assistant personnel (une « tête de sélection ») pour chaque outil de la boîte.

Comment il apprend : Lorsque l'IA résout un problème avec assurance (elle trouve la bonne réponse), MILES regarde en arrière les étapes qu'elle a suivies. Il demande : « Hé, quand nous avons utilisé l'outil 'Simplifier la Fraction', est-ce que cela nous a aidés à obtenir la bonne réponse ? »
L'entraînement : Si la réponse est « Oui », l'assistant apprend à faire confiance à cet outil pour des situations similaires. Si la réponse est « Non », l'assistant apprend à éviter cet outil.
Pas besoin d'école : Le cerveau de l'IA reste figé. Seuls ces petits « assistants » (qui sont de très petits programmes informatiques) sont mis à jour.

3. Le processus de recherche en deux étapes

Lorsque l'IA est confrontée à un nouveau problème, MILES utilise une recherche « du grossier au fin », comme chercher un livre dans une bibliothèque :

Étape 1 (La recherche grossière) : L'IA scanne rapidement les étiquettes (Sous-objectifs) pour trouver quelques outils prometteurs. C'est comme parcourir le rayon « Mathématiques » et attraper quelques livres qui pourraient être pertinents.
Étape 2 (L'examen de l'expert) : Les « assistants » (têtes de sélection) prennent ces quelques candidats et leur attribuent un score basé sur leur expérience passée. « Attendez, cet outil a très bien fonctionné pour l'algèbre mais a échoué pour la géométrie. Choisissons l'autre. »

Comment cela fonctionne en temps réel (Le flux « Confiance vs Incertitude »)

Le système fonctionne selon deux modes selon le degré de certitude de l'IA :

Le mode « Confiance » (Phase d'apprentissage) :
Si l'IA résout un problème facilement et obtient la bonne réponse, elle traite cela comme une « session d'entraînement ». Elle décompose ses étapes réussies, les enregistre comme de nouvelles briques LEGO dans le cahier, et enseigne à ses assistants quels outils ont le mieux fonctionné. Le cahier s'enrichit à chaque succès.
Le mode « Incertitude » (Phase d'aide) :
Si l'IA est bloquée ou incertaine, elle arrête de deviner. Elle ouvre le cahier, demande conseil à ses assistants et utilise les meilleurs outils pour guider sa réflexion. C'est comme un élève qui lève la main pour demander un indice au professeur lorsqu'il est coincé.

Pourquoi c'est important (Les résultats)

L'article a testé MILES sur des examens difficiles de mathématiques et de sciences (comme l'AIME et le MATH-500).

Meilleure précision : Il résout systématiquement plus de problèmes correctement que les autres méthodes utilisant la mémoire ou la recherche.
Efficacité : Il ne gaspille pas autant de puissance de calcul à tenter des devinettes aléatoires ; il utilise la mémoire « apprise » pour choisir le bon chemin plus rapidement.
Transférabilité : Le cahier construit par un modèle d'IA peut en réalité aider un autre modèle d'IA à résoudre des problèmes. C'est comme si un chef étoilé écrivait un livre de cuisine qu'un jeune chef pourrait ramasser et utiliser immédiatement, même s'ils ne se sont jamais rencontrés.

Résumé par analogie

Imaginez que vous jouez à un jeu vidéo.

L'ancienne méthode : Vous essayez de battre chaque niveau en devinant. Si vous mourez, vous recommencez.
L'ancienne méthode de mémoire : Vous gardez une liste de « Stratégies Gagnantes » pour des niveaux spécifiques. Si vous voyez le Niveau 5, vous utilisez la stratégie du Niveau 5. Si vous voyez le Niveau 5.1, vous êtes bloqué.
La méthode MILES : Vous gardez un guide de stratégie dynamique qui se met à jour tout seul. Quand vous battez un niveau, le guide note automatiquement exactement quel mouvement a le mieux fonctionné pour cette situation précise. La prochaine fois que vous ferez face à un saut difficile, le guide ne se contente pas de vous montrer une liste ; il possède un « filtre intelligent » qui dit : « Basé sur vos victoires passées, le mouvement 'Double Saut' a 90 % de chances de fonctionner ici. »

MILES permet à l'IA d'accumuler de l'expérience et de devenir plus intelligente au fil du temps, non pas en réentraînant son cerveau, mais en apprenant à mieux utiliser sa propre bibliothèque croissante d'astuces et de conseils.

Résumé Technique : MILES (Modular Instruction Memory with Learnable Selection)

Formulation du Problème

Les grands modèles de langage (LLM) ont démontré des capacités de raisonnement significatives grâce à des techniques de calcul au moment de l'inférence (test-time computation) telles que la Chaîne de Pensée (Chain-of-Thought - CoT), l'Auto-Cohérence (Self-Consistency) et la Recherche en Arbre (Tree Search). Cependant, les approches existantes traitent largement chaque problème de manière isolée. Dans des scénarios pratiques où les problèmes arrivent de manière séquentielle, les modèles ne parviennent pas à accumuler et à réutiliser l'expérience à travers des requêtes liées. La mise à jour des paramètres du modèle pour chaque nouveau problème est souvent irréalisable, particulièrement pour les modèles fermés ou gelés.

Bien qu'il existe des méthodes de mémoire externe, elles souffrent de limitations critiques :

Mauvaise Généralisation : Les méthodes stockant des modèles de solutions entières ou des stratégies échouent souvent lorsque de nouveaux problèmes possèdent des structures inédites.
Sélection Heuristique : Les approches de mémoire au niveau de l'étape reposent généralement sur une sélection heuristique (par exemple, la recherche par similarité ou le prompting) plutôt que sur l'optimisation de la justesse de la réponse finale.
Contraintes d'Entraînement : L'apprentissage de politiques de sélection nécessite généralement des jeux de données étiquetés à grande échelle, des espaces d'action fixes ou des mises à jour de paramètres, ce qui est incompatible avec les contextes de test où la mémoire s'étend de manière incrémentale et où la supervision est limitée.

Le défi central consiste à organiser, maintenir et réutiliser une mémoire externe qui améliore la précision du raisonnement à mesure que l'expérience s'accumule, sans mettre à jour les paramètres du LLM sous-jacent.

Méthodologie : Cadre MILES

MILES (Modular Instruction Memory with LEarnable Selection) répond à ces défis en permettant une auto-amélioration au moment de l'inférence grâce à l'accumulation et la composition de modules de raisonnement réutilisables par étape. Le cadre opère sur un LLM gelé et se compose de quatre composantes clés :

1. Structure de Mémoire Asymétrique Modulaire

MILES stocke la mémoire sous la forme d'une collection d'unités modulaires, définies comme des paires asymétriques $(g_i, u_i)$ :

Embedding de Sous-objectif ( $g_i$ ) : Un vecteur dense résumant l'objectif d'une étape de raisonnement. Il sert de clé de recherche (retrieval key).
Sous-instruction ( $u_i$ ) : Une directive en langage naturel utilisée pour conditionner la génération du LLM lorsque l'unité est appliquée.
Tête de Sélection : Chaque unité de mémoire est associée à une tête de sélection légère et apprenable ( $\pi_{\theta_a}$ ) qui prédit l'applicabilité de l'unité étant donné l'état actuel du raisonnement.

Cette structure permet une expansion incrémentale ; de nouvelles unités et leurs têtes correspondantes peuvent être ajoutées sans réentraîner les composants existants.

2. Mécanisme de Récupération du Grossier au Fin (Coarse-to-Fine)

Pour équilibrer l'efficacité de la récupération et la précision de la sélection, MILES emploie un processus de sélection à deux couches :

Couche 1 (Récupération Grossière) : Basée sur la similarité des sous-objectifs. Le LLM génère des objectifs d'étapes candidats, et leurs embeddings sont comparés aux sous-objectifs stockés via la similarité cosinus. Un seuil effectif par unité filtre les unités non pertinentes. Cette couche facilite l'expansion de la mémoire et la collecte de données d'entraînement.
Couche 2 (Score d'Applicabilité Appris) : Une tête de sélection apprise évalue la score d'applicabilité des candidats récupérés en fonction de l'état complet du raisonnement. Pour gérer des états de longueur variable, MILES utilise un codebook de contexte (embeddings groupés des anciens objectifs d'étapes et conditions) pour créer des vecteurs de caractéristiques à longueur fixe via un pooling de similarité maximale.
Score Combiné : La sélection finale combine la similarité sémantique de la Couche 1 et le score d'applicabilité appris de la Couche 2.

3. Composition de Mémoire Apprenable

MILES traite la sélection de la mémoire comme un problème de prise de décision séquentielle. Le but est de maximiser la probabilité d'une réponse finale correcte.

Collecte de Données d'Entraînement : Pour les échantillons "confiants" (où plusieurs déroulements [rollouts] du LLM s'accordent sur une réponse), le système exécute une recherche arborescente de Monte Carlo (MCTS) en utilisant l'échantillonnage de la Couche 1. Cela génère des trajectoires où les sous-instructions sont appliquées, et la justesse résultante sert de pseudo-étiquette.
Optimisation : Les têtes de sélection sont entraînées via une entropie croisée binaire sur ces trajectoires collectées. L'objectif approxime une politique optimale dérivée sous une contrainte de divergence KL, encourageant les têtes à sélectionner des unités qui mènent à des réponses correctes tout en évitant le surapprentissage grâce à une classification "un contre tous" et des méthodes d'ensemble.

4. Pipeline d'Inférence

Le système achemine les échantillons de test selon leur niveau de confiance :

Échantillons Confiants : Utilisés pour étendre la mémoire et entraîner les têtes de sélection. Le LLM génère des réponses ; si elles sont cohérentes, la trajectoire est utilisée pour la collecte de données MCTS et la résumé de la mémoire.
Échantillons Incertains : Dirigés vers une recherche arborescente guidée par la mémoire. Le système récupère les candidats via la Couche 1, les reclasse via la Couche 2, et applique la meilleure sous-instruction pour guider la prochaine étape de raisonnement, répétant l'opération jusqu'à atteindre une réponse finale.

Principales Contributions

Cadre MILES : Un nouveau cadre pour l'auto-amélioration au moment de l'inférence qui construit de manière incrémentale une mémoire d'instructions modulaires à partir de traces de raisonnement confiantes et applique une mémoire apprise aux cas incertains sans mise à jour de paramètres, supervision externe ou espaces d'action fixes.
Mémoire Asymétrique Modulaire : Une structure de paires (sous-objectif, sous-instruction) avec des têtes de sélection par élément, permettant un mécanisme du grossier au fin qui supporte à la fois l'expansion incrémentale de la mémoire et la composition apprenable.
Composition de Mémoire Apprenable : Une méthode pour entraîner des têtes de sélection légères à partir des résultats de déroulement sur des échantillons confiants, permettant une composition de mémoire auto-supervisée et optimisée pour la justesse sous des données de test limitées.
Validation Empirique : Des expériences approfondies démontrant que MILES égale ou surpasse les méthodes précédentes sur six benchmarks de raisonnement et quatre modèles de base.

Résultats Expérimentaux

Les auteurs ont évalué MILES sur six benchmarks (MATH-500, AIME 2024/2025, GPQA-Diamond, MMLU-Pro Physics/Engineering) en utilisant quatre modèles de base (GPT-4.1, GPT-4.1-mini, GPT-OSS-20B, Qwen3-30B-Instruct).

Précision : MILES égale ou dépasse systématiquement les méthodes de référence (incluant Zero-shot CoT, Self-Consistency, Buffer-of-Thoughts et Dynamic CheatSheet). Des améliorations notables ont été observées sur les plus petits modèles à poids ouverts où d'autres méthodes basées sur la mémoire n'ont pas réussi à surpasser le Zero-shot CoT.
Efficacité : MILES domine la frontière précision-versus-tokens. Contrairement aux modèles de référence qui plafonnent avec l'augmentation du calcul, MILES continue de s'améliorer à mesure que le budget de tokens augmente en construisant des unités de mémoire supplémentaires.
Transférabilité : Le cadre supporte le transfert entre modèles. La mémoire construite à partir des déroulements de modèles auxiliaires (ex: Qwen3-30B) améliore efficacement la performance d'un autre modèle de base gelé plus puissant (ex: GPT-4.1-mini).
Études d'Ablation : La suppression de la couche de récupération grossière ou de la tête de sélection apprise dégrade significativement les performances, validant la nécessité du mécanisme à deux couches. Les têtes apprises surpassent les autres reclasseurs basés sur la similarité d'état ou le prompting de LLM.

Signification et Revendications

L'article affirme que MILES démontre que la composition de mémoire modulaire est un mécanisme viable et efficace pour l'auto-amélioration au moment de l'inférence des LLM gelés.

Les points de signification clés incluent :

Complémentarité : L'approche de composition de mémoire par étape est complémentaire aux méthodes de prompting et de recherche existantes, offrant une voie supplémentaire d'amélioration par l'expérience accumulée.
Robustesse : La méthode est robuste à travers différentes familles de modèles et distributions de données, et ne dépend ni de modèles de récompense de processus (PRM) externes, ni de jeux de données de formation curatés.
Scalabilité : En découplant la sélection de la mémoire de la mise à jour des paramètres, MILES offre une voie pour une amélioration continue dans des contextes où les poids du modèle ne peuvent être modifiés.

Les auteurs concluent que l'apprentissage de connaissances de sélection de mémoire réutilisables est une direction prometteuse pour construire des systèmes de raisonnement en amélioration continue, tout en reconnaissant les limites concernant la surcharge de calcul de la collecte de données par déroulement et la dépendance aux capacités de suivi d'instructions du LLM sous-jacent.