🤖 machine learning

DuoMem: Towards Capable On-Device Memory Agents via Dual-Space Distillation

L'article présente DuoMem, un cadre de distillation à double espace qui combine l'augmentation de la mémoire dans l'espace de contexte et l'ajustement fin dans l'espace des paramètres pour permettre aux LLM compacts sur appareil d'atteindre des performances proches de celles du modèle enseignant dans des tâches procédurales complexes, tout en réduisant considérablement la latence et les besoins en ressources.

Auteurs originaux : Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami, Andrea Maracani, Ignacio Castro, Matthew Purver, Mete Ozay, Savas Ozkan, Taha Ceritli

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami, Andrea Maracani, Ignacio Castro, Matthew Purver, Mete Ozay, Savas Ozkan, Taha Ceritli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un professeur brillant mais épuisé (l'Enseignant) qui peut accomplir des tâches ménagères complexes à la perfection, mais qu'il est trop lent et coûteux pour l'embaucher pour chaque tâche. Ensuite, vous avez un stagiaire brillant mais inexpérimenté (l'Étudiant) qui est rapide et bon marché, mais qui se perd souvent, oublie ce qu'il doit faire ou essaie d'ouvrir un tiroir sans même s'être d'abord déplacé jusqu'à lui.

Le document présente DuoMem, un système d'entraînement conçu pour transformer cet étudiant maladroit en un chef cuisinier expert en utilisant deux méthodes d'enseignement spécifiques. L'objectif est de permettre au petit et rapide étudiant de faire le travail du grand professeur, mais sur un smartphone ordinaire ou un robot, sans avoir besoin d'un supercalculateur.

Voici comment fonctionne DuoMem, en utilisant des analogies simples :

Le Problème : La lutte du « Petit Cerveau »

Les grands modèles d'IA sont comme des génies capables de résoudre un puzzle en 14 étapes. Les petits modèles d'IA (comme celui de 4 milliards de paramètres testé) sont comme des personnes essayant de résoudre le même puzzle en devinant. Ils pourraient errer dans la maison pendant 30 étapes, essayer de ramasser une spatule sur un mur, et finir par abandonner. Ils manquent de « mémoire procédurale » — la capacité de se souvenir de comment faire les choses en se basant sur des expériences passées.

La Solution : DuoMem (Le camp d'entraînement double)

DuoMem enseigne au petit stagiaire en utilisant deux « espaces » ou méthodes différents en même temps.

1. La Distillation de l'Espace de Contexte : La « Fiche de Révision »

L'ancienne méthode : Lorsqu'un stagiaire tente une nouvelle tâche, il doit rédiger ses propres notes sur la façon de la réaliser en se basant sur ses propres souvenirs (souvent médiocres).
La méthode DuoMem : Avant même que le stagiaire ne commence, le Professeur rédige une « fiche de révision » parfaite et de haute qualité (un script procédural) basée sur la façon dont lui a résolu des tâches similaires par le passé.
Comment ça marche : Face à une nouvelle tâche, le système remet au stagiaire la fiche de révision du Professeur. Le stagiaire n'a pas à élaborer la stratégie de zéro ; il lui suffit de lire les notes du Professeur et de les suivre.
L'analogie : C'est comme donner à un étudiant un résumé de manuel juste avant un examen, plutôt que de lui demander de rédiger le résumé lui-même pendant qu'il passe l'examen.

2. La Distillation de l'Espace de Paramètres : La « Mémoire Musculaire »

L'ancienne méthode : Le stagiaire lit la fiche de révision, mais il tâtonne encore avec ses mains car il n'a pas pratiqué les mouvements spécifiques.
La méthode DuoMem : Le système prend toutes les fois où le Professeur a résolu des tâches avec succès et les utilise pour « affiner » le cerveau de l'étudiant. Il ne s'agit pas seulement de donner des notes ; il s'agit de recâbler les voies neuronales de l'étudiant pour imiter les habitudes réussies du Professeur.
Comment ça marche : Le système entraîne un ajout minuscule et léger (appelé LoRA) dans le cerveau de l'étudiant. Cet ajout apprend la « mémoire musculaire » des mouvements réussis du Professeur.
L'analogie : C'est comme un instructeur de danse qui observe un maître danseur, puis ajuste la posture et la tension musculaire de l'élève pour qu'il bouge naturellement comme le maître, même sans regarder les notes.

Les Résultats : Rapide, Bon Marché et Intelligent

Le papier a testé cela dans une maison virtuelle appelée ALFWorld, où l'agent doit accomplir des tâches comme « nettoyer une spatule et la mettre dans un tiroir ».

Sans DuoMem : Le petit modèle 4B était médiocre. Il ne réussissait que 4,3 % du temps. Il lui fallait environ 29 étapes et près de 19 secondes par tâche.
Avec DuoMem : Le même petit modèle a réussi 77,9 % du temps. Il n'a fallu que 21 étapes et environ 5 secondes.
La comparaison : Le petit modèle avec DuoMem est devenu presque aussi bon que le massif Professeur de 72 milliards de paramètres (qui réussit 87,1 % du temps), mais il est 3 fois plus rapide et nécessite une fraction infime de la puissance de calcul.

Pourquoi cela importe

Le document affirme que vous n'avez pas besoin d'un supercalculateur massif et lent pour avoir un agent intelligent sur votre téléphone ou votre robot. En combinant les fiches de révision du Professeur (Contexte) avec la mémoire musculaire du Professeur (Paramètres), un petit modèle rapide peut accomplir des tâches complexes en temps réel.

L'idée clé : DuoMem prouve qu'un petit modèle n'a pas besoin d'être « stupide » s'il est enseigné de la bonne manière. Il peut emprunter la puissance cérébrale d'un modèle géant sans réellement avoir besoin de porter le poids de ce géant.

Résumé Technique : DuoMem

Problématique

Les agents basés sur les grands modèles de langage (LLM) font preuve de capacités impressionnantes pour résoudre des tâches procédurales complexes via des interactions multi-tours avec des environnements. Cependant, l'obtention de performances de pointe nécessite généralement des modèles massifs (30B–70B+ de paramètres) et des fenêtres de contexte étendues. Cette charge computationnelle crée une barrière significative au déploiement d'agents avancés augmentés par la mémoire sur des dispositifs de bord (edge) aux ressources limitées (ex: smartphones, robots). Bien que les modèles plus petits (2B–12B de paramètres) soient attractifs pour une utilisation sur appareil, ils présentent un raisonnement procédural faible et ne parviennent pas à exploiter efficacement la mémoire, ce qui se traduit souvent par des taux de réussite des tâches faibles et une exploration inefficace.

Méthodologie : Le cadre DuoMem

Les auteurs proposent DuoMem, un cadre de distillation à double espace conçu pour transférer les capacités de résolution de problèmes procéduraux d'un grand modèle enseignant vers des modèles étudiants compacts. Le cadre opère dans deux espaces complémentaires :

1. Distillation de l'espace de contexte (CD - Context-Space Distillation)

Au lieu de compter sur le modèle étudiant pour générer ses propres résumés de mémoire à partir de trajectoires passées (ce qui aboutit souvent à des détails de faible qualité ou non pertinents), DuoMem utilise un puissant modèle enseignant pour extraire hors ligne des mémoires procédurales de haute qualité.

Mécanisme : Le modèle enseignant résume les trajectoires réussies en scripts procéduraux concis. Lors de l'inférence, les $k$ mémoires les plus pertinentes générées par l'enseignant sont récupérées (via la similitude d'embedding sémantique) et prépendues au contexte d'entrée de l'étudiant.
Bénéfice : Cela enrichit le contexte de l'étudiant avec des connaissances procédurales distillées sans modifier les paramètres de l'étudiant, agissant comme une amélioration sans entraînement (training-free).

2. Distillation de l'espace de paramètres (LoRA)

Ce composant améliore directement la politique comportementale du modèle étudiant en le peaufinant (fine-tuning) sur des démonstrations d'experts.

Mécanisme : Le cadre collecte les trajectoires réussies générées par le modèle enseignant. Un adaptateur léger de type Low-Rank Adaptation (LoRA) est attaché au modèle étudiant et affiné via la prédiction du prochain jeton (next-token prediction) sur ces trajectoires réussies.
Stratégie d'entrée : Les auteurs constatent que l'entraînement sur l'historique complet (Full History) des interactions (plutôt que sur le seul dernier tour) produit les meilleurs résultats, permettant au modèle d'apprendre la dynamique procédurale complète de la manière dont les observations précoces informent les actions ultérieures.

Intégration

DuoMem combine les deux mécanismes : le modèle étudiant est d'abord affiné par LoRA sur les trajectoires de l'enseignant (espace des paramètres) puis, lors de l'inférence, reçoit des mémoires générées par l'enseignant dans son contexte (espace de contexte). Les auteurs postulent que la CD améliore ce que le modèle voit (connaissances plus riches), tandis que LoRA améliore la manière dont le modèle agit (meilleure utilisation du contexte).

Contributions Clés

Cadre à double espace : La proposition de DuoMem, qui transfère la mémoire procédurale via une distillation complémentaire dans l'espace de contexte (CD) et l'espace de paramètres (LoRA).
Performance sur l'Edge : La démonstration que DuoMem peut faire passer un modèle de 4 milliards de paramètres d'un taux de réussite de 4,3 % à 77,9 % sur le benchmark ALFWorld, comblant 89 % de l'écart avec un enseignant de 72B, tout en ajoutant moins de 10 millions de paramètres entraînables et seulement quelques mégaoctets de mémoire pré-calculée.
Efficacité : La démonstration que le modèle 4B amélioré par DuoMem termine les tâches plus de 3 fois plus vite en temps réel que l'enseignant de 72B, rendant le déploiement sur l'edge viable.
Insights d'ablation : Des expériences approfondies sur huit modèles (2B–72B) révèlent que les deux axes de distillation contribuent à des gains complémentaires. La combinaison surpasse systématiquement chaque composant pris isolément, avec des effets de synergie observés particulièrement dans les modèles plus petits.

Résultats Expérimentaux

Évalué sur ALFWorld, un benchmark de prise de décision incarnée basé sur le texte :

Taux de réussite :
- Qwen3-4B-Instruct : Amélioré de 4,3 % (sans mémoire) à 77,9 % (avec DuoMem), comparé aux 87,1 % de l'enseignant de 72B.
- Gemma4-E2B-it (2B) : Amélioré de 2,1 % à 55,7 %.
- Gemma3-12B-it : Amélioré de 14,3 % à 66,4 %.
Efficacité :
- Le modèle 4B de DuoMem a réduit le temps moyen de complétion des tâches d'environ 18,5s à 4,9s (une accélération de 3,7x par rapport à la meilleure configuration de l'enseignant).
- Le nombre moyen d'étapes d'interaction a diminué de 30 % (passant d'environ 29 à environ 21 étapes).
Surcharge (Overhead) :
- Paramètres : Les adaptateurs LoRA ont ajouté <0,15 % au modèle 4B (5,9M de paramètres).
- Stockage : L'ensemble du magasin de mémoire de l'enseignant occupe environ 4 Mo ; les adaptateurs LoRA nécessitent environ 12–47 Mo selon la taille du modèle.
Sensibilité à la taille du modèle : Les bénéfices de DuoMem sont plus prononcés pour les modèles plus petits (2B–12B). Pour les modèles plus larges (ex: 32B+), les gains marginaux diminuent car les capacités intrinsèques du modèle de base deviennent suffisantes pour une utilisation efficace de la mémoire.
"Thinking" vs "Non-Thinking" : Bien que les modèles en mode "réflexion" (Chain-of-Thought) atteignent des bases plus élevées, ils subissent des pénalités de latence de 5 à 7 fois, ce qui les rend peu pratiques pour le déploiement sur l'edge. DuoMem permet aux modèles "non-thinking" de récupérer une grande partie de l'écart de précision à des vitesses temps réel.

Signification et Revendications

L'article affirme que DuoMem comble le fossé critique entre les hautes performances des agents LLM de grande taille et les contraintes de ressources des dispositifs edge. En découplant l'acquisition de la connaissance procédurale (via la distillation de l'enseignant) de l'exécution des tâches (via des modèles étudiants compacts), le cadre permet de déployer des agents capables et augmentés par la mémoire localement sur des appareils où le déploiement d'un modèle de 72B est irréalisable en raison des contraintes de mémoire et de latence.

Les auteurs soulignent que l'approche à double espace n'est pas simplement additive ; la combinaison de l'enrichissement du contexte et de l'adaptation des paramètres produit des améliorations synergiques qui dépassent la somme des composants individuels. De plus, le cadre est indépendant de l'architecture et de la tâche, suggérant un potentiel de généralisation à d'autres domaines procéduraux au-delà d'ALFWorld.

Le travail conclut que pour le déploiement sur l'edge, le compromis entre la latence des modèles "thinking" et l'efficacité des modèles "non-thinking" distillés fait de DuoMem une solution pratique pour le déploiement d'agents autonomes capables dans des scénarios du monde réel.