Résumé Technique : MemCtrl

Problématique

Les modèles de fondation, particulièrement les modèles de langage de grande taille multimodaux (MLLM), s'appuient sur l'apprentissage en contexte pour la prise de décision personnalisée. Cependant, la taille limitée des fenêtres de contexte nécessite des systèmes de compression et de récupération de la mémoire, tels que la génération augmentée par récupération (RAG). Les approches existantes traitent souvent la mémoire comme de vastes espaces de stockage hors ligne, nécessissant l'analyse de quantités massives de données de manière déconnectée. Ce paradigme est défavorable pour les agents incarnés opérant sous des contraintes strictes de mémoire et de calcul dans des environnements en temps réel.

Les agents incarnés actuels utilisent souvent de petits modèles (<20B de paramètres) qui s'exécutent localement sur l'appareil. Ces agents sont confrontés à deux défis majeurs :

1. Récupération inefficace : À mesure que le nombre d'observations ($n$) augmente (souvent à une fréquence >1 observation/seconde), la récupération du contexte pertinent à partir d'un historique important ($n \gg h$, où $h$ est la fenêtre de contexte) devient de plus en plus inefficace et coûteuse en calcul.
2. Gestion passive de la mémoire : Les méthodes précédentes reposent souvent sur des modules externes pour peupler la mémoire, laissant au modèle de fondation un rôle passif. Cela ne permet pas de tirer parti de la capacité du modèle à filtrer activement les informations redondantes, une capacité que possèdent les humains pour raisonner efficacement avec un stockage limité.

Méthodologie : Le cadre MemCtrl

Les auteurs proposent MemCtrl, un nouveau cadre qui permet aux MLLM d'agir comme des contrôleurs de mémoire actifs. Au lieu de stocker toutes les observations ou de compter sur une récupération hors ligne, MemCtrl introduit une tête de mémoire entraînable ($\mu$) qui agit comme une porte pour déterminer quelles observations ou réflexions doivent être conservées, mises à jour ou rejetées pendant l'exploration.

Architecture Centrale

• Tête de mémoire entraînable ($\mu$) : Un module léger et agnostique au modèle (implémenté comme un MLP linéaire à 3 couches) attaché à un squelette MLLM gelé. Il prend les plongements (embeddings) du MLLM (observation actuelle $O_c$, instruction $I$, et contexte $C$) en entrée et produit une décision binaire ($b \in \{0, 1\}$) pour stocker ou rejeter l'observation actuelle.
• Filtrage Actif : Le contexte $C'$ est mis à jour dynamiquement :
  $$C' = \begin{cases} C \cup \{(O_c, a)\} & \text{si } b = 1 \\ C & \text{sinon} \end{cases}$$
  où $a$ est l'action prédite par le modèle. Cela garantit que le contexte de l'agent est piloté par ses propres décisions, imitant la mémoire sélective humaine.

Variantes d'Entraînement

Le papier évalue deux méthodes pour entraîner la tête de mémoire $\mu$ :

1. Apprentissage Supervisé Hors Ligne : $\mu$ est pré-entraînée en tant que classificateur binaire à partir de données provenant d'un MLLM "expert" performant (ex: GPT-4o). La tête apprend à distinguer les observations ayant mené au succès ou à l'échec de la tâche en utilisant une perte de cross-entropie binaire.
2. Apprentissage par Renforcement en Ligne (RL) : $\mu$ est entraînée en ligne comme un réseau de politique aux côtés de la tête d'action. L'entraînement utilise :
   • Une récompense parcimonieuse pour le succès de l'épisode.
   • Une récompense dense pour la sélection d'actions valides.
     Cela encourage la tête à choisir des observations utiles qui contribuent à l'achèvement de la tâche.

Contributions Clés

1. Filtrage de Mémoire Actif : Contrairement aux travaux de récupération antérieurs qui filtrent de grands ensembles de données hors ligne, MemCtrl permet un filtrage en temps réel, au fil de l'eau. Ceci est particulièrement critique dans les contextes de mémoire contrainte impliquant de petits modèles.
2. Têtes Transférables : La tête de mémoire $\mu$ est agnostique au modèle. Elle peut être attachée à n'importe quel MLLM prêt à l'emploi sans ajustement fin (fine-tuning) du squelette, permettant une modularité de transfert entre différents setups incarnés et différentes bases de vision-langage.
3. Amélioration des Performances sur les Petits Modèles : Le cadre améliore significativement les performances des tâches des modèles à faible nombre de paramètres (ex: Qwen2.5-VL-7B-Ins et Gemma-3-12B-IT) sur le benchmark EmbodiedBench, démontrant que le contrôle actif de la mémoire peut compenser la capacité limitée du modèle.

Résultats Expérimentaux

Les auteurs ont évalué MemCtrl sur le benchmark EmbodiedBench, spécifiquement sur les divisions ALFRED (axée sur la manipulation) et Habitat (axée sur la navigation).

• Performance Globale : L'augmentation des MLLM peu performants avec MemCtrl a entraîné une amélioration moyenne d'environ 16 % de l'achèvement des tâches sur plusieurs sous-ensembles. Certains sous-ensembles d'instructions spécifiques ont vu des améliorations dépassant les 20 %.
• Instructions à Longue Durée et Complexes : Les gains les plus importants ont été observés dans les catégories d'instructions "Longues" et "Complexes".
  • Pour Gemma-3-12B-IT, la performance sur les instructions longues est passée de 12 % (baseline) à 26 % (avec $\mu_{RL}$).
  • Pour Qwen2.5-VL-7B-Ins, la performance sur les instructions complexes est passée de 6 % à 21 % (une augmentation de 3x).
• Navigation vs Manipulation : Les gains de performance ont été généralement plus élevés sur le jeu de données Habitat (prédominance de la navigation) par rapport à ALFRED. Les auteurs infèrent que le filtrage de la mémoire est plus impactant pour les tâches de navigation à long horizon où la réduction des images redondantes est cruciale.
• Efficacité de la Mémoire : L'approche de mémoire sélective a stocké nettement moins d'observations qu'une baseline de "mémoire complète" (où toutes les observations sont stockées) tout en atteignant des taux de réussite plus élevés. L'analyse quantitative a montré une réduction des actions invalides et une amélioration des scores d'efficacité de la mémoire.

Signification et Revendications

Le papier affirme que MemCtrl offre une solution évolutive pour des agents incarnés auto-améliorables sous des budgets de calcul et de mémoire serrés. En passant d'un stockage passif à un filtrage actif, le cadre :

• Atténue les inefficacités de récupération inhérentes aux grandes fenêtres de contexte.
• Permet l'évolutivité en utilisant des têtes légères et détachables plutôt qu'en exigeant un ajustement fin coûteux des modèles de fondation.
• Démontre que les petits modèles peuvent atteindre des performances comparables à celles de modèles plus grands (ex: Qwen2.5 + $\mu_{RL}$ approchant les performances de baselines plus larges) lorsqu'ils sont équipés d'un contrôle de mémoire efficace.

Les auteurs notent des limites, notamment la dépendance aux démonstrations d'experts pour l'entraînement supervisé et l'inefficacité des récompenses parcimonieuses en RL. Ils suggèrent que les travaux futurs pourraient explorer de meilleures fonctions de récompense, les observations audio et le transfert sim-to-real, tout en maintenant que le présent travail établit une étape fondamentale vers une gestion de la mémoire active et efficace dans l'IA incarnée.