Résumé Technique : Mémoire Procédurale Neurale (NPM)

Énoncé du Problème

Bien que les grands modèles de langage (LLM) excellent en tant que solveurs statiques, les transformer en agents autonomes capables d'opérer dans des environnements dynamiques et ouverts reste un défi. Un goulot d'étranglement critique dans cette transition est l'absence de mémoire procédurale persistante. Les architectures d'agents actuelles reposent principalement sur la Génération Augmentée par Récupération (RAG) pour injecter des directives textuelles explicites (ex: flux de travail, insights) dans la fenêtre de contexte.

Cependant, l'article soutient que le fait de s'appuyer uniquement sur des instructions textuelles symboliques introduit un « décalage texte-action ». La connaissance procédurale est souvent implicite et abstraite ; compresser des schémas de raisonnement complexes en jetons de langage naturel discrets entraîne inévitablement une perte d'information. Par conséquent, les agents peuvent comprendre les instructions récupérées mais échouent à agir strictement selon celles-ci, omettant souvent des étapes intermédiaires critiques ou ne parvenant pas à aligner les flux de travail récupérés avec la trajectoire d'exécution. Ce décalage est particulièrement prononcé dans les tâches à long horizon où le maintien de l'état et l'adhésion à une logique séquentielle sont difficiles via le texte seul.

Méthodologie : Mémoire Procédurale Neurale (NPM)

Pour remédier à ces limitations, les auteurs proposent la Mémoire Procédurale Neurale (NPM), un cadre sans entraînement qui représente la mémoire de l'agent par le biais d'une direction par activation implicite plutôt que par des instructions textuelles explicites. Au lieu de récupérer du texte pour que l'agent le lise, la NPM distille les compétences procédurales à partir d'expériences contrastives historiques en vecteurs de direction au sein de l'espace d'activation du modèle.

Le cadre opère en trois phases :

1. Construction de l'Expérience Contrastive

La NPM construit un ensemble de données de segments de raisonnement appariés $(x^+, x^-)$ en isolant les schémas de raisonnement efficaces des échecs historiques. Elle emploie une stratégie à double granularité pour capturer les signaux procéduraux :

• Contraste Inter-trajectoire : Aligne les trajectoires réussies ($\tau^+$) avec les tentatives échouées ($\tau^-$) pour une tâche spécifique afin de capturer des changements de comportement globaux.
• Contraste Intra-trajectoire : Exploite les différences au niveau des étapes au sein d'une seule trajectoire échouée. Elle identifie les « étapes dégénérées » (ex: boucles redondantes, actions invalides) et les contraste avec des « étapes efficaces » au sein de la même trajectoire. Cela permet d'apprendre de l'échec même lorsque les trajectoires réussies sont rares.

2. Extraction de la Mémoire Procédurale

Le cadre projette les contrastes textuels en transformations géométriques continues dans l'espace de représentation.

• Représentation : Pour les paires inter-trajectoires, il extrait l'état caché du dernier jeton de la trajectoire complète. Pour les paires intra-trajectoire, il applique un pooling moyen sur les jetons pour obtenir des représentations d'étapes.
• Dérivation de Vecteur : Le système calcule la différence entre les représentations des états réussis ($h^+$) et dégénérés ($h^-$). En utilisant l'Analyse en Composantes Principales (PCA), il extrait la direction dominante de variation pour former un vecteur de direction $v$ qui représente le passage de l'échec au succès. Ces vecteurs sont stockés dans un référentiel spécifique à la tâche.

3. Intervention au Moment de l'Inférence

Pendant l'inférence, la NPM synthétise et injecte dynamiquement des vecteurs de direction sans modifier les poids du modèle ni élargir la fenêtre de contexte :

1. Récupération : Un récupérateur dense identifie les $K$ tâches historiques les plus similaires pour la requête actuelle.
2. Synthèse : Le système récupère les représentations stockées des tâches identifiées pour former un pool de mémoire collectif. Une direction de consensus spécifique à la tâche $v_l(q)$ est dérivée via une fonction d'extraction.
3. Direction (Steering) : Le vecteur synthétisé est injecté dans le flux résiduel à chaque étape $t$ pour les couches cibles $l$ :
   $$\tilde{h}_{l,t} = h_{l,t} + \alpha \cdot v_l(q)$$
   où $\alpha$ contrôle l'intensité de l'intervention. Cela module directement le processus de raisonnement et la sélection d'actions de l'agent.

Contributions Clés

1. Cadre NPM : La proposition d'un cadre sans entraînement qui intègre la direction par activation implicite dans la mémoire de l'agent, permettant une modulation comportementale intrinsèque efficace sans mise à jour des paramètres.
2. Extraction à Double Granularité : L'introduction d'une méthode utilisant des contrastes inter-trajectoires et intra-trajectoires. Cela offre un mécanisme d'intervention flexible qui atténue la dépendance aux démonstrations réussies en permettant l'apprentissage par l'échec.
3. Validation Empirique : Des expériences approfondies démontrant que la direction par activation sert de support efficace pour les compétences agentiques, produisant des vecteurs interprétables qui sont corrélés à des comportements de tâches spécifiques.

Résultats Expérimentaux

Les auteurs ont évalué la NPM sur quatre benchmarks d'agents : ALFWorld, WebShop, ScienceWorld et BabyAI, en utilisant les modèles MiniCPM3-4B et Qwen3 (4B/8B).

• Performance vs Baselines : La NPM surpasse les baselines implicites statiques (CAA, Mass-Mean) et atteint une performance comparable aux baselines de mémoire textuelle explicite (Insights, Workflows). Dans plusieurs configurations (ex: WebShop avec Qwen3-4B), la NPM a surpassé les workflows explicites.
• Synergie Hybride : La combinaison de la direction implicite et des workflows explicites (configuration Hybride) a produit la performance globale la plus élevée sur tous les modèles. Cela suggère que le texte explicite fournit une planification symbolique de haut niveau, tandis que la direction implicite renforce l'adhésion procédurale directement dans les représentations neurales.
• Efficacité : Contrairement à la mémoire textuelle, qui augmente considérablement la latence de pré-remplissage (prefill) en raison de l'expansion de la fenêtre de contexte, la NPM maintient une latence presque identique à la baseline « No Memory », car l'injection de vecteur est une simple addition élément par élément.
• Interprétabilité : Les analyses de représentation (projections PCA, tests de séparabilité linéaire) ont confirmé que les modes de succès et d'échec occupent des régions distinctes dans l'espace d'activation. La décomposition des caractéristiques a révélé que les vecteurs de direction encodent une logique de tâche cohérente, telle que la suppression de l'« observation redondante » ou l'amplification de la « recherche systématique ».

Signification et Revendications

L'article affirme que la direction par activation implicite constitue une approche prometteuse et pratique pour la gestion de la mémoire procédurale dans les agents LLM. En passant de la verbalisation externe à la modulation de l'activation interne, la NPM traite le décalage texte-action inhérent à la mémoire procédurale basée sur la RAG.

Les auteurs soulignent que leur approche offre un avantage complémentaire aux méthodes existantes : alors que la mémoire textuelle fournit un guidage symbolique, la direction implicite assure l'adhésion à ces plans lors de longs horizons d'exécution en modulant directement le chemin de génération. Le cadre fournit une base pour gérer la mémoire procédurale sans la surcharge computationnelle du fine-tuning ou les limitations de contexte du texte.

Limitations Reconnues :
L'article note que la NPM nécessite l'accès aux espaces d'activation internes (limitant son application aux architectures ouvertes), repose sur des heuristiques pour identifier les étapes dégénérées (qui peuvent manquer des erreurs logiques subtiles) et fait face à un problème de démarrage à froid (cold-start) dans les environnements où les agents génèrent rarement des trajectoires réussies initialement. De plus, la modulation statique actuelle manque de la flexibilité nécessaire pour basculer dynamiquement entre différents primitives comportementales à travers les différentes étapes d'exécution.