Résumé Technique : BudgetMem

Énoncé du Problème

Les agents basés sur les modèles de langage de grande taille (LLM) dépendent de plus en plus de la mémoire pour opérer au-delà des fenêtres de contexte uniques, afin de gérer des interactions à long terme et un raisonnement riche en connaissances. Cependant, les systèmes existants utilisent principalement une construction de mémoire hors ligne, agnostique aux requêtes. Dans ces paradigmes, le contexte passé est prétraité, compressé ou indexé de manière fixe, sans conditionnement par rapport à la requête spécifique en aval. Cette approche « construire une fois, utiliser toujours » est souvent inefficace, car elle consomme des ressources de calcul indépendamment des besoins spécifiques d'une requête et risque de rejeter des informations critiques pour certaines requêtes.

Bien que l'utilisation de la mémoire à l'exécution (extraction à la demande) offre une alternative flexible, elle introduit des frais généraux et une latence significatifs. Les systèmes industriels de LLM actuels proposent de plus en plus des contrôles explicites et hiérarchisés des ressources de calcul (par exemple, des modes « réflexion » ou des niveaux de raisonnement) pour équilibrer la qualité et le coût, pourtant les systèmes de mémoire des agents manquent d'un cadre systématique pour des compromis performance–coût explicites et contrôlables lors de l'extraction à l'exécution. Les défis principaux sont :

1. Allocation du Budget : Définir l'unité appropriée pour la budgétisation dans un contexte d'exécution, car traiter la mémoire comme un pipeline monolithique avec un calcul fixe rend les compromis grossiers et difficiles à contrôler.
2. Réalisation du Budget : Déterminer comment opérationnaliser le contrôle du budget de manière systématique, plutôt que de s'appuyer sur des réductions de coûts ad hoc ou une simple escalade des ressources de calcul.

Méthodologie : BudgetMem

Les auteurs proposent BudgetMem, un cadre de mémoire d'agent à l'exécution conçu pour permettre un contrôle explicite, conscient de la requête, des compromis performance–coût. Ce cadre structure le traitement de la mémoire comme un pipeline modulaire multi-étapes où le calcul est contrôlable au niveau du module.

1. Architecture de Pipeline Modulaire

BudgetMem implémente l'extraction de mémoire ($f_{mem}$) comme une séquence de modules. Dans leur évaluation centrée sur le dialogue, le pipeline suit :
$$M_{fil} \rightarrow \{M_{ent}, M_{tmp}, M_{top}\} \rightarrow M_{sum}$$

• Module de Filtrage ($M_{fil}$) : Affine les blocs bruts récupérés.
• Modules d'Extraction Parallèles : Extraient des contextes complémentaires :
  • $M_{ent}$ : Faits centrés sur les entités.
  • $M_{tmp}$ : Indices temporels.
  • $M_{top}$ : Résumés thématiques.
• Module de Résumé ($M_{sum}$) : Agrège les contextes intermédiaires en la mémoire extraite finale ($m$).

Crucialement, le cadre n'assume pas un ensemble spécifique de modules, mais exige que chaque module expose une interface commune de niveaux de budget.

2. Niveaux de Budget et Stratégies de Réalisation

Chaque module expose trois niveaux de budget : BAS, MOYEN et ÉLEVÉ. Ces niveaux correspondent à des budgets de calcul croissants et généralement à une qualité d'extraction améliorée. L'article examine trois stratégies complémentaires pour réaliser ces niveaux :

• Hiérarchisation de l'Implémentation : Fait varier l'implémentation du module.
  • BAS : Heuristiques légères (règles, expressions régulières, spaCy).
  • MOYEN : Modèles appris compacts (par exemple, basés sur BERT).
  • ÉLEVÉ : Traitement basé sur les LLM.
• Hiérarchisation du Raisonnement : Fait varier le comportement d'inférence tout en maintenant l'architecture de base du modèle fixe.
  • BAS : Génération directe.
  • MOYEN : Style Chaîne de Pensée (CoT).
  • ÉLEVÉ : Inférence multi-étapes ou de type réflexion.
• Hiérarchisation de la Capacité : Fait varier la capacité du modèle (taille) utilisée au sein du module.
  • BAS : Petits modèles (par exemple, 3 milliards de paramètres).
  • MOYEN : Modèles moyens (par exemple, 8 à 32 milliards de paramètres).
  • ÉLEVÉ : Grands modèles (par exemple, 70 milliards de paramètres et plus).

3. Routage Conscient de la Requête via l'Apprentissage par Renforcement

Pour naviguer dynamiquement dans ces choix hiérarchisés, BudgetMem emploie un routeur léger partagé entraîné par Apprentissage par Renforcement (RL).

• Politique ($\pi_\theta$) : À chaque étape d'invocation du module $k$, le routeur observe un état $s_k$ (comprenant la requête, l'entrée du module actuel et un descripteur de module) et sélectionne une action $a_k \in \{BAS, MOYEN, ÉLEVÉ\}$.
• Objectif : Le routeur est optimisé pour équilibrer la performance de la tâche et le coût d'extraction de la mémoire. La fonction de récompense est définie comme suit :
  $$r = r_{task} + \lambda \cdot \alpha \cdot r_{cost}$$
  Où $r_{task}$ est la récompense de performance de la tâche (F1 ou LLM-Judge), $r_{cost}$ est la récompense de coût normalisée, $\lambda$ contrôle la préférence de compromis, et $\alpha$ est un facteur d'alignement basé sur la variance pour stabiliser l'entraînement.
• Entraînement : Le routeur est entraîné en utilisant l'Optimisation de Politique Proximale (PPO). Le coût est modélisé en fonction de l'utilisation des jetons et de la tarification des API, normalisé via une fenêtre glissante pour assurer la commensurabilité avec les récompenses de tâche.

Contributions Clés

1. Introduction du Cadre : Les auteurs présentent BudgetMem, un cadre modulaire de mémoire d'agent à l'exécution qui permet un contrôle explicite des compromis performance–coût pour l'extraction de mémoire à la demande via des modules hiérarchisés par budget.
2. Mécanisme de Routage : Ils proposent un routage par niveaux de budget, où un routeur léger partagé, entraîné par RL, sélectionne dynamiquement les niveaux de budget lors de l'extraction. Cela est mis en œuvre avec trois stratégies complémentaires (implémentation, raisonnement et capacité) au sein d'un cadre unifié.
3. Analyse Empirique : Grâce à des expériences sur LoCoMo, LongMemEval et HotpotQA, l'article démontre que BudgetMem atteint de fortes performances dans des configurations privilégiant la performance et établit des courbes de compromis performance–coût claires et contrôlables sous des budgets plus serrés. L'analyse démêle les forces des différentes stratégies de hiérarchisation, offrant des perspectives sur les mécanismes qui génèrent les meilleurs rendements sous différents régimes de budget.

Résultats Expérimentaux

Les auteurs ont évalué BudgetMem par rapport à des bases de référence solides (par exemple, ReadAgent, MemoryBank, LightMem) en utilisant les architectures LLaMA-3.3-70B et Qwen3-Next-80B.

• Priorité à la Performance (Budget Élevé) : Dans des configurations privilégiant la performance ($\lambda=0$), les variantes de BudgetMem ont systématiquement surpassé les bases de référence. Par exemple, sur LongMemEval avec LLaMA, BudgetMem-CAP a obtenu un score de Judge de 60,50, dépassant significativement la meilleure base de référence, LightMem (48,51).
• Compromis Performance–Coût : En faisant varier le poids du coût $\lambda$, BudgetMem trace des frontières lisses qui englobent les bases de référence.
  • Hiérarchisation de l'Implémentation et de la Capacité : Couvrent une plage de coûts plus large. La hiérarchisation de l'implémentation offre des gains rapides sous des budgets modérés, tandis que la hiérarchisation de la capacité repousse la frontière vers l'extérieur dans les régimes à budget élevé.
  • Hiérarchisation du Raisonnement : Présente une concentration marquée des coûts. Elle agit comme un bouton de qualité à grain fin au sein d'une bande passante de coûts limitée, offrant des améliorations à des coûts similaires mais avec moins de flexibilité pour les extrêmes de budget très bas ou très élevé par rapport aux autres stratégies.
• Efficacité des Coûts : Même dans les régimes privilégiant la performance, BudgetMem reste efficient en termes de coûts en traitant uniquement les blocs bruts pertinents pour la requête à la demande, évitant ainsi les frais généraux du traitement hors ligne de l'ensemble des historiques.

Importance et Revendications

L'article revendique que BudgetMem comble une lacune critique dans les systèmes de mémoire des agents en allant au-delà des « heuristiques ponctuelles » ou de l'« escalade coûteuse en calcul » vers une vision systématique du contrôle des compromis performance–coût.

• Contrôlabilité : Il fournit un mécanisme pratique pour des compromis explicites et contrôlables, s'alignant sur la tendance industrielle des options de calcul hiérarchisées (par exemple, les modes « réflexion »).
• Comparaison Unifiée : En utilisant un banc d'essai unifié, le travail clarifie quand les différentes stratégies de hiérarchisation (implémentation, raisonnement, capacité) offrent les compromis les plus favorables, fournissant des orientations pour le déploiement sous diverses contraintes de budget.
• Focus sur l'Exécution : Contrairement aux travaux antérieurs axés sur la construction hors ligne, BudgetMem se concentre sur l'extraction à l'exécution, garantissant que le calcul est effectué uniquement lorsque nécessaire et proportionnellement aux exigences de la requête.

Les auteurs concluent que BudgetMem améliore l'utilisabilité et la contrôlabilité de la mémoire des agents sous des contraintes de budget réalistes, rendant le calcul de la mémoire explicitement gérable sans sacrifier la qualité du raisonnement à long terme.