Résumé Technique : OSL-MR – Rétention de Mémoire Sécurisée par l'Observabilité

1. Définition du Problème

Les agents de langage à long terme font face à un défi fondamental d'allocation de ressources : ils accumulent des observations, des traces de raisonnement et des faits récupérés qui dépassent les fenêtres de contexte finies. Les systèmes de mémoire existants reposent généralement sur un scoring heuristique (ex. : récence, pertinence), l'optimisation de la récupération ou la compression apprise. Cependant, ces approches traitent largement la rétention de mémoire comme un problème de décision locale, échouant à modéliser explicitement les conséquences à long terme telles que l'absence de preuves futures, les coûts de réacquisition et le risque d'informations obsolètes sous une observabilité partielle réaliste.

Une barrière critique pour résoudre cela est l'observabilité. Les signaux requis pour évaluer la qualité d'une décision de rétention (ex. : preuve d'or, exactitude de la réponse, fraîcheur sémantique) ne sont souvent disponibles qu'après que la décision a été prise. L'utilisation de ces signaux lors du déploiement crée un avantage informationnel irréaliste (accès à un oracle). Les travaux antérieurs n'ont pas explicitement formulé la rétention comme un problème d'optimisation stochastique contraint respectant la séparation entre les caractéristiques observables en ligne et la supervision disponible hors ligne (OAS).

2. Méthodologie : OSL-MR

Les auteurs proposent OSL-MR (Observability-Safe Learning for Memory Retention), un cadre qui formule la rétention de mémoire comme un problème d'optimisation séquentielle contraint et le résout via une approche pilotée par les données qui respecte strictement les contraintes d'observabilité.

2.1 Formulation de l'Optimisation Contrainte

Le problème est défini comme la maximisation de la récompense cumulative attendue sur un horizon $T$ soumis à un budget de stockage strict $B_t$. La fonction de récompense $r_t$ modélise explicitement :

• Utilité de la Preuve : Récompenses pour l'atteinte ($T^{hit}$) et l'achèvement de la couverture complète ($F_t$) des preuves requises.
• Coûts : Pénalités pour le stockage ($\alpha_{store}$), l'absence de preuves ($\alpha_{miss}$), les délais de réacquisition ($\alpha_{reacq}$) et l'utilisation d'informations obsolètes ($\alpha_{stale}$).

Cette formulation souligne que la rétention est un problème de récompense différée à plusieurs étapes. Un optimiseur myope à une seule étape ne peut pas tenir compte de la manière dont les choix de rétention actuels affectent la disponibilité future des preuves ou engendrent des pénalités différées.

2.2 Séparation de l'Observabilité (OAS)

Le cadre impose une séparation stricte entre :

• Entrées observables en ligne : Contexte de la requête, métadonnées de la mémoire, historique d'interaction et récence. Ces éléments sont disponibles au moment de la décision.
• Supervision disponible hors ligne (OAS) : Ensembles de preuves d'or, texte de la réponse et fraîcheur de vérité terrain. Ceux-ci sont utilisés uniquement pour l'entraînement et l'évaluation, jamais pour l'inférence.

Cela garantit que toute politique apprise est déployable dans des systèmes réels sans nécessiter d'accès oracle à des informations futures.

2.3 Architecture à Deux Composantes

Pour traiter l'intraitabilité de l'optimisation exacte sous observabilité partielle, OSL-MR emploie deux composantes complémentaires :

1. Heuristique de Score Mixte (Démarrage à Froid & Prior) :

   • Une heuristique légère, entièrement déployable, qui calcule un score d'utilité basé sur des caractéristiques temporelles, de pertinence, de contexte et de risque, moins une pénalité de taille.
   • Rôle 1 : Sert de base solide et assure la fonctionnalité du système durant la phase de "démarrage à froid" avant que les données d'interaction ne soient disponibles.
   • Rôle 2 : Agit comme un prior inductif structuré. Son score est concaténé avec les caractéristiques en ligne en tant qu'entrée du modèle d'apprentissage, guidant l'apprenant sans introduire de nouveaux signaux de supervision.

2. Apprenant de Preuves (Evidence Learner) :

   • Entraîné hors ligne sur les journaux d'interaction collectés par l'heuristique de Score Mixte.
   • Supervision : Utilise des étiquettes d'appartenance à la preuve d'or ($y^{evid}_{t,i} = 1[m_{t,i} \in E_t]$) dérivées des résultats réalisés.
   • Entraînement : Optimise une perte de cross-entropie binaire pondérée pour prédire si une mémoire fait partie de l'ensemble de preuves requis pour une requête donnée.
   • Déploiement : Le modèle entraîné est gelé et déployé, s'appuyant uniquement sur les caractéristiques en ligne (concaténées avec le prior du Score Mixte) pour l'inférence.

2.4 Déploiement Échelonné

Le système fonctionne de manière échelonnée et pratique :

1. Phase 1 : Le Score Mixte fonctionne seul, enregistrant toutes les interactions.
2. Phase 2 : Une fois suffisamment de données collectées, l'Apprenant de Preuves est entraîné hors ligne en utilisant les étiquettes d'or.
3. Phase 3 : L'apprenant gelé remplace l'heuristique, maintenant des contraintes d'observabilité strictes.

3. Contributions Clés

1. Formalisation : Le premier travail à formaliser la rétention de mémoire comme un problème d'optimisation stochastique contraint pour les agents à long terme, modélisant explicitement l'utilité des preuves, les coûts différés (manque, réacquisition, obsolescence) et l'observabilité partielle.
2. Cadre OSL-MR : Un nouveau cadre d'apprentissage qui impose une séparation stricte en ligne/OAS, garantissant la déployabilité. Il intègre une heuristique de Score Mixte (en tant que base et prior) avec un apprenur de preuves entraîné à partir d'une supervision directe de l'évidence.
3. Validation Empirique : Démontrée sur les benchmarks LoCoMo et LongMemEval, montrant une supériorité constante sur les méthodes basées sur la récence, le scoring de type Generative Agents et les bases de comportement par imitation (behavior-cloning).

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks de long terme publics avec des budgets de mémoire variables (serrés à larges).

• Performance : OSL-MR a systématiquement obtenu un F1 de Preuve et une Récompense plus élevés que tous les baselines (Récence, Generative Agents, Score Mixte, et Imitation de Comportement).
  • Exemple (LoCoMo, Budget 128) : OSL-MR a atteint un F1 de 0,302 et une Récompense de 305,16, surpassant de manière significative le Score Mixte (F1 0,069, Récompense 132,48) et les variantes de Generative Agents (F1 < 0,01).
• Efficacité du Budget : Contrairement aux baselines heuristiques qui saturent le budget avec des éléments de faible utilité (occupation élevée), OSL-MR maintient une occupation plus faible tout en atteignant une précision plus élevée. Il élimine sélectivement les mémoires marginales, privilégiant la qualité des preuves sur la quantité.
• Qualité de la Supervision : La supervision directe par l'évidence (OSL-MR) a nettement surpassé l'Imitation de Comportement (BC-learner), qui imitait une politique "enseignante" non déployable. Cela confirme qu'apprendre directement à partir des étiquettes de preuves d'or est plus efficace que d'imiter des heuristiques améliorées qui dépendent d'informations oracle.
• Ablation (Prior du Score Mixte) : Le retrait du prior du Score Mixte des caractéristiques d'entrée a entraîné une chute de la Précision (ex. : -20 % sur LongMemEval au budget 256) tandis que le Rappel restait stable. Cela démontre le rôle du prior dans l'amélioration de l'efficacité de la sélection sans sacrifier la couverture.
• Robustesse : L'analyse de sensibilité à travers diverses configurations de coûts (variations des pénalités de manque, de réacquisition et d'obsolescence) a montré que OSL-MR reste la méthode non-oracle la plus performante, indiquant une robustesse aux différents compromis de coûts.

5. Signification et Revendications

L'article affirme qu'OSL-MR fournit une perspective unifiée reliant le scoring heuristique, l'optimisation et l'apprentissage sous une contrainte d'observabilité cohérente.

• Signification Théorique : Il comble la lacune des travaux antérieurs où la rétention était traitée comme une décision locale ou une optimisation à une seule étape. En la formulant comme un problème de décision séquentielle à plusieurs étapes, OSL-MR capture la nature essentielle de la rétention de mémoire à long terme.
• Signification Pratique : La séparation stricte de l'observabilité garantit que les politiques apprises sont déployables dans des agents interactifs réels sans nécessiter d'informations futures.
• Limites et Travaux Futurs : Les auteurs notent que le prior du Score Mix est actuellement conçu manuellement et que l'estimation de la fraîcheur repose sur une décomposition par type. Les travaux futurs visent à automatiser l'apprentissage des poids du prior et à développer une estimation de la fraîcheur plus principielle.

En résumé, OSL-MR démontre qu'en formulant la rétention de mémoire comme un problème d'optimisation contraint et en séparant strictement l'inférence en ligne de la supervision hors ligne, les agents peuvent apprendre à retenir les "bonnes" mémoires pour des tâches de long terme, surpassant à la fois les heuristiques statiques et les méthodes d'apprentissage dépendantes d'un oracle.