Résumé Technique : AgentIR

Énoncé du Problème

La mémoire conversationnelle à long terme pour les agents LLM présente une charge de travail de récupération fondamentalement différente des systèmes classiques de Recherche d'Information (RI) tels que Lucene, FAISS ou PISA. Alors que les moteurs traditionnels supposent des corpus statiques, des distributions de requêtes stationnaires et des budgets de latence mesurés en dizaines de millisecondes, la mémoire des agents présente cinq propriétés distinctes qui brisent ces hypothèses :

1. Biais Extrême de Récence : Les requêtes de récupération se concentrent fortement sur la fraction la plus récente des enregistrements (par exemple, les 20–27 % supérieurs des sessions), contrairement à la dérive lente de la recherche web.
2. Croissance Non Statique de l'Index : Le corpus croît de manière monotone pendant le flux de requêtes (au rythme de la conversation), rendant les reconstructions d'index traditionnelles ou les mises à jour incrémentielles (qui entraînent une latence de queue élevée) peu pratiques.
3. Types de Requêtes Hétérogènes : Une seule session d'agent contient des recherches factuelles, des raisonnements multi-étapes et des requêtes temporelles, où aucune stratégie de fusion unique (BM25, Dense ou RRF) ne domine tous les types.
4. Budgets de Latence Stricts : Avec 5 à 20 récupérations par étape d'agent, le budget par requête est inférieur à 10 ms. Les encodeurs denses (par exemple, SPLADE++) dépassent souvent ce budget en raison de la surcharge d'encodage.
5. Enregistrements Structurés par Rôle : Les données incluent des métadonnées (rôle, ID de session, type d'outil) nécessitant une logique de filtrage et de fusion spécifique au-delà de la correspondance textuelle standard.

Les systèmes existants échouent à exploiter ces propriétés, traitant souvent la mémoire des agents comme une « petite RI » et souffrant de coûts de mise à l'échelle linéaires et de stratégies de fusion sous-optimales.

Méthodologie : Substrat AgentIR

AgentIR est un substrat de récupération en cascade adaptatif à la charge de travail, conçu pour répondre à ces propriétés structurelles grâce à une surface de contrôle adaptative à deux axes : (1) la sélection de la stratégie de fusion optimale par requête, et (2) la décision d'exécuter ou non le canal dense coûteux.

1. Architecture et Pipeline

Le système exécute trois canaux concurrents sur un seul substrat CSR (Compressed Sparse Row) :

• BM25 Accéléré par SIMD : Une recherche sparse basée sur CPU utilisant la vectorisation AVX2/NEON et l'élagage MaxScore.
• Canal Dense : Une recherche ANN basée sur HNSW pour les plongements denses (par exemple, BGE-small).
• Index Partitionné Temporellement : Une structure d'index à fenêtre temporelle qui partitionne les documents en buckets de 7 jours.

Adaptation à Deux Axes :

• Sélection de Fusion : Le système choisit entre BM25, Dense, RRF ou un RRF « conscient de l'agent » (qui ajoute un bonus de récence et un poids d'importance) en fonction du type de requête.
• Routage en Cascade : Un routeur déclenché par la confiance décide de sauter entièrement le canal dense. Si la marge des top-$k$ de BM25 est élevée (indiquant une haute confiance), le système sort tôt ; sinon, il passe à l'ensemble du pipeline hybride.

2. Optimisations Clés

• Mise à l'Échelle Temporelle Sub-linéaire : En exploitant le biais exponentiel de récence des charges de travail des agents, l'index temporel ne recherche que les partitions les plus récentes. Le théorème 4.1 prouve que sous ce biais, le travail attendu est $O(\log(1/\varepsilon))$, indépendant de la taille totale du corpus $N$.
• Pipeline CPU/GPU Hétérogène :
  • CPU : Optimisé pour HNSW lié à la mémoire et BM25 lié au calcul via SIMD et le parallélisme multi-thread.
  • GPU : Un pipeline CUDA à deux noyaux pour le score BM25 par lots (disposition CSR) et la sélection top-$k$. Le système identifie et corrige trois pièges spécifiques de correction dans la réimplémentation de BM25 sur le matériel moderne : la fréquence de terme pré-normalisée, le nDCG à gain linéaire et les lectures de mémoire partagée obsolètes dans les noyaux top-$k$ GPU.
• Fusion Conditionnelle à la Charge de Travail : Un routeur d'exécution (utilisant TF-IDF ou des classificateurs légers) prédit le type de requête et sélectionne la meilleure stratégie de fusion. Un « routeur doux » mélange les listes de classement en fonction des posteriors du classificateur pour gérer les requêtes ambiguës.

Contributions Clés

1. Implémentation du Régime Sub-linéaire : Démontre qu'un index partitionné temporellement peut atteindre un travail de $O(\log(1/\varepsilon))$ pour des charges de travail biaisées par la récence. Empiriquement, l'augmentation du corpus de 1 234 fois (de 4K à 5M d'enregistrements) n'augmente la latence que de 3,6 fois, réalisant un gain de vitesse de 1 769 fois par rapport à un scan séquentiel à 5M d'enregistrements avec une latence $p50$ inférieure à 100 $\mu$s.
2. Moteur Hybride Haute Performance : Offre une récupération de qualité Lucene (dans $\pm 0,020$ nDCG@10) sur 9 jeux de données BEIR (jusqu'à 8,8M de documents) tout en étant 10 fois plus rapide que Pyserini (8 threads) et 11 fois plus rapide que PISA-1T (BlockMax-WAND) en moyenne. Il valide également la correction bit à bit entre les implémentations CPU et GPU.
3. Preuve Trans-charge de Travail pour la Fusion Conditionnelle : Montre empiriquement que la stratégie de fusion optimale varie selon la charge de travail et le type de requête.
   • Sur LongMemEval (500 questions), une stratégie hybride RRF + récence surpasse les bases statiques. Un routeur appris atteint la borne de « l'oracle discret » (0,300 de précision jugée par LLM) sous gpt-4o.
   • Sur LoCoMo (1 982 questions), BM25 seul est le système le plus performant.
   • Un Routeur en Cascade s'ajuste automatiquement sur ces benchmarks : il saute le canal dense pour 63 % des requêtes LongMemEval (gain de vitesse de 2,67 fois) et 100 % des requêtes LoCoMo (gain de vitesse de 132 fois) tout en maintenant une parité de précision.

Résultats

• Qualité : Correspond ou dépasse Pyserini Lucene sur 5 des 9 jeux de données BEIR. Le RRF hybride avec BGE-small améliore le nDCG@10 moyen de +0,033 par rapport à BM25 seul. Sur LongMemEval, la fusion consciente de l'agent atteint R@10=0,978 et une précision jugée par LLM de 0,254 (contre 0,246 pour BM25).
• Latence et Débit :
  • Mise à l'Échelle Temporelle : À 5M d'enregistrements, la partition temporelle sert les requêtes en <100 $\mu$s ($p50$), tandis qu'un scan séquentiel prend ~159 ms.
  • Multi-locataire : Une VM à 8 cœurs sert 8 agents concurrents avec une latence $p50$ invariante (~0,38 ms) et un débit agrégé de 5,5 fois.
  • Efficacité de la Cascade : Le routeur en cascade réduit la latence amortie de 53,2 ms à 19,9 ms (2,67 fois) sur LongMemEval et à 0,4 ms (132 fois) sur LoCoMo.
• Correction : L'article documente et corrige trois bugs subtils (TF pré-normalisé, nDCG à gain linéaire, mémoire obsolète GPU) qui avaient précédemment causé des régressions de 6 à 8 fois dans le nDCG@10. Après correction, CPU et GPU s'accordent à moins de 0,0002 nDCG@10.

Importance et Revendications

L'article soutient que la mémoire des agents n'est pas simplement une « petite RI » mais un régime de charge de travail distinct nécessitant une spécialisation architecturale. L'importance d'AgentIR réside dans :

• Exploitation des Propriétés Structurelles : En traitant le biais de récence, la croissance monotone et l'hétérogénéité des requêtes comme des entrées de conception, le système atteint un travail par requête des ordres de grandeur inférieur à celui des moteurs génériques.
• Adaptation Conditionnelle à la Charge de Travail : Il démontre qu'un seul déploiement peut s'ajuster automatiquement à des points de fonctionnement très différents (par exemple, fusion hybride vs BM25 seul) en fonction de la charge de travail spécifique, en utilisant un routeur léger et un mécanisme en cascade.
• Correction et Reproductibilité : L'article fournit une implémentation vérifiée et bit à bit de BM25 sur le matériel CPU/GPU moderne, corrigeant les régressions silencieuses courantes dans les réimplémentations.
• Efficacité des Coûts : Le coût du substrat de récupération est estimé à 2 à 3 ordres de grandeur inférieur à la couche LLM, en faisant un composant critique pour des systèmes d'agents évolutifs et rentables.

Les auteurs concluent que la combinaison de la partition temporelle, de la fusion conditionnelle à la charge de travail et du routage en cascade permet à un seul système de servir la mémoire à long terme des agents avec des latences inférieures à la milliseconde sur du matériel commercial, un régime auparavant inaccessible avec les moteurs RI statiques.