Developing Adaptive Context Compression Techniques for Large Language Models (LLMs) in Long-Running Interactions

1. Problématique

Les modèles de langage de grande taille (LLM) subissent une dégradation des performances lors d'interactions de longue durée en raison de l'augmentation continue de la longueur du contexte. Cela entraîne trois défis majeurs :

• Saturation de la mémoire et limites de tokens : Les fenêtres de contexte finies obligent à tronquer l'historique, entraînant la perte d'informations cruciales.
• Coût computationnel et latence : Le traitement de contextes massifs augmente considérablement le temps d'inférence et les ressources nécessaires.
• Perte de cohérence et de mémoire : Les stratégies de compression statiques (comme la troncature fixe ou le résumé fixe) provoquent une "dérive d'information" (information drift), réduisant la capacité du modèle à maintenir la cohérence conversationnelle et la précision de la récupération d'informations sur le long terme.

L'objectif est de concevoir un système capable de compresser le contexte de manière adaptative, en préservant la fidélité de la mémoire et la cohérence conversationnelle tout en optimisant l'efficacité computationnelle.

2. Méthodologie Proposée

L'article présente un cadre de compression de contexte adaptatif qui formule la gestion du contexte comme un problème d'optimisation conjointe. L'architecture repose sur quatre piliers principaux :

A. Représentation Adaptative du Contexte

Chaque tour de dialogue ($u_i$) est encodé et reçoit un score d'importance ($s_i$) dynamique basé sur trois facteurs :

1. Similarité sémantique avec la requête actuelle.
2. Récence de l'interaction.
3. Dépendance structurelle au sein de l'historique.
   La formule utilisée est : $s_i = \alpha \cdot sim(u_i, q_t) + \beta \cdot recency(i, t) + \gamma \cdot dependency(u_i)$.

B. Hiérarchie de Mémoire et Sélection

Le contexte est divisé en trois régions basées sur des seuils dynamiques :

• Mémoire à court terme ($M_t$) : Les tours à haute importance sont conservés intacts.
• Zone résumée ($S_t$) : Les tours d'importance moyenne sont résumés pour réduire le nombre de tokens.
• Suppression : Les tours à faible importance sont éliminés lorsque le budget de tokens est dépassé.

C. Sélection Sensible à la Cohérence

Pour éviter la perte de faits critiques, le système estime l'impact de la cohérence ($c_i$) avant la compression en calculant la probabilité de contradiction si un tour est supprimé. Le score final de classement ($z_i$) combine l'importance et la stabilité de la cohérence : $z_i = s_i \cdot c_i$.

D. Allocation Dynamique du Budget

Le budget de tokens ($B_t$) n'est pas fixe ; il s'ajuste en fonction de l'entropie du dialogue ($H_t$). Une incertitude plus élevée (dialogue complexe) alloue plus de contexte, tandis qu'une interaction stable permet une compression plus forte.

E. Fonction de Perte Multi-Objectifs

L'optimisation vise à minimiser une fonction de perte combinant :

• La qualité de la tâche ($L_{task}$).
• La préservation de la cohérence ($L_{coh}$).
• La réduction des tokens ($L_{token}$).
• La fidélité de reconstruction ($L_{rec}$), mesurée via le score BLEU pour éviter la dérive sémantique.

3. Contributions Clés

• Cadre d'optimisation conjointe : Contrairement aux méthodes statiques, ce système ajuste dynamiquement la représentation du contexte en fonction de la complexité de l'interaction et de la pertinence de la mémoire.
• Mécanisme de filtrage sensible à la cohérence : L'intégration explicite d'une estimation de la probabilité de contradiction permet de protéger les faits critiques, même s'ils sont anciens ou peu fréquents.
• Évaluation rigoureuse : L'approche est validée sur trois benchmarks majeurs : LOCOMO (mémoire à long terme), LOCCO (cohérence et stabilité) et LongBench (raisonnement sur contexte long).
• Équilibre performance/efficacité : La méthode démontre qu'il est possible de réduire significativement l'utilisation des tokens sans sacrifier la précision de récupération ni la qualité des réponses.

4. Résultats Expérimentaux

Les expériences menées sur Google Colab avec des GPU montrent des améliorations significatives par rapport aux approches existantes (comme ILSTMA, ATACompressor, etc.) :

• Qualité des réponses et Récupération :
  • LOCOMO : F1 de la question-réponse (QA) entre 52,0 et 54,0 (vs 51,6 pour GPT-4-turbo de base).
  • Rappel (Recall@k) : Amélioration de 77,5 % à 80,0 %.
  • Précision de récupération : Entre 41,5 % et 43,5 %.
• Cohérence et Stabilité (LOCCO) :
  • Score de cohérence : 4,50 – 4,60 (vs 4,45 ± 0,78 pour le benchmark de base).
  • Score de consistance : 4,45 – 4,55.
• Efficacité Computationnelle :
  • Réduction des tokens : Entre 25 % et 55 %.
  • Amélioration de la latence : Réduction de 10 % à 35 %.
  • Le système maintient ces gains sans dégradation notable de la précision de récupération.

5. Signification et Impact

Cette recherche apporte une solution pratique au problème de la "décroissance du contexte" (context decay) dans les agents conversationnels persistants.

• Scalabilité : Elle permet le déploiement de LLM dans des scénarios de dialogue prolongés (multi-sessions) sans nécessiter une augmentation exponentielle des coûts de calcul ou de la taille de la fenêtre de contexte.
• Robustesse : En intégrant la cohérence comme contrainte d'optimisation, la méthode prévient la dégradation de la qualité des interactions sur le long terme, un problème fréquent avec les méthodes de compression purement basées sur l'efficacité.
• Avenir : Ce cadre ouvre la voie à des systèmes d'agents autonomes capables de gérer des mémoires conversationnelles complexes et durables, essentiels pour les applications réelles comme les assistants personnels, le support client automatisé et les agents multi-agents.

En conclusion, l'article démontre que la compression adaptative, couplée à une sélection de mémoire intelligente et sensible au contexte, offre un compromis optimal entre la fidélité de la mémoire, la cohérence conversationnelle et l'efficacité computationnelle.