DYCP: Dynamic Context Pruning for Long-Form Dialogue with LLMs

1. Problématique

Les systèmes de dialogue alimentés par les Grands Modèles de Langage (LLM) doivent de plus en plus gérer des conversations longues (plusieurs centaines de tours) où les utilisateurs changent fréquemment de sujet. Bien que les LLMs récents supportent des fenêtres de contexte étendues (jusqu'à 128k ou 1M de tokens), l'utilisation naïve de l'historique complet du dialogue pose plusieurs problèmes critiques :

• Coût et Latence : L'augmentation de la taille du contexte entraîne des coûts d'inférence élevés (GPU/API) et une latence accrue (délai de réponse).
• Problème de l'aiguille dans la botte de foin : À mesure que le contexte s'allonge, il devient difficile pour le modèle d'identifier les informations pertinentes (l'aiguille) noyées dans l'historique (la botte de foin), ce qui dégrade la qualité des réponses.
• Limites des méthodes existantes :
  • Résumé : Peut omettre des détails cruciaux.
  • Récupération au niveau du tour (Turn-level) : Peut briser la cohérence discursive.
  • Segmentation pré-définie (Segment-level) : Les méthodes actuelles supposent des frontières de sujets fixes définies à l'avance (souvent via d'autres appels LLM), ce qui est rigide et coûteux. En réalité, la pertinence d'un segment dépend de la requête actuelle de l'utilisateur.

2. Méthodologie : DYCP

L'article propose DYCP (Dynamic Context Pruning), une méthode légère de gestion de contexte qui s'exécute en dehors du LLM (sans nécessiter d'appels LLM supplémentaires pour la segmentation).

Principes clés

1. Représentation Vectorielle : Chaque tour de dialogue (paires utilisateur-agent) est encodé une seule fois en un vecteur d'embedding à l'aide d'un retriever bi-encodeur (ex: Contriever).
2. Calcul de Pertinence : Pour une nouvelle requête utilisateur $q_n$, un embedding est généré et comparé à tous les embeddings de l'historique pour obtenir une séquence de scores de pertinence $S$.
3. Algorithme KadaneDial : C'est le cœur de la méthode. Il s'agit d'une extension de l'algorithme classique de Kadane (recherche du sous-tableau de somme maximale).
   • Les scores de pertinence sont normalisés (Z-score) et ajustés par un seuil de gain ($\tau$).
   • L'algorithme identifie dynamiquement des tranches consécutives (segments) de l'historique où la pertinence cumulée reste élevée.
   • Contrairement aux méthodes statiques, DYCP ne pré-segmente pas le dialogue. Il construit les segments à la volée en fonction de la requête actuelle, préservant ainsi la continuité séquentielle naturelle du dialogue.
4. Construction du Contexte Pruné : Les tours sélectionnés sont concaténés dans leur ordre chronologique original pour former un contexte réduit $H'$, qui est envoyé au LLM avec la requête actuelle.

Avantages Techniques

• Aucun appel LLM hors ligne : Élimine le coût de prétraitement pour la segmentation.
• Adaptabilité : Les frontières des segments s'ajustent dynamiquement selon la requête.
• Efficacité : Réduit considérablement le nombre de tokens d'entrée sans sacrifier la cohérence.

3. Contributions Clés

1. Introduction de DYCP : Une méthode de gestion de contexte dynamique, légère et sans pré-segmentation, capable de sélectionner des segments cohérents et pertinents en temps réel.
2. Évaluation Systématique : Comparaison de DYCP avec six approches concurrentes (Full Context, No Context, MemoChat, SCM4LLMs, SeCom, CondMem) sur trois benchmarks longs (LoCoMo, MT-Bench+, SCM4LLMs) et plusieurs backends LLM (GPT-4o, Claude 3.7/4.0, GPT-4.1, modèles open-source).
3. Analyse des Comportements des LLMs : Étude empirique montrant que même les LLMs modernes avec de grandes fenêtres de contexte ne parviennent pas à exploiter efficacement tout l'historique (biais de récence, saturation de l'attention), validant ainsi le besoin de méthodes d'élagage.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles fermés (API) et open-source.

• Qualité de Réponse :

  • DYCP atteint une qualité de réponse compétitive, voire supérieure, à celle de l'utilisation du contexte complet (Full Context) sur la plupart des benchmarks et modèles, notamment GPT-4o et Claude 3.7.
  • Sur le benchmark LoCoMo (conversations très longues), DYCP obtient de meilleurs scores EM (Exact Match) et GPT4Score que le contexte complet.
  • Même avec les modèles les plus récents (GPT-4.1, Claude 4.0) qui gèrent mieux les longs contextes, DYCP maintient une qualité équivalente tout en étant plus de deux fois plus rapide.

• Latence et Efficacité :

  • Réduction de Latence : DYCP réduit le temps de génération du premier token (first-token latency) d'environ 3 fois par rapport au contexte complet dans les scénarios longs.
  • Réduction de Tokens : Le nombre moyen de tokens d'entrée est drastiquement réduit (ex: de ~25k à ~5k tokens sur LoCoMo), diminuant les coûts d'API.
  • Coût de Calcul : DYCP ne nécessite qu'un seul appel LLM par requête (pour la génération), contrairement à des méthodes comme CondMem ou SeCom qui nécessitent des appels supplémentaires pour la construction de mémoire ou la récupération.

• Précision de Récupération :

  • DYCP surpasse les méthodes de récupération (SCM4LLMs, SeCom) en termes de Recall@k et Hit@k, démontrant une meilleure capacité à identifier les segments pertinents.
  • L'analyse montre qu'un Recall élevé (inclure plus d'informations pertinentes, même avec un peu de bruit) est plus bénéfique pour la qualité de réponse qu'une Précision pure.

• Généralisation :

  • La méthode fonctionne efficacement sur des modèles open-source (Qwen2.5-7B, Mistral-Nemo) et reste performante même lorsque les modèles ont des capacités de contexte limitées.

5. Signification et Implications

• Au-delà de la taille de la fenêtre : L'article démontre que l'augmentation de la taille de la fenêtre de contexte (ex: 1M de tokens) ne résout pas automatiquement les problèmes de performance. Les modèles souffrent toujours de biais de position et de difficultés à traiter l'information lointaine. L'élagage dynamique reste donc crucial.
• Équilibre Recall/Efficacité : DYCP propose un mécanisme principiel pour équilibrer le rappel (ne pas manquer d'information) et l'efficacité (éviter le bruit), en s'arrêtant d'élargir un segment dès que la pertinence chute.
• Déploiement Pratique : DYCP est particulièrement adapté aux environnements stateless (sans état) où la réutilisation du cache KV (Key-Value) n'est pas garantie (ex: appels API standard). Dans ces cas, réduire la taille de l'entrée est la seule façon de garantir une faible latence et un coût maîtrisé.
• Limites et Considérations : L'article note que dans des environnements stateful avec réutilisation de cache KV, l'avantage de latence pourrait être réduit. De plus, la méthode dépend de la qualité du retriever utilisé.

Conclusion

DYCP représente une avancée significative pour le déploiement de LLMs dans des dialogues longs et complexes. En combinant une sélection dynamique de contexte, une absence de prétraitement coûteux et une préservation de la cohérence séquentielle, il offre une solution robuste pour améliorer la qualité des réponses tout en réduisant drastiquement les coûts et la latence, rendant les assistants conversationnels longs plus viables économiquement et techniquement.