DYCP: Dynamic Context Pruning for Long-Form Dialogue with LLMs

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet voor langdurige dialogen met honderden wisselende onderwerpen. Hoewel moderne LLMs contextvensters van honderdduizenden tokens ondersteunen, brengt het gebruik van de volledige dialoggeschiedenis aanzienlijke praktische uitdagingen met zich mee:

1. Kosten en Latentie: Het invoeren van de volledige geschiedenis verhoogt de inferentiekosten (GPU-gebruik of API-kosten) en de responstijd aanzienlijk.
2. Het "Needle-in-a-Haystack"-probleem: Naarmate de context groeit, wordt het voor het model moeilijker om de relevante informatie (de "naald") te vinden tussen de irrelevante dialoog (het "hooi").
3. Beperkingen van bestaande methoden:
   • Samenvatting: Kan cruciale details verliezen.
   • Turn-level retrieval: Kan de coherentie van de dialoog verstoren door afhankelijke draadjes te negeren.
   • Segment-level retrieval (bestaande methoden): Vereist vaak vooraf gedefinieerde onderwerpgrenzen (pre-segmentatie), wat star is en extra LLM-calls vereist. In de praktijk kunnen relevante grenzen echter afhangen van de huidige gebruikersvraag.

Methodologie: DYCP

De auteurs stellen DYCP (Dynamic Context Pruning) voor, een lichtgewicht methode die context buiten het LLM beheert. Het doel is om dynamisch relevante dialoogsegmenten te identificeren en op te halen op basis van de huidige vraag, zonder voorafgaande segmentatie of extra LLM-calls.

Kerncomponenten:

1. Embedding en Relevance Scoring:
   • Elke dialoogbeurt (gebruiker + agent) wordt onafhankelijk gecodeerd tot een embedding met een bi-encoder.
   • Bij een nieuwe vraag ($q_n$) wordt deze ook gecodeerd en vergeleken met de historische embeddings om een reeks relevantiescores ($S$) te genereren.
2. KadaneDial (Het Kernalgoritme):
   • De auteurs passen het klassieke Kadane's algoritme (oorspronkelijk voor het vinden van het maximum subarray) aan voor dialoog.
   • Het algoritme behandelt de relevantiescores als een 1D-signaal. Het identificeert opeenvolgende reeksen (spans) met een hoge cumulatieve relevantie.
   • Dynamische grenzen: In tegenstelling tot statische methoden, bepaalt KadaneDial de segmentgrenzen op basis van de dynamiek van de relevantie voor de huidige vraag. Het gebruikt een z-score normalisatie en drempelwaarden ($\tau$ en $\theta$) om te beslissen wanneer een segment begint en eindigt.
   • Het algoritme is conservatief ingesteld om recall te maximaliseren (liever wat irrelevante context toevoegen dan cruciale informatie missen) en behoudt de chronologische volgorde van de dialoog om coherentie te waarborgen.
3. Output:
   • De geselecteerde opeenvolgende segmenten worden samengevoegd tot een "gepruinde geschiedenis" ($H'$) die samen met de huidige vraag aan het LLM wordt gestuurd.

Belangrijkste Bijdragen

1. DYCP Framework: Een nieuwe, dynamische methode voor contextselectie die geen voorafgaande segmentatie vereist en geen extra LLM-calls kost voor het bouwen van het geheugen.
2. Uitgebreide Empirische Vergelijking: Een systematische evaluatie van DYCP tegenover zes andere methoden (zoals MemoChat, SeCom, CondMem) op drie benchmarks (LoCoMo, MT-Bench+, SCM4LLMs) met meerdere LLM-backends (GPT-4o, Claude 3.7/4.0, GPT-4.1, en open-source modellen).
3. Analyse van Lang-Context Gedrag: Inzicht in hoe de prestaties van moderne LLMs variëren afhankelijk van de lengte van de dialoog, de positie van relevante informatie en de recall/precision-trade-off.

Resultaten

De experimenten tonen aan dat DYCP concurrerende tot superieure resultaten behaalt ten opzichte van bestaande methoden:

• Antwoordkwaliteit: DYCP behaalt vergelijkbare of betere antwoordkwaliteit dan het gebruik van de volledige context ("Full Context"), zelfs op zeer lange dialogen (tot 300+ beurten). Op benchmarks zoals LoCoMo overtreft DYCP vaak de Full Context-baseline, vooral bij modellen met een iets beperkter lang-context-vermogen (zoals GPT-4o).
• Efficiëntie en Latentie:
  • DYCP reduceert de invoerlengte aanzienlijk (bijv. van ~25k tokens naar ~5k tokens in LoCoMo).
  • Dit resulteert in een drie keer lagere first-token latency in vergelijking met Full Context.
  • De methode vereist slechts één inferentie-call per vraag, zonder offline voorverwerking.
• Retrieval Accuratie: DYCP presteert consistent beter in het ophalen van relevante context (higher Recall@k) dan methoden zoals SCM4LLMs en SeCom.
• Robuustheid: De methode werkt effectief over verschillende modellen, van gesloten API-modellen tot open-source modellen (Qwen2.5, Mistral-Nemo). Zelfs bij zeer krachtige modellen zoals GPT-4.1 (1M tokens) blijft DYCP waardevol door de aanzienlijke kosten- en tijdsbesparing, hoewel het kwaliteitsverschil met Full Context kleiner wordt.
• Recall vs. Precision: De analyse toont aan dat een hoge recall (het vinden van alle relevante stukjes, zelfs als er wat ruis bij zit) belangrijker is voor de uiteindelijke antwoordkwaliteit dan een hoge precision. DYCP optimaliseert hierop door dynamisch segmenten uit te breiden zolang de relevantie positief blijft.

Betekenis en Conclusie

Het paper concludeert dat, ondanks de groei van de contextvensters van LLMs, effectieve contextmanagement nog steeds cruciaal is. Moderne modellen hebben moeite om de volledige context gelijkmatig te verwerken (ze vertonen een "recency bias" of verliezen informatie in het midden van de context).

DYCP biedt een praktische, schaalbare oplossing voor real-world toepassingen, vooral in stateless omgevingen (zoals API-gebaseerde diensten) waar KV-cache hergebruik beperkt is. Het bewijst dat dynamische, vraag-afhankelijke selectie van dialoogsegmenten superieur is aan statische segmentatie of het simpelweg invoeren van de volledige geschiedenis, omdat het een balans vindt tussen kosten, snelheid en de noodzaak om de sequentiële coherentie van de dialoog te behouden.