Beyond Continuity: Challenges of Context Switching in Multi-Turn Dialogue with LLMs

Technische Samenvatting: Voorbij Continuïteit: Uitdagingen bij Contextwisseling in Meerdere-ronde Dialoog met LLM's

Probleemstelling
In real-world meervoudige-ronde gesprekken schakelen gebruikers vaak over naar nieuwe onderwerpen of verfijnen ze bestaande onderwerpen zonder expliciet een nieuwe sessie te starten. Grote Taalmodellen (LLM's) vertonen echter vaak een "continuïteitsbias", waarbij ze verouderde, irrelevante context van eerdere beurten meenemen, zelfs wanneer de gebruikerintentie is verschoven. Dit leidt tot onnauwkeurige antwoorden en een falen om de context adequaat te resetten. Hoewel eerdere werken zich hebben gericht op lang-contextbeheer en query-herformulering, blijft de specifieke capaciteit van kant-en-klare LLM's om onderwerpverschuivingen (pivots) te detecteren en context te resetten in een zero-shot setting onderbelicht. Dit paper onderzoekt het inherente vermogen van LLM's om te onderscheiden tussen een gebruiker die overstapt naar een nieuw onderwerp en een gebruiker die het huidige onderwerp verfijnt, en hun daaropvolgende vermogen om alleen de relevante eerdere beurten voor het huidige antwoord te selecteren.

Methodologie
De auteurs construeren een stress-testframework met synthetische benchmarks afgeleid van twee real-world datasets: TopiOCQA (kenniszoekend, entiteit-gericht QA) en MSC (Multi-Session Chat, persona-gebaseerd kletschat). Om gecontroleerde "harde switches" te creëren, plakken de auteurs kopsegmenten van verschillende gesprekken aan elkaar, waarbij grond-waarheid labels worden vastgesteld voor elke gebruikersbeurt als PIVOT of REFINE, samen met een grond-waarheid shortlist van relevante eerdere beurtindices.

De studie evalueert drie experimentele varianten:

1. V1 (Harde Concatenatie): Gesprekken worden samengevoegd zonder enige bridgetekst, wat een moeilijke, impliciete pivot creëert.
2. V2 (Cue-gebridged): Een lexicaal cue-woord (bijv. "schakelen van tandwiel") wordt ingevoegd bij de pivot-beurt om een expliciet signaal te geven.
3. V3 (Positie-studie): Een enkele pivot wordt op wisselende posities (beurten 2–20) binnen een sessie ingevoegd om positiebias te analyseren.

De auteurs evalueren tien LLM's over drie categorieën: open-weight non-reasoning, closed-source non-reasoning, en reasoning-modellen. De evaluatie vindt plaats in een zero-shot setting, waarbij modellen worden geprompt om een JSON-object te outputten met een voorspelde label (PIVOT/REFINE) en een lijst van relevante eerdere beurtindices.

Belangrijkste Bijdragen

• Formalisatie van Pivot-detectie en Context-resetting: Het paper formaliseert de taak als een dubbel probleem: (1) classificeren van de gebruikerintentie (pivot vs. refine) en (2) selecteren van het juiste subset van eerdere beurten.
• Nieuwe Evaluatiemetric (Over-Carry Rate): De auteurs introduceren de Over-Carry (OC) metric om context-overdrachtsfouten specifiek bij pivot-beurten te kwantificeren. In tegenstelling tot standaard F1-scores meet OC direct het vermogen van een model om zijn ophaalbeleid te "resetten" wanneer een onderwerpswissel optreedt (d.w.z. de voorspelde shortlist moet leeg zijn voor een pivot).
• Uitgebreide Zero-shot Benchmark: De studie biedt een van de eerste directe vergelijkingen van diverse LLM-families (open/closed, reasoning/non-reasoning) op pivot-detectie en context-resetting zonder taak-specifieke fine-tuning.
• Analyse van Falpatronen: Het paper identificeert specifieke faalpatronen, waaronder "altijd-meenemen"-gedrag in open-weight modellen, conservatieve resetting in andere, en significante positiebias waarbij latere pivots moeilijker te detecteren zijn.

Resultaten
De evaluatie onthult distincte prestatieniveaus en faalpatronen:

• Reasoning-modellen: Modellen met expliciete redeneercapaciteiten (bijv. o3, Claude-3.7-sonnet, Gemini-2.5-pro) tonen superieure prestaties. Ze bereiken hoge F1_PIVOT-scores en bijna nul OC, wat aangeeft dat ze context effectief "gaten" en irrelevante informatie laten vallen bij onderwerpswissels.
• Closed-source Non-reasoning-modellen: Modellen zoals gpt-4o presteren goed op kenniszoekende taken (TopiOCQA) met lage over-carry, maar kampen meer met persona-gebaseerde chat (MSC), waarbij ze hogere OC vertonen. gpt-4o-mini toont sterke detectie maar lijdt aan dramatische over-carry, wat een sterke continuïteitsbias onthult.
• Open-weight modellen: Deze modellen kampen over het algemeen. Sommigen (bijv. Gemma-3, Llama-3.1) tonen redelijke detectie maar hoge OC, wat een misalignement aangeeft tussen hun classificatiekop en contextselectiemechanisme (ze erkennen een pivot maar dragen toch verouderde context mee). Anderen (bijv. Mistral-7.2B) presteren slecht op beide metrics. Phi-4 toont zeer lage OC maar slechte detectie, wat wijst op een te agressief resetbeleid dat daadwerkelijke pivots mist.
• Positiebias: Een duidelijke trend komt naar voren waarbij F1_PIVOT verslechtert naarmate de pivotpositie toeneemt (later in het gesprek). Dit geeft aan dat naarmate de gespreksgeschiedenis groeit, modellen minder betrouwbaar worden in het detecteren van verschuivingen, een fenomeen dat wordt verergerd in non-reasoning modellen.
• Impact van Cues: De aanwezigheid van expliciete cue-woorden (V2) verbetert de prestaties bij de meeste modellen, vooral voor die met sterke instructievolgende capaciteiten, wat suggereert dat lexicaal grenzen effectieve triggers fungeren voor context-resetting.

Betekenis en Claims
Het paper claimt dat hoewel sommige geavanceerde LLM's (specifiek reasoning- en sterk geïnstrueerde modellen) het inherente vermogen bezitten om pivots te detecteren en context te resetten, veel state-of-the-art open-weight modellen dit niet betrouwbaar doen zonder fine-tuning. De auteurs betogen dat de "kleverigheid" van verouderde context een kritieke faalmodus is voor langetermijn-robustheid in meerdere-ronde gesprekken.

De studie concludeert dat het verbeteren van meerdere-ronde capaciteiten specifieke hiaten vereist:

1. Gerichte Fine-tuning: Om classificatiekoppen af te stemmen op contextselectiemechanismen.
2. Twee-staps Pipelining: Het scheiden van pivot-detectie van contextselectie.
3. Positie-bewuste Decaying: Het mitigeren van prestatiedegradatie naarmate de gesprekslengte toeneemt.
4. Inference-time Guards: Het implementeren van regels om context-resetten af te dwingen bij gedetecteerde grenzen.

De auteurs positioneren dit werk als een diagnostische lens voor het begrijpen van de inherente beperkingen van kant-en-klare LLM's in dynamische dialoog, met de nadruk dat huidige modellen vaak coherentie verkiezen boven contextdiscipline, wat leidt tot fouten in real-world toepassingen waar onderwerpverschuivingen frequent zijn.