Intent Mismatch Causes LLMs to Get Lost in Multi-Turn Conversation

Technische Samenvatting: Intent Mismatch Causes LLMs to Get Lost in Multi-Turn Conversation

1. Het Probleem: "Lost in Conversation" (LiC)

Recent onderzoek heeft aangetoond dat Large Language Models (LLM's) een aanzienlijke prestatiedaling vertonen in gesprekken met meerdere rondes (multi-turn) vergeleken met instructies in één enkele ronde (single-turn). Dit fenomeen wordt "Lost in Conversation" (LiC) genoemd.

De auteurs stellen dat dit probleem niet wordt veroorzaakt door een gebrek aan rekenkracht of redeneervermogen van het model, maar door een "intent alignment gap". In de praktijk zijn gebruikers vaak vaag of geven ze informatie stapsgewijs door. LLM's hebben de neiging om bij onvolledige informatie te vroeg aannames te doen (gebaseerd op hun training om "behulpzaam" te zijn) en blijven vervolgens vasthouden aan deze foutieve aannames, zelfs als de gebruiker probeert te corrigeren. De auteurs bewijzen theoretisch dat het simpelweg vergroten van de modelgrootte (scaling) dit niet oplost, omdat modellen dan alleen maar beter worden in het voorspellen van de "gemiddelde gebruiker", wat de mismatch met de specifieke intentie van een individu juist kan versterken.

2. Methodologie: Het Mediator-Assistant Framework

Om dit gat te overbruggen, stellen de auteurs een architectuur voor die het begrijpen van de intentie loskoppelt van de uitvoering van de taak. Dit gebeurt via een Mediator-Assistant pipeline:

• De Mediator: In plaats van de gebruiker direct met de uitvoerende Assistant te laten praten, fungeert de Mediator als een tussenlaag. De Mediator analyseert de vage input van de gebruiker en herschrijft deze naar een expliciete, goed gestructureerde instructie ($\hat{U}$) die de werkelijke intentie weerspiegelt.
• De Assistant: Dit is het krachtige LLM dat de taak uitvoert op basis van de heldere instructie van de Mediator, in plaats van op de vage input van de gebruiker.
• De Refiner (Ervaringsgestuurd): Om de Mediator te laten leren van specifieke gebruikersstijlen zonder het model opnieuw te trainen, wordt een Refiner gebruikt. Deze module analyseert historische interacties door te kijken naar contrastieve paren: een mislukte poging ($D^-$) versus een succesvolle interactie ($D^+$). De Refiner destilleert hieruit expliciete pragmatische richtlijnen (bijv. "Als de gebruiker niet expliciet akkoord gaat, is hij niet tevreden") die als context voor de Mediator dienen.

3. Belangrijkste Bijdragen

• Nieuwe verklaring voor LiC: Het verschuift de focus van "modelonbetrouwbaarheid" naar een "pragmatische mismatch" tussen menselijke expressie en modelinterpretatie.
• Theoretische decompositie: Het bewijst dat prestaties in multi-turn gesprekken bestaan uit twee delen: Intent Inference (het begrijpen van de bedoeling) en Task Execution (het uitvoeren van de taak). LiC is een falen van de eerste component.
• Mediator-Assistant Architectuur: Een training-vrije methode die de informatie-bottleneck omzeilt door de entropie (onzekerheid) van de input te verlagen via adaptieve herschrijving.

4. Resultaten

De experimenten werden uitgevoerd op diverse modellen (GPT-4o-mini, GPT-5.2 en DeepSeek-V3.2-Thinking) over verschillende domeinen (Code, Database, Actions, Math):

• Prestatieherstel: Het gebruik van de Mediator zorgde voor een gemiddelde verbetering van ongeveer 20% in prestaties ($\bar{P}$) en 15% in betrouwbaarheid ($R$).
• Redeneren vs. Ambiguïteit: Zelfs geavanceerde modellen met Chain-of-Thought (zoals DeepSeek) konden het LiC-probleem niet oplossen. Dit bevestigt dat redeneervermogen niet helpt als de basisinformatie ontbreekt.
• Superioriteit boven RAG/Memory: De methode presteerde significant beter dan traditionele methoden zoals samenvattingen (Summarization) of RAG-gebaseerde geheugensystemen (Mem0). Dit toont aan dat het simpelweg onthouden van feiten niet hetzelfde is als het begrijpen van de intentie.
• Efficiëntie: De Refiner is veel efficiënter dan In-Context Learning (ICL), omdat het lange logs omzet in korte, krachtige richtlijnen, wat de token-consumptie drastisch verlaagt.

5. Betekenis en Conclusie

Dit onderzoek is cruciaal voor de ontwikkeling van AI-assistenten die in de echte wereld moeten werken. Het laat zien dat voor natuurlijke, iteratieve gesprekken de focus moet verschuiven van "grotere modellen" naar "user-aware intent modeling". Door een architectuur te gebruiken die de intentie expliciet maakt voordat de taak wordt uitgevoerd, kunnen AI-systemen veel robuuster en betrouwbaarder omgaan met de inherente vaagheid van menselijke communicatie.