💬 NLP

Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance

Dit paper introduceert het LENS-framework om natuurlijke verschuivingen in gebruikersprompt-distributies te meten en toont aan dat zelfs gematigde verschuivingen leiden tot aanzienlijke prestatiedalingen (gemiddeld 73%) in ingezette LLM's, wat de noodzaak onderstreept van datagedreven monitoring voor stabiele prestaties over diverse en evoluerende gebruikersgroepen heen.

Oorspronkelijke auteurs: Parker Seegmiller, Sarah Masud Preum

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Parker Seegmiller, Sarah Masud Preum

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, digitale assistent hebt die je helpt met alles: van het schrijven van e-mails tot het bedenken van recepten. Je hebt deze assistent getraind met duizenden voorbeelden van hoe mensen in het verleden vragen stelden. Hij is een meester geworden in het begrijpen van die specifieke manier van vragen.

Maar dan gebeurt er iets: de wereld verandert. Mensen leren de assistent kennen, nieuwe mensen komen bij, en mensen uit verschillende landen beginnen met hem te praten. Ze gebruiken andere woorden, stellen vragen op een andere manier, of hebben andere verwachtingen.

Dit is precies waar dit onderzoek over gaat. De auteurs, Parker en Sarah, hebben een nieuw systeem bedacht (genaamd LENS) om te meten hoe snel en hoe sterk de manier waarop mensen praten met deze AI verandert, en wat dat doet met de slimheid van de AI.

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "Koffiehuis-Verandering"

Stel je voor dat je een barista traint in een klein koffiehuis in een dorp. De klanten komen elke dag, bestellen altijd een latte met een beetje kaneel, en praten op een rustige, bekende manier. Je traint je nieuwe barista (de AI) op deze specifieke klanten.

Plotseling, een jaar later, is het koffiehuis uitgegroeid tot een wereldberoemde plek.

Tijd: De klanten van nu zijn anders dan die van toen. Ze zijn drukker, gebruiken meer jargon, of vragen om heel specifieke, complexe drankjes.
Mensen: Er komen nieuwe groepen mensen. Misschien studenten die snel iets willen, of zakelijke mensen die formele e-mails nodig hebben.
Locatie: Er komen toeristen uit andere landen die in het Engels praten, maar met een ander accent of andere zinsconstructies.

De oude barista (de AI) raakt in de war. Hij probeert nog steeds de oude "latte met kaneel" te maken, terwijl de klant nu een "ijskoud matcha-latte met amandelmelk en een extra shot espresso" bestelt. De barista faalt, niet omdat hij dom is, maar omdat de wereld om hem heen is veranderd.

2. De Oplossing: Het LENS-Microscoop

De onderzoekers hebben een nieuwe manier bedacht om dit te meten, genaamd LENS. In plaats van te gokken of de AI het nog goed doet, kijken ze met een microscoop naar twee dingen:

Hoeveel heeft de taal veranderd? (Is de vraag van de klant nu heel anders dan die van een jaar geleden?)
Hoe slecht doet de AI het? (Hoe vaak maakt de barista een fout bij de nieuwe bestellingen?)

Ze hebben dit getest met 192 verschillende scenario's. Ze hebben 81 verschillende AI-modellen getraind op miljoenen echte vragen van mensen, en ze hebben gekeken wat er gebeurde als ze die modellen testten op vragen van andere mensen, op andere tijden of uit andere landen.

3. De Schokkende Resultaten: De "Vergeten Taal"

Wat ze ontdekten, is behoorlijk zorgwekkend, maar ook heel logisch als je erover nadenkt:

De "Tijds-Val": Als je een AI traint op vragen van januari en je test hem in juli, is hij vaak 73% minder goed in het beantwoorden van vragen. Het is alsof je iemand traint om in het Nederlands te praten, en een half jaar later vraagt of hij nog steeds vloeiend Nederlands spreekt, terwijl iedereen in de tussentijd is gaan spreken in een nieuwe, snellere dialect.
De "Groeps-Val": Als de AI getraind is op vragen van "vroege gebruikers" (die de AI nog niet echt kenden) en je test hem op "late gebruikers" (die de AI al als een gewone tool gebruiken), is de AI 88% minder goed. De late gebruikers zijn vaak slimmer in het formuleren van hun vragen, en de AI kan die complexiteit niet meer volgen.
De "Locatie-Val": Dit was het ergst. Als je een AI traint op vragen uit Californië en je test hem op vragen uit Tokio (zelfs als ze in het Engels zijn), is de prestatie 88% slechter. Het lijkt erop dat de AI de "cultuur" van de taal niet snapt, alleen de woorden.

4. Waarom is dit belangrijk?

Vroeger dachten we: "Als we een AI eenmaal trainen, is hij klaar." Dit onderzoek zegt: "Nee, dat is niet zo."

Het is alsof je een auto bouwt die perfect rijdt op de wegen van 2020. Maar in 2026 zijn de wegen veranderd: er zijn nieuwe verkeersborden, andere snelheidslimieten en nieuwe regels. Als je die auto niet aanpast, crasht hij.

De onderzoekers concluderen dat we AI-systemen niet als een eenmalig project moeten zien, maar als een levend wezen dat constant moet worden bijgespijkerd. We moeten continu kijken naar wat de mensen nu zeggen, niet wat ze toen zeiden.

Samenvatting in één zin

Dit onderzoek laat zien dat AI's snel "verouderd" raken als de manier waarop mensen met ze praten verandert, en dat we continu moeten blijven meten en aanpassen om te voorkomen dat ze de draad kwijtraken in een veranderende wereld.

Titel: Meten van Distributieverandering in Gebruikersprompts en de Effecten op de Prestaties van LLM's

Auteurs: Parker Seegmiller en Sarah Masud Preum (Dartmouth College)

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in dynamische, real-world omgevingen. De distributie van gebruikersprompts verandert echter aanzienlijk naarmate nieuwe taken, prompts en gebruikers worden geïntroduceerd. Dit fenomeen, genaamd natuurlijke prompt-distributieverandering (natural prompt distribution shift), vormt een grote uitdaging voor de betrouwbaarheid van LLM's, vooral voor gespecialiseerde modellen die zijn getraind op smalle domeinen.

Hoewel er veel aandacht is voor robuustheid tegen "out-of-distribution" (OOD) data, is er weinig onderzoek gedaan naar het meten van natuurlijke veranderingen in prompts na implementatie en de impact hiervan op de prestaties. Bestaande evaluaties veronderstellen vaak distributieverandering impliciet in plaats van deze te meten, en het is onduidelijk in hoeverre transfer learning de prestatiedaling kan opvangen wanneer de semantiek en stijl van prompts tijdens implementatie afwijken van de trainingsdata.

2. Methodologie: Het LENS Framework

De auteurs introduceren het LLM Evaluation under Natural prompt Shift (LENS) framework. Dit is een data-gedreben aanpak om natuurlijke distributieverandering te kwantificeren en de impact op gedeployde LLM's te evalueren.

Data-Set en Opzet:

Bron: Het framework gebruikt WildChat, een dataset van 1 miljoen gebruikersqueries naar OpenAI-modellen, inclusief metadata zoals tijdstempel, IP-adres (voor geografie en unieke gebruikers) en headers.
Splitsing: Er zijn 192 realistische {ID, OOD} scenario's gecreëerd (In-Distribution vs. Out-of-Distribution) langs drie assen:
1. Tijd: Training op data tot maand M, evaluatie op data van maand N (waarbij N > M).
2. Gebruikersgroepen: Training op vroege/laag-volume gebruikers, evaluatie op late/hoge-volume gebruikers (gebaseerd op adoptiefase en queryvolume).
3. Geografie: Training op data uit regio A, evaluatie op data uit regio B (bijv. Californië vs. Tokio).
Modellen: Er zijn 81 modellen getraind (3 base-modellen: Llama3-8B, Qwen2.5-7B, Qwen2.5-14B) op in totaal 4,68 miljoen trainingsprompts.
Evaluatie: De modellen worden getest op 57.600 prompts. Voor elke setting wordt een ID-model (getraind op de oorspronkelijke distributie) vergeleken met een Oracle-model (getraind op data uit dezelfde distributie als de testdata). De vergelijking gebeurt via een "LLM-as-a-Judge" methode (GPT-4o) om te bepalen welk model de instructies beter volgt.

Metingen van Distributieverandering:
Om de mate van verandering te meten tussen trainings- en evaluatieprompts, gebruikt LENS vier onbewaakte (unsupervised) maten:

MAUVE: Meet de divergentie in een gequantiseerde embedding-ruimte (nabij 0 = grote verschuiving).
$\Delta$ -score: Meet hoe representatief een tekst is voor een bepaalde distributie (nabij 0,5 = geen verschuiving).
Perplexiteit: Meet hoe verrassend de testdata is voor een model getraind op de trainingsdata.
BLEU: Meet lexicaal overlap (n-grammen) tussen de distributies.

3. Belangrijkste Bijdragen

LENS Framework: Een gestructureerde, gecontroleerde methode om de relatie tussen instructie-tuning datasets en gebruikersprompts in realistische implementatiescenario's te analyseren.
Grootschalige Evaluatie: De eerste studie die natuurlijke prompt-verschuivingen meet op schaal (192 scenario's, 81 modellen) in plaats van ze te veronderstellen.
Kwantificering van Verandering: Het biedt empirisch bewijs dat prompt-distributies significant veranderen over tijd, tussen gebruikersgroepen en geografische regio's.
Correlatieanalyse: Het koppelt de mate van distributieverandering direct aan prestatieverlies in gedeployde modellen.

4. Resultaten

De resultaten tonen een alarmerend beeld van de kwetsbaarheid van LLM's voor natuurlijke verschuivingen:

Significante Distributieverandering:
- Prompts veranderen aanzienlijk over tijd (gemiddelde MAUVE: 0,54 vs. 0,96 voor willekeurige baseline).
- Geografische verschillen tonen de sterkste verschuiving (gemiddelde MAUVE: 0,05).
- Verschillen tussen gebruikersgroepen zijn ook meetbaar (gemiddelde MAUVE: 0,61).
- Observatie: Prompts worden na verloop van tijd complexer, gestructureerder en specifieker, terwijl vroege prompts meer exploratief en informeel zijn.
Drastische Prestatieverlies:
- Zelfs gematigde verschuivingen leiden tot grote prestatiedalingen.
- Gemiddeld verlies: Gedeployde LLM's verliezen gemiddeld 73% van hun prestatie ten opzichte van het Oracle-model.
- Per Gebruikersgroep: Het verlies is extreem hoog bij wisseling van gebruikersgroepen (88% verlies).
- Per Geografie: Het verlies is even hoog bij geografische verschuivingen (88% verlies).
- Per Tijd: Bij tijdsverschuiving is het verlies lager maar nog steeds significant (44% verlies).
Generalisatie: De prestatiedaling is consistent over verschillende modelgroottes (7B, 14B) en families (Llama, Qwen). Dit suggereert dat de vaardigheid om instructies te volgen die zijn geleerd uit real-world prompts, niet van nature overdraagt naar dynamische implementatieomgevingen.

5. Betekenis en Conclusie

De studie concludeert dat instructie-volgende vaardigheden niet robuust zijn tegen natuurlijke distributieveranderingen. Dit heeft ernstige gevolgen voor de betrouwbaarheid en tevredenheid van gebruikers in real-world toepassingen (zoals klantenservice of medische dialogen).

Kernboodschappen:

Monitoring is cruciaal: Er is een dringende behoefte aan datagedreven monitoring om de prestaties van LLM's stabiel te houden naarmate gebruikerspopulaties evolueren.
Dynamische training: Statische training op een momentopname van data is onvoldoende; modellen moeten worden bijgewerkt om rekening te houden met de natuurlijke evolutie van gebruikersgedrag.
Nieuwe evaluatiestandaard: Het LENS-framework biedt een nieuwe standaard voor het evalueren van LLM's onder realistische, veranderende omstandigheden, verder dan de traditionele statische benchmarks.

Kortom, het paper waarschuwt dat zonder specifieke maatregelen tegen natuurlijke distributieverandering, de prestaties van LLM's in de praktijk snel kunnen verslechteren, ongeacht de grootte of het type van het model.