💬 NLP

Quantifying non deterministic drift in large language models

Dit artikel kwantificeert empirisch de basale gedragsdrift in grote taalmodellen door aan te tonen dat de variabiliteit in output persistent is, zelfs bij een temperatuur van nul over verschillende modellen en prompttypen heen, waarmee een systematisch referentiepunt wordt vastgesteld voor het evalueren van toekomstige mitigatiestrategieën.

Oorspronkelijke auteurs: Claire Nicholson

Gepubliceerd 2026-01-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Claire Nicholson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, creatieve robotassistent hebt. Je stelt de exacte zelfde vraag aan de robot, "Wat is het weer?", en je zegt erbij: "Wees zo precies en saai mogelijk." Je zou verwachten dat hij telkens exact hetzelfde antwoord geeft, toch?

Dit artikel, geschreven door Claire Nicholson, onderzoekt wat er gebeurt als je dit daadwerkelijk probeert bij moderne AI-robots (Large Language Models of LLM's). De verrassende bevinding is: Zelfs wanneer je de robot vertelt om perfect consistent te zijn, is hij dat vaak niet.

Hier is een eenvoudige uitsplitsing van wat de studie heeft gevonden, met gebruik van alledaagse analogieën:

1. De "Geest in de Machine" (Niet-determinisme)

De onderzoekers behandelden twee verschillende AI-modellen als identieke tweelingen:

De Cloud-robot: Een model genaamd gpt-4o-mini dat leeft op een grote serverfarm (zoals een keuken in een restaurant die je niet kunt zien).
De Lokale robot: Een model genaamd llama3.1-8b dat draait op één enkele computer in een laboratorium (zoals een chef die in je eigen keuken kookt).

Ze vroegen deze robots herhaaldelijk dezelfde vragen, waarbij de instellingen op "maximale consistentie" stonden (Temperatuur 0.0).

Het resultaat: De Cloud-robot gaf ongeveer 1 op de 4 keer een ander antwoord. De Lokale robot was consistenter, maar veranderde haar antwoord nog steeds ongeveer 1 op de 10 keer.

De analogie: Stel je voor dat je een bakker vraagt om een chocoladetaart te maken met exact hetzelfde recept en dezelfde ingrediënten. Je zou verwachten dat de taart er elke keer identiek uitziet. Maar in deze studie voegde de bakker (de AI) soms een snufje extra zout toe, of versierde de taart met de sprinkles op een andere manier, zelfs toen je zei dat ze het recept perfect moest volgen.

2. Waarom gebeurt dit?

Het artikel suggereert twee belangrijke redenen voor deze "drift":

Het model zelf: Grotere, complexere modellen lijken "wiebeliger" en minder consistent dan kleinere modellen.
De keuken (Infrastructuur): Voor de Cloud-robot kan de manier waarop het verzoek via het internet reist, hoe de computer de gegevens verwerkt, of zelfs hoe de server is georganiseerd, het resultaat veranderen. Het is alsof de oven van de bakker telkens een lichte temperatuurschommeling heeft of dat de mengkom telkens een iets andere grootte heeft, zelfs als het recept hetzelfde is.

3. De "Temperatuur"-knop

De onderzoekers testten ook wat er gebeurt als ze de "Temperatuur" omhoog draaien (een instelling die de AI creatiever en willekeuriger maakt).

Lage temperatuur (0.0): De robot probeert saai en consistent te zijn, maar maakt nog steeds af en toe een foutje.
Hoge temperatuur (0.7): De robot gaat los. In deze modus was elk antwoord anders. Het was alsof je de bakker vroeg om een taart te maken, maar hen vertelde om "creatief te zijn". Plotseling zag elke taart er volkomen anders uit.

4. De "Woordaantal" en "Gelijkenis" Check

Hoe hebben ze dit gemeten? Ze hebben niet alleen de antwoorden gelezen; ze hebben wiskunde gebruikt om de antwoorden te vergelijken.

Uniek fractie: Ze telden hoe vaak de robot een totaal nieuw antwoord gaf.
Jaccard-gelijkenis: Dit is een chique manier om te vragen: "Hoeveel woorden zijn hetzelfde?"
- Wanneer de robot "saai" was (0.0), waren de antwoorden ongeveer 90% gelijk.
- Wanneer de robot "creatief" was (0.7), waren de antwoorden minder dan 50% gelijk.

5. Wat dit voor jou betekent (Het "Variantiebudget")

Het artikel vertelt je niet hoe je dit probleem moet oplossen. In plaats daarvan zegt het: "Je moet weten dat dit gebeurt voordat je probeert het op te lossen."

Denk aan een "Variantiebudget".

Als je een systeem bouwt dat financiële cijfers genereert, kun je zeggen: "Ik kan slechts 5% verschil in de output tolereren."
Als de AI meer afwijkt, weet je dat je moet ingrijpen.
Maar eerst moet je weten wat de "normale" afwijking is zonder enige hulp. Dit artikel biedt die basiskaart.

Samenvatting

Deze studie is een "meetrapport". Het heeft niet een nieuwe manier uitgevonden om de robots te stoppen met van mening veranderen. In plaats daarvan heeft het precies gemeten hoeveel ze van mening veranderen als ze met rust worden gelaten.

De belangrijkste les: Zelfs wanneer je denkt dat je een robot volledig onder controle hebt om 100% voorspelbaar te zijn, wiebelt hij eigenlijk een beetje rond. Als je vertrouwt op een enkel antwoord van een AI, mis je misschien het feit dat het de volgende keer dat je de vraag stelt, net iets anders had kunnen zijn. Om het volledige plaatje te krijgen, moet je misschien dezelfde vraag een paar keer stellen en naar het gemiddelde kijken.

Technische Samenvatting: Kwantificering van Niet-deterministische Drift in Large Language Models

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet voor kritieke taken, variërend van samenvattingen tot besluitvormingsondersteuning. Een fundamentele verwachting bij deze implementaties is dat identieke prompts, wanneer ze worden uitgevoerd onder vaste "deterministische" configuraties (bijv. temperatuur ingesteld op 0.0 en een vaste seed), identieke outputs opleveren. De empirische bewijsvoering suggereert echter dat dit niet altijd het geval is.

Het paper behandelt het fenomeen van baseline gedragsdrift: de variabiliteit die wordt waargenomen wanneer dezelfde prompt meerdere keren wordt uitgevoerd zonder stabiliserende instructies of interventies op operatorniveau. Deze drift ontstaat uit twee primaire bronnen:

Intrinsieke Modelleigenschappen: Sampling-algoritmen en modelomvang.
Door Infrastructuur Veroorzaakte Nondeterminisme: Serving-infrastructuur, incluserend foutief gecompileerde sampling-algoritmen, floating-point niet-associativiteit en opake API-optimalisaties (bijv. dynamische batching, request queuing).

De kern van het probleem is het gebrek aan een systematische, operator-vrije kwantificering van deze drift. Zonder een gemeten baseline is het onmogelijk om inherente modelvariabiliteit te onderscheiden van de effecten van voorgestelde mitigatiestrategieën.

Methodologie

Deze studie is een op meting gerichte experimentele opzet, ontworpen om baseline drift te kwantificeren onder gewone, operator-vrije omstandigheden. Het introduceert geen nieuwe stabilisatietechnieken of prompt engineering-methoden.

Experimentele Opzet

Geteste Modellen:
- gpt‑4o‑mini: Een kleiner model dat wordt geserveerd via een propriëtaire cloud API.
- llama3.1‑8b: Een open-weight model dat lokaal draait op een enkele NVIDIA A100 GPU met de vLLM engine.
Prompt Categorieën: Vijf verschillende categorieën werden gebruikt om gevoeligheid te testen:
1. Ondergespecificeerde samenvattingen
2. Ondergespecificeerd advies
3. Lichte beperkingen
4. Stijlprompts
5. Harde beperkingen
Prompting Modi:
1. Exacte Repetities: Identieke prompts die meerdere keren worden uitgevoerd.
2. Geperturde Inputs: Synoniemen en kleine lexicale wijzigingen geïntroduceerd terwijl de betekenis behouden blijft.
3. Hergebruik (Reuse): Vorige antwoorden die als input voor de volgende prompt worden teruggevoerd.
Parameters: Experimenten werden uitgevoerd bij temperaturen van 0.0 en 0.7.
Volume: Elke model/prompt-combinatie werd 30 keer uitgevoerd (gapfill dataset) of 20 keer (small battery). Runs met API-fouten of weigeringen (refusals) werden uitgesloten.

Metrieken

De studie vertrouwt op lexicale metrieken om een conservatieve ondergrens op de drift te bieden, in de wetenschap dat semantische metrieken nodig zijn voor diepere analyse maar gereserveerd zijn voor toekomstig werk.

Unique Output Fraction: De ratio van unieke antwoorden ten opzichte van het totaal aantal runs (benadering van de waarschijnlijkheid van een nieuw antwoord bij een tweede call).
Gemiddelde Pairwise Jaccard Similarity: Berekend op getokeniseerde outputs om de lexicale overlap te meten.
Woordenaantal Statistieken: Gemiddelde en standaarddeviatie van het aantal woorden over de runs heen.

Belangrijkste Resultaten

De experimenten toonden aan dat nondeterminisme persisteert, zelfs onder instellingen die theoretisch deterministisch zijn (Temperatuur 0.0).

Baseline Variabiliteit bij Temperatuur 0.0:
- gpt‑4o‑mini: Produceerde unieke outputs in ongeveer 24% van de runs (Unique Fraction = 0.24) met een gemiddelde Jaccard-gelijkenis van 0.89.
- llama3.1‑8b: Produceerde unieke outputs in ongeveer 9% van de runs (Unique Fraction = 0.09) met een gemiddelde Jaccard-gelijkenis van 0.97.
- Observatie: Het via API geserveerde model vertoonde ongeveer 2,5 keer meer variabiliteit dan het lokale open-weight model.
Impact van Perturbatie en Hergebruik:
- Geperturde Inputs: Verhoogde de variabiliteit aanzienlijk (gpt‑4o‑mini: 0.57; llama3.1‑8b: 0.27).
- Hergebruik Mode: Verminderde de variabiliteit vergeleken met exacte repetities (gpt‑4o‑mini: 0.20; llama3.1‑8b: 0.10).
Impact van Temperatuur (0.7):
- Het verhogen van de temperatuur naar 0.7 resulteerde in bijna volledige diversiteit. Bijna elke run leverde een nieuw antwoord op (Unique Fraction $\approx$ 1.0), en de lexicale gelijkenis daalde onder de 0.52 over alle modi heen.
Verschillen in Model en Deployment:
- Grotere modellen en via API geserveerde deployments vertoonden over het algemeen een hogere variantie. De studie suggereert dat een deel van de geobserveerde drift in API-omgevingen voortkomt uit de inference stack (verborgen optimalisaties, batching) in plaats van alleen de modelgewichten.

Belangrijkste Bijdragen

Systematische Kwantificering van Baseline Drift: Het paper biedt de eerste systematische, multi-mode meting van baseline gedragsdrift over twee verschillende deployment types (API vs. lokaal), vijf prompt categorieën en drie prompting modi.
Bewijs van Persisterend Nondeterminisme: Het demonstreert dat "deterministische" instellingen (Temperatuur 0.0) geen reproduceerbaarheid garanderen. Variabiliteitspatronen verschillen per modelgrootte, deployment methode en prompting modus.
Conceptueel Kader via Variantie-budgetten: Het paper contextualiseert deze metingen met behulp van het concept van een "variance budget" (analoog aan een error budget in reliability engineering). Dit frameert drift niet als een binaire fout, maar als een middelenallocatieprobleem waarbij applicaties moeten beslissen over acceptabele niveaus van variabiliteit (bijv. $\pm$ 5% voor financiële cijfers).
Scheiding van Meting en Controle: De studie maakt expliciet onderscheid tussen het meten van drift en het mitigeren ervan. Door een onbevooroordeelde baseline vast te stellen, voorkomt het de verwarring van meetruis met de effectiviteit van toekomstige stabilisatietechnieken.

Betekenis en Claims

Het paper positioneert zichzelf als een beschrijvende, fundamentele studie in plaats van een voorschrijvende oplossing. De betekenis ligt in:

Het Vaststellen van een Referentiepunt: Het biedt een noodzakelijke baseline waartegen toekomstige mitigatiestudies (bijv. prompt engineering, constrained decoding) kunnen worden vergeleken. Zonder deze baseline is het onmogelijk om te bepalen of een interventie de drift daadwerkelijk vermindert of deze slechts maskeert.
Het Benadrukken van Infrastructuur Effecten: De resultaten suggereren dat een aanzienlijk deel van de geobserveerde drift in productieomgevingen voortkomt uit de inference stack (API's, hardware, batching) in plaats van het model zelf.
Het Definiëren van de Limieten van Lexicale Metrieken: Hoewel de studie lexicale metrieken gebruikt voor interpreteerbaarheid, erkent het expliciet de beperkingen hiervan (bijv. het markeren van onschadelijke parafrasering als drift) en roept het op tot de integratie van semantische metrieken in toekomstig werk.
Implicaties voor Betrouwbaarheid: De bevindingen impliceren dat het vertrouwen op een enkele run van een LLM de worst-case prestaties kan verhullen. Het rapporteren van meerdere runs wordt aanbevolen om een volledig beeld van het gedrag van het model te geven.

De auteurs concluderen dat nondeterminisme een inherent kenmerk is van huidige LLM's, voortvloeiend uit zowel schaal als infrastructuur. Het begrijpen en kwantificeren van deze drift is een voorwaarde voor het verbeteren van de betrouwbaarheid van LLM's in multi-agent systemen en langdurige interacties.