The Illusion of Stochasticity in LLMs

Titel: De Illusie van Stochasticiteit in LLM's

Auteurs: Xiangming Gu, Soham De, Michalis Titsias, et al. (Google DeepMind & NUS)

---

1. Het Probleem

Naarmate Large Language Models (LLM's) steeds vaker worden ingezet als autonome agenten die interactie hebben met complexe omgevingen, is het noodzakelijk dat ze niet alleen optimale beleidsplannen kunnen afleiden, maar ook stochastisch kunnen handelen volgens deze beleidsplannen.

Het paper identificeert een fundamenteel tekortkoming: hoewel LLM's uitstekend zijn in het infereren van waarschijnlijkheidsverdelingen, falen ze erin om deze interne schattingen om te zetten in daadwerkelijke stochastische output.

• De "Knowing-Doing Gap": Een model kan de correcte verdeling begrijpen (bijvoorbeeld "elk antwoord heeft 25% kans"), maar faalt erin om een steekproef te trekken die daadwerkelijk aan die verdeling voldoet.
• Illusie van Stochasticiteit: De variabiliteit in de output van een LLM wordt vaak veroorzaakt door de inherente entropie van de logits en vooroordelen in de trainingsdata, in plaats van door een gecontroleerd stochastisch proces. Dit maakt agenten voorspelbaar en kwetsbaar in adversariale scenario's (bijvoorbeeld bij het genereren van meerkeuzevragen waar het juiste antwoord niet willekeurig moet worden geplaatst).

2. Methodologie

De auteurs hebben een rigoureuze empirische analyse uitgevoerd over meerdere model families (o.a. Gemini 2.5/3.0, Qwen3, OLMO-3), modelgroottes en prompt-technieken. De experimenten omvatten:

• Onafhankelijke Steekproeven: LLM's werden gevraagd om herhaaldelijk waarden te genereren uit specifieke verdelingen (uniform discreet, uniform continu, Gaussisch) zonder gebruik van externe tools.
• Statistische Toetsing: De gegenereerde datasets (N=1024) werden getest op hun overeenkomst met de doelverdeling met behulp van Chi-kwadraat-tests (voor discreet) en Kolmogorov-Smirnov-tests (voor continu).
• Variatie in Decoding: Invloed van parameters zoals temperatuur, top-p en top-k werd onderzocht.
• Sequential & Batched Sampling:
  • Sequential: Het gebruik van eerdere samples als context (met alle geschiedenis of alleen de laatste).
  • Batched: Het genereren van N waarden in één keer.
• Tool-Use en PRNG: Het laten genereren van Python-code om pseudorandom number generators (PRNG's) uit te voeren, inclusief het instellen van random seeds.
• Simulatie van PRNG: Het laten uitvoeren van deterministische algoritmen (zoals Lineaire Congruentiële Generatoren) door de LLM zelf, zonder code-executie, op basis van een gegeven seed.
• Distributie-conversie: Het omzetten van een bestaande willekeurige waarde (uit een uniforme [0,1] verdeling) naar een andere doelverdeling (bijv. Gaussisch) via deterministische transformaties.

3. Belangrijkste Bevindingen en Resultaten

A. Fundamentele Falen bij Directe Steekproeven

• Positieve en Distributie-voorkeuren: LLM's vertonen sterke voorkeuren voor specifieke waarden (bijv. het getal 7 of 42) of posities (bijv. het antwoord "C" in meerkeuzevragen).
• Statistische Significantie: Alle p-waarden in de Goodness-of-Fit-tests waren extreem laag (< 0.05), wat aantoont dat de gegenereerde verdelingen statistisch significant afwijken van de doelverdeling.
• Ongevoeligheid voor Parameters: Het aanpassen van decoding-parameters (zoals een zeer hoge temperatuur) of het uitschakelen van Chain-of-Thought (CoT) lost het probleem niet op; de bias blijft bestaan.

B. Sequential en Batched Sampling

• Sequential (met geschiedenis): Het gebruik van alle vorige samples als context leidt tot een redelijk betere benadering van een uniforme verdeling, maar introduceert nieuwe tijdsgebonden vooroordelen (bijv. een "afstotend" gedrag waarbij het model liever een ander getal kiest dan het vorige).
• Batched: Het genereren van een lange reeks getallen in één keer leidt vaak tot patronen (herhalingen) en het model faalt vaak in het genereren van het exacte aantal gevraagde getallen (kwaliteitsprobleem bij tellen).

C. Tool-Use en PRNG

• Code-executie: LLM's kunnen Python-code genereren om te sample, maar zonder expliciete instructie om een seed te gebruiken (bijv. op basis van de huidige tijd), initialiseren de sandbox-omgevingen vaak met een vaste seed, wat de output deterministisch maakt.
• Seed-beheer: Zelfs met instructies om een seed te gebruiken, falen kleinere modellen of modellen met minder sterke instructie-opvolging (zoals Gemini-2.5) soms.

D. Simulatie van PRNG (Zonder Tools)

• Uniforme Verdelingen: LLM's kunnen deterministische PRNG-algoritmen (zoals LCG) succesvol simuleren voor uniforme verdelingen, mits het model groot genoeg is (>4B parameters voor Qwen3). De nauwkeurigheid is hier >90%.
• Gaussische Verdelingen: Bij het simuleren van complexere transformaties (zoals Box-Muller voor Gaussische verdelingen) falen LLM's. Dit komt door rekenfouten bij het vermenigvuldigen van zeer grote getallen tijdens de iteratieve berekening van de PRNG-toestand.

E. Distributie-conversie (De Oplossing)

• Deterministische Conversie: Het meest veelbelovende resultaat is dat LLM's uitstekend presteren bij het converteren van een reeds gegenereerde willekeurige waarde (uit een uniforme [0,1] verdeling) naar een andere verdeling (bijv. Gaussisch of niet-uniform discreet).
• Mechanisme: De LLM voert hierbij een deterministisch algoritme uit (zoals inverse transform sampling of bucketization) op de inputwaarde.
• Emergentie: Dit vermogen is sterk afhankelijk van de modelgrootte. Grotere modellen (>14B voor Gaussisch) kunnen deze transformaties betrouwbaar uitvoeren, terwijl kleinere modellen falen.

4. Belangrijkste Bijdragen

1. Documentatie van een Fundamenteel Tekort: Het paper bewijst dat het vermogen van LLM's om stochastisch te handelen (een kernvereiste voor agenten) fundamenteel gebrekkig is bij directe steekproeven, ongeacht modelgrootte of prompt-techniek.
2. Onderscheid tussen Generatie en Conversie: Het paper maakt een cruciaal onderscheid: LLM's kunnen niet goed willekeurige getallen genereren, maar kunnen wel zeer goed conversies uitvoeren van bestaande willekeurige getallen naar doelverdelingen.
3. Analyse van Oorzaken: Het identificeert dat de fouten voortkomen uit de inability om interne entropie te controleren en rekenfouten bij complexe numerieke bewerkingen, in plaats van een gebrek aan conceptueel begrip van waarschijnlijkheid.

5. Betekenis en Implicaties

• Risico voor Agente Systemen: Voor agente systemen die afhankelijk zijn van echte exploratie (bijv. reinforcement learning, spelletjes, beveiliging) is de huidige "illusie van stochasticiteit" gevaarlijk omdat het gedrag voorspelbaar en uitbuitbaar is.
• Architecturale Aanbeveling: De auteurs concluderen dat LLM's niet als stateless random number generators moeten worden gebruikt. In plaats daarvan moet een pragmatische oplossing worden gezocht:
  • LLM's moeten worden gekoppeld aan een stateful sampler (een externe tool die de toestand bijhoudt tussen calls).
  • Of, LLM's moeten worden gebruikt voor de conversie van door externe systemen gegenereerde random seeds naar acties, in plaats van het genereren van de randomiteit zelf.
• Toekomstig Onderzoek: Het paper suggereert dat het leren van echte stochasticiteit via specifieke training (zoals voorgesteld in eerder werk) een mogelijke route is, maar dat huidige state-of-the-art modellen hier nog niet toe in staat zijn zonder externe hulp.

Conclusie: LLM's zijn uitstekende "denkers" die verdelingen begrijpen, maar slechte "uitvoerders" van stochastische processen. De oplossing ligt in het koppelen van LLM's aan betrouwbare, stateful random number generators of het gebruik van LLM's uitsluitend voor de deterministische transformatie van externe random inputs.