The Dice Roll Method: A StandardizedProtocol for Measuring Stochastic Bias in Large Language Model Output

Technische Samenvatting: De Dice Roll Method voor het Meten van Stochastische Bias in LLM's

Probleemstelling
Onderzoekers vertrouwen steeds vaker op herhaalde identieke prompts om de stochastische bias in Large Language Model (LLM) outputs te meten. Het vakgebied ontbeert echter een gestandaardiseerd protocol voor het bepalen van adequate iteratie-aantallen, het selecteren van geschikte stabiliteitsmetrieken of het vaststellen van betrouwbaarheidsdrempels. Bestaande studies vertrouwen vaak op ad-hoc iteratie-aantallen (variërend van 5 tot 40) en statistische aannames die de aard van autoregressieve tekstgeneratie schenden. Specifiek behandelen bestaande benaderingen herhaalde queries vaak als onafhankelijke, identiek verdeelde (i.i.d.) Gaussische trekkingen, waarbij de conditionele afhankelijkheden van token-generatie, de overgedispergeerde en zero-inflated aard van telgegevens (bijv. merkvermeldingen) en potentiële temporele drift in model-snapshots worden genegeerd. Dit artikel adresseert deze hiaten door de "Dice Roll Method" te formaliseren als een rigoureus, gestandaardiseerd auditprotocol, geworteld in de generatieve mechanica van temperature-scaled nucleus sampling.

Methodologie
Het artikel stelt een herziene analytische stack voor die parametrische, normale theorie-aannames vervangt door een conditioneel, non-parametrisch, mixed-model framework. De belangrijkste methodologische componenten zijn:

• Generatief Model & Variantie-decompositie: Het protocol is verankerd in een expliciet model van temperature-scaled nucleus sampling. De totale respons-variantie wordt gedecomposeerd in vier componenten: token-niveau variantie ($\sigma^2_{tok}$), prompt-formulering ($\sigma^2_P$), modelverschillen ($\sigma^2_M$), en modelversie/temporele drift ($\sigma^2_{V,T}$).
• Inferentieel Framework:
  • Modellering: Vervangt onafhankelijke steekproef t-testen door een Negative-Binomial Generalized Linear Mixed Model (GLMM). Dit houdt rekening met overdispersie in telgegevens en behandelt iteraties als herhaalde metingen genest binnen prompts en modellen.
  • Effectgroottes: Vervangt Cohen's $d$ door Cliff's $\delta$ (en rank-biseriale correlatie) als de primaire distributievrije effectgrootte, robuust tegen scheefheid en zware staarten.
  • Resampling: Vervangt gewone bootstrap door moving-block bootstrap (om conditionele afhankelijkheid te behouden) en parametrische bootstrap (voor coëfficiënt-onzekerheid in GLMM's).
  • Power Analyse: Vervangt klassieke power-tabellen door simulatie-gebaseerde power analyse met behulp van de simr-procedure, die de specifieke GLMM-structuur op de data past.
• Betrouwbaarheid & Drift:
  • Generalizability Theory (G-theorie): Gebruikt G-studies en D-studies om variantie te decomponeren over prompt-, iteratie- en modelfacetten, waarbij generaliseerbaarheidscoëfficiënten ($G$) voor verschillende iteratie-aantallen worden geprojecteerd.
  • Stationariteit: Implementeert expliciete drift-diagnostiek met behulp van Kolmogorov–Smirnov (KS) testen op continue metrieken en de Population Stability Index (PSI) op discrete tellingen over disjuncte tijdsvensters.
• Metrieken-batterij: Organiseert stabiliteitsmetrieken in vier families (volume, set-compositie, distributieve vorm, semantische consistentie) en introduceert PASOR (Prompt-Adjusted Share of Recommendation) voor eerlijkheids-gecorrigeerde zichtbaarheid. Semantische consistentie wordt gemeten via een ensemble van drie embedding-modellen om variantie te propageren.

Belangrijkste Resultaten
De auteurs hebben de ruwe data van vijf empirische studies (ca. 190.000 observaties over drie tot vijf LLM's, 270+ merken en 6 talen) opnieuw geanalyseerd onder deze herziene stack:

• Iteratie-richtlijnen: Drie niveaus van iteratie-aantallen zijn vastgesteld op basis van Generalizability Theory D-studies:
  • Exploratief ($n=5$): $G \approx 0.58$. Adequaat voor descriptieve rapportage van zeer grote effecten.
  • Confirmatief ($n=10$): $G \approx 0.74$. Aanbevolen standaard voor de meeste audits; ondersteunt inferentie op grote effecten.
  • Rigoureus ($n=15$): $G \approx 0.81$. Overschrijdt de $0.80$ groepsniveau beslissingsdrempel; ondersteunt detectie van medium effecten.
• Convergentie: Block-bootstrap analyse toont een patroon van verminderende meeropbrengst. Ongeveer 77,5% van de asymptotische precisie wordt bereikt bij $n=7$, en 94,4% bij $n=8-9$. De trajectorie komt overeen met een power-law ($n^{-0.5}$) in plaats van een puur logaritmische afname.
• Metrieken Orthogonaliteit: Op de geteste "Valentine's Day" subset, vielen structurele tellingsgebaseerde metrieken (CV, Gini, Shannon) samen in een enkele dominante dimensie ($|r| > 0.97$). Echter, het artikel pleit voor een parsimonieuze drietal-metriek kern: één structurele metriek (Gini of CV), semantische consistentie (cosine similarity via embedding ensemble), en eerlijkheids-gecorrigeerde zichtbaarheid (PASOR-Gini).
• Validatie van Effectgrootte: Heranalyse van genderbias-effecten toonde aan dat terwijl sommige effecten (bijv. Grok, $\delta \approx 0.26$) detecteerbaar waren, andere (bijv. GPT, $\delta \approx 0.18$) hogere iteratie-aantallen vereisten voor confirmatieve kracht. Het gebruik van Cliff's $\delta$ met BCa bootstrap-intervallen leverde eerlijkere onzekerheidsschattingen op dan eerdere Cohen's $d$ berekeningen.
• Drift & Kosten: Drift-diagnostiek gaf aan dat stationariteit standhoudt voor korte verzamelvensters (bijv. 2 weken), maar monitoring vereist in langere studies. Kosten-efficiëntie analyse suggereert dat het verhogen van iteraties van 5 naar 10 substantiële winst in power oplevert voor een marginale kostenstijging (bijv. ~$18.75 voor een 250-query studie).

Betekenis en Claims
Het artikel claimt het eerste statistisch gefundeerde protocol te bieden voor het auditeren van stochastisch LLM-gedrag dat rekening houdt met de conditionele afhankelijkheden en non-Gaussische distributies die inherent zijn aan autoregressieve generatie. De primaire bijdragen zijn:

1. Formalisering: Het funderen van de Dice Roll Method in een expliciet generatief model van nucleus sampling.
2. Statistische Rigor: Het vervangen van gebrekkige normale theorie-aannames door een GLMM-gebaseerde stack die omgaat met overdispersie en afhankelijkheid.
3. Empirische Richting: Het bieden van datagedreven iteratie-drempels (5, 10, 15) gekoppeld aan generaliseerbaarheidscoëfficiënten in plaats van willekeurige budgetbeperkingen.
4. Reproduceerbaarheid: Het aanbieden van een volledige, open-source Python-implementatie (inclusief glmmTMB, simr, en drift-diagnostiek) om toekomstige LLM-audits te standaardiseren.

De auteurs benadrukken dat dit protocol eerdere bevindingen niet ongeldig maakt, maar hun interpretatie verfijnt, met name wat betreft de statistische kracht van studies met lage iteratie-aantallen ($n=5$) en de noodzaak van het rapporteren van distributievrije effectgroottes en drift-diagnostiek. Het protocol wordt gepresenteerd als een instrument voor onderzoekers, auditors en regelgevers om de bewijskracht van AI-bias onderzoek te waarborgen.