💬 NLP

Correcting Prompt Dependence in LLM Benchmarks: A Bayesian Hierarchical Model with Embedding-Space Clustering

Dit artikel stelt een correctief Bayesiaans hiërarchisch model met clustering in de embeddingruimte voor om de beperkingen van klassieke inferentie en prompt-afhankelijkheid bij het benchmarken van LLM's aan te pakken, waardoor robuustere prestatie-indicatoren worden geleverd en fouten in situaties met beperkte gegevens aanzienlijk worden verminderd.

Oorspronkelijke auteurs: Mary Llewellyn, Isobel Thornton, James Bishop, Annie Gray

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mary Llewellyn, Isobel Thornton, James Bishop, Annie Gray

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te beoordelen hoe goed een nieuwe chef kok is. Je vraat hem om 100 verschillende gerechten te koken. Als je simpelweg telt hoeveel gerechten perfect uit de keuken kwamen en dit door 100 deelt, krijg je een "succespercentage".

Maar hier is de crux: wat als die 100 gerechten eigenlijk niet 100 verschillende uitdagingen waren? Wat als 50 van hen slechts lichte variaties waren van hetzelfde pastarecept, en de andere 50 slechts lichte variaties van hetzelfde soeprecept?

Als de chef geweldig is in pasta maar verschrikkelijk in soep, is je simpele "100 gerechten"-score misleidend. Je bent niet 100 onafhankelijke vaardigheden aan het testen; je test twee vaardigheden, elk 50 keer. De wiskunde die je gebruikte om de score te berekenen, gaat ervan uit dat elk gerecht een totaal nieuwe, ongerelateerde test is. Wanneer die aanname onjuist is, is je score onjuist, en is je vertrouwen in die score vals.

Dit is precies het probleem waar het artikel "Correcting Prompt Dependence in LLM Benchmarks" zich mee bezighoudt.

Het Probleem: De "Fake Independence" Valstrik

Large Language Models (LLM's) worden vaak getest met behulp van "benchmarks" — lijsten met vragen of prompts. De standaardmanier om prestaties te meten is door elke individuele prompt te behandelen als een onafhankelijke gebeurtenis, zoals het 1.000 keer opgooien van een munt.

De auteurs stellen dat dit een leugen is. In werkelijkheid zijn prompts in deze tests vaak geclusterd.

De Metafoor: Stel je een test voor waarbij 10 vragen allemaal gaan over "hoe je een taart bakt", en een andere 10 over "hoe je een auto repareert".
De Realiteit: Als de AI weet hoe je een taart bakt, zal hij waarschijnlijk alle 10 de taartvragen goed hebben. Als hij faalt, faalt hij waarschijnlijk bij álle 10. Deze vragen zijn niet onafhankelijk; ze zijn "afhankelijk" van dezelfde onderliggende vaardigheid.
Het Gevolg: De standaardwiskunde denkt dat je 20 onafhankelijke datapunten hebt. De auteurs laten zien dat je er misschien maar 2 hebt (één voor taart, één voor auto). Dit laat de AI veel beter of veel slechter lijken dan hij in werkelijkheid is, en het maakt de "foutmarges" (de onzekerheid) minuscuul klein wanneer ze juist enorm zouden moeten zijn.

De Oplossing: De "Groeperings"-Detective

De auteurs stellen een nieuwe manier voor om de wiskunde te doen, genaamd BHM-ESC (Bayesian Hierarchical Model with Embedding-Space Clustering).

Zo werkt het, met behulp van een eenvoudige analogie:

De "Woordwolk"-kaart (Embedding Space):
Eerst vertaalt het model elke vraag naar een punt op een enorme kaart. Vragen die qua betekenis vergelijkbaar zijn (zoals "Hoe bak ik een taart?" en "Wat is een goed taartrecept?") landen vlak naast elkaar. Vragen over auto's landen ver weg.
Het vinden van de clusters:
In plaats van te gokken hoeveel groepen er zijn, werkt het model als een detective die naar de kaart kijigt. Het vraagt: "Hoeveel verschillende wijken van vragen zijn er?" Het heeft geen mens nodig om te zeggen: "Er zijn 5 groepen." Het ontdekt het aantal groepen automatisch op basis van hoe de vragen bij elkaar gepakt zijn.
De "Teamkapitein"-aanpak (Hierarchical Modeling):
Zodra de groepen zijn gevonden, stopt het model met het behandelen van elke vraag als een solo-optreden.

Het behandelt de "Taartwijk" als één team. Het vraagt: "Hoe goed is de AI bij het Taartteam?"
Het behandelt de "Auto-wijk" als een ander team.
Het middelt vervolgens de prestaties van deze teams om de uiteindelijke score te krijgen.

Waarom dit ertoe doet (De Resultaten)

De auteurs testten dit op "adversarial" benchmarks (tests die ontworpen zijn om de AI te misleiden om slecht dingen te doen, zoals veiligheidsregels te breken). Ze vergeleken hun nieuwe methode met de oude, standaardmethoden.

De Oude Manier: Zegde dat de AI zeer consistent en zelfverzekerd was.
De Nieuwe Manier: Zegde: "Wacht even, je hebt eigenlijk maar een paar verschillende soorten trucjes getest. Je zelfvertrouwen is overdreven."

Specifieke bevindingen van het artikel:

Betere Nauwkeurigheid: Door de wiskunde te corrigeren om rekening te houden met deze "clusters" van vergelijkbare vragen, daalde de fout in hun prestatieschattingen aanzienlijk (met 4% tot 73%).
Echte Zelfverzekerdheid: De nieuwe methode gaf veel eerlijkere "onzekerheidsmarges". De oude methode beweerde vaak 100% zeker te zijn, terwijl hij eigenlijk aan het gokken was.
Overschatting: De standaardmethoden overschatten het aantal werkelijk onafhankelijke tests met een factor 1,3 tot 5,6. Met andere woorden: als een test 100 vragen had, dacht de oude wiskunde dat het 100 unieke tests waren, maar de nieuwe wiskunde besefte dat het er slechts 20 tot 80 waren.

De Kern van het Verhaal

Het artikel beweert niet dat dit de AI-veiligheid zal oplossen of de AI slimmer zal maken. Het zegt simpelweg: Stop met het tellen van vragen alsof ze allemaal verschillend zijn, als dat niet zo is.

Door een statistische methode te gebruiken die vergelijkbare vragen samenvoegt en de groepen telt in plaats van de individuen, krijgen we een veel waarheidsgetrouwer beeld van hoe een AI daadwerkelijk presteert. Het is het verschil tussen een student beoordelen op 100 kopieën van dezelfde wiskundige som versus het beoordelen op 100 verschillende concepten. De nieuwe methode zorgt ervoor dat we niet worden misleid door herhaling.

Technische Samenvatting: Het corrigeren van prompt-afhankelijkheid in LLM-benchmarks

Probleemstelling

Huidige praktijken voor het benchmarken van Large Language Models (LLM's) geven vaak onjuiste prestatie-indicatoren en onzekerheidsschattingen weer vanwege twee kritieke, vaak niet nageleefde aannames:

Voldoende data voor klassieke inferentie: De aanname dat steekproefomvang groot genoeg is om te vertrouwen op op de Centrale Limietstelling (CLT) gebaseerde inferentie (bijv. Wald-betrouwbaarheidsintervallen) wordt vaak geschonden door computationele beperkingen, wat leidt tot onbetrouwbare steekproefgemiddelden en p-waarden.
Prompt-onafhankelijkheid: Standaardmetrieken gaan ervan uit dat testprompts onafhankelijk zijn en ze even zwaar wegen. Echter, empirisch bewijs suggereert dat prompts binnen benchmarks vaak semantische gelijkenis en gedeelde faalmodi vertonen, wat afhankelijkheden creëert. Deze "prompt-afhankelijkheid" vermindert het effectieve aantal onafhankelijke steekproeven, waardoor standaardmethoden de effectieve steekproefomvang overschatten en misgekalibreerde onzekerheid produceren.

Methodologie: Bayesian Hierarchical Model met Embedding-Space Clustering (BHM-ESC)

Om deze problemen aan te pakken, stellen de auteurs een corrigerend Bayesian Hierarchical Model met Embedding-Space Clustering (BHM-ESC) voor. De aanpak werkt als volgt:

Semantische Clustering: In plaats van te vertrouwen op vooraf gedefinieerde taaklabels, behandelt het model het aantal semantische clusters ( $S$ ) als een onbekende willekeurige variabele. Het maakt gebruik van een prior-distributie (specifiek een Binomiale distributie afgekapt bij $n$ ) om $S$ direct uit de data te extraheren.
Partitionering van de Embedding-ruimte: Prompt-embeddings worden gegenereerd met behulp van een Sentence Transformer (bijv. all-MiniLM-L6-v2). Agglomeratieve cosinus-gelijkenis clustering wordt toegepast om de prompts te partitioneren in $S$ disjuncte clusters op basis van semantische nabijheid.
Hiërarchische Modellering:
- Binnen elk cluster $k$ wordt ervan uitgegaan dat prompts een gemeenschappelijke taak-succeskans $p_k$ delen.
- $p_k$ wordt gemodelleerd met een uniforme Beta(1, 1) prior.
- De geobserveerde successen $x_i$ voor prompt $i$ (over $m$ runs) volgen een Binomiale distributie: $x_i | p_k \sim \text{Binomial}(m, p_k)$ .
- De algehele benchmarkprestatie $\bar{p}$ wordt gemodelleerd als een evenredig gewogen mengeling van de cluster-specifieke waarschijnlijkheden, waarbij de variabiliteit effectief wordt gepoold op topical niveau.
Inferentie via Importance Sampling: Omdat de posterior-distributies geen gesloten vorm hebben, gebruiken de auteurs een importance sampling-schema. Ze trekken samples van $S$ uit de prior, bepalen de cluster-partitie, trekken samples van $p_{1:S}$ uit de tractabele conditionele posteriors, en berekenen de importance weights op basis van de marginale likelihood $\pi(x_{1:n} | S)$ . Dit levert gewogen samples op die de posterior-distributies van prestatiemetrieken en cluster-aantallen benaderen.

Belangrijkste Bijdragen

Empirisch Bewijs van Afhankelijkheid: Het artikel levert kwantitatief bewijs (via Hopkins-statistieken en UMAP-visualisaties) dat populaire benchmarks (inclusief MMLU, GSM8K, HarmBench en Garak) een significante clusteringstructuur vertonen, wat de onafhankelijkheidsaanname schendt.
Een Geprincipeerd Correctiekader: Het BHM-ESC-model houdt expliciet rekening met inter-prompt afhankelijkheid zonder dat daarvoor vooraf gedefinieerde clusterlabels of taakmetadata nodig zijn. Het leert de clusterstructuur direct uit embeddings.
Robuustheid bij Beperkte Data: De aanpak is ontworpen voor scenario's met beperkte data waarin CLT-gebaseerde methoden falen, waardoor gekalibreerde posterior onzekerheidsschattingen worden geleverd.
Interne Validiteit: De afgeleide clusterstructuren komen overeen met menselijke oordelen over semantische gelijkenis en onafhankelijkheid, zoals geverifieerd door Posterior Similarity Matrices (PSMs) en vergelijking met "oracle" baselines met grondwaarheid-labels.

Resultaten

De auteurs evalueerden BHM-ESC op benchmarks voor adversariële robuustheid (Garak-subsets: ANSI Escape, Repeat, Latent Injection, JavaScript) met behulp van twee LLM-architecturen (Pythia-2.8B en Mamba-2.8B).

Prestatieverbeteringen: Vergeleken met baselines (naïeve frequentistische, Bayesian modellen zonder clustering, en Bayesian modellen met een vaste $S=1$ $S = 1$ of $S=n$ $S = n$ ), bereikte BHM-ESC:
- Een reductie van 4–73% in de Mean Absolute Errors (MAE) voor posterior predictieve gemiddelden.
- Een verbetering van 20–450 eenheden in de Expected Log Posterior Density (ELPD), wat wijst op een superieure modelpassing en onzekerheidskwantificering.
Correctie van de Effectieve Steekproefomvang: Het model toonde aan dat baseline-benaderingen de effectieve omvang van onafhankelijke steekproeven systematisch overschatten met factoren van 1.3 tot 5.6 keer. BHM-ESC identificeerde correct de verminderde effectieve steekproefomvang ( $S$ ) ten opzichte van het nominale aantal prompts ( $n$ ).
Impact op Conclusies: De gecorrigeerde metrieken veranderden de prestatievergelijkingen materieel. Zo suggereerde BHM-ESC dat de robuustheid tegen ANSI-aanvallen homogener en zekerder was dan door naïeve baselines werd aangegeven.
Embedding-Agnosticisme: De prestatieverbeteringen waren consistent over verschillende embedding-methoden (Sentence Transformers versus TF-IDF), wat suggereert dat de winst voortkomt uit structurele herstelwerking in plaats van specifieke embedding-artefacten.

Betekenis en Claims

Het artikel claimt dat prompt-afhankelijkheid een systematisch probleem is in LLM-benchmarking dat bias introduceert in samenvattende statistieken en onzekerheidsschattingen. Door het aantal clusters als onbekend te behandelen en de structuur direct uit embeddings te leren, biedt BHM-ESC een benchmark-agnostische oplossing die:

Clusteringstructuren herstelt die consistent zijn met menselijke intuïtie.
Gekalibreerde onzekerheidsschattingen biedt in situaties met schaarse data waar traditionele statistische methoden ongeldig zijn.
Overmatige zelfverzekerdheid in statistische conclusies voorkomt die voortkomt uit het behandelen van semantisch gelijkaardige prompts als onafhankelijke datapunten.

De auteurs merken op dat hoewel deze aanpak de nauwkeurigheid van de schatting verbetert, het geen uitputtende of gebalanceerde taakdekking vereist om gekalibreerde schattingen te produceren, aange wellicht de afhankelijkheid automatisch wordt afgeleid en gecorrigeerd. Toekomstig werk zou de aanname van identieke succeswaarschijnlijkheden binnen clusters kunnen versoepelen of de methode naar multi-turn benchmarks kunnen uitbreiden.