💻 computer science

ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

Dit artikel introduceert Errorquake-10k, een uitgebreide benchmark die aantoont dat open-weight grote taalmodellen zelfs bij gelijkwaardige nauwkeurigheidsniveaus duidelijke zware staartverdelingen van foutenseriteit vertonen, wat bewijst dat deze ernstprofielen cruciale, niet-redundante informatie bieden over de betrouwbaarheid van modellen die scalaire foutenpercentages niet kunnen vatten.

Oorspronkelijke auteurs: Jason Z Wang

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jason Z Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team assistenten inhuurt om rapporten te schrijven voor je bedrijf. Je gebruikt een standaardtest: je stelt ze 10.000 vragen en telt hoe vaak ze het antwoord fout hebben.

In de wereld van AI wordt dit de foutmarge genoemd. Als Assistent A 58% van de antwoorden fout heeft en Assistent B ook 58% fout heeft, zegt het standaardrapport: "Ze zijn even slecht."

Dit artikel betoogt dat dit rapport gevaarlijk misleidend is.

De auteurs, Jason Z Wang en collega's, introduceren een nieuwe manier om naar fouten te kijken: ERRORQUAKE. Zij stellen dat niet alle fouten gelijk zijn. Een verkeerde datum is een "krasje op een vingernagel", maar een volledig verzonnen rechtspraak die iemand de gevangenis in kan sturen, is een "gebouweninstorting". Beiden tellen als "één fout" in het oude systeem, maar de gevolgen zijn werelden van verschil.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De Aardbeving-analogie (Het kernidee)

De auteurs lenen een concept uit de seismologie (de studie van aardbevingen). Seismologen weten dat aardbevingen een specifiek patroon volgen: er zijn veel kleine trillingen, minder middelgrote en zeer weinig massieve, catastrofale bevingen. Ze gebruiken een getal genaamd de $b$ -waarde om dit patroon te beschrijven.

Hoge $b$ -waarde: Veel kleine, irritante trillingen, maar bijna geen grote rampen. (Denk aan: een model dat veel kleine typefouten of kleine feitelijke slips maakt).
Lage $b$ -waarde: Minder totale fouten, maar de fouten die optreden zijn disproportioneel groot en catastrofaal. (Denk aan: een model dat meestal stil is, maar wanneer het spreekt, verzint het een valse wet of een valse wetenschappelijke ontdekking).

De ontdekking: De auteurs testten 21 verschillende open-source AI-modellen. Ze ontdekten dat zelfs wanneer twee modellen exact dezelfde foutmarge hadden (bijv. beide waren 58,6% fout), hun $b$ -waarden totaal verschillend waren.

Voorbeeld: Het ene model (DeepSeek-V3.2) had een "lage $b$ -waarde", wat betekende dat de fouten een 'heavy-tail' (zware staart) hadden (zeldzaam maar catastrofaal). Een ander model (Ministral-14B) had een "hoge $b$ -waarde", wat betekende dat de fouten lichter en minder gevaarlijk waren.
De les: Je kunt de veiligheid van een model niet beoordelen door alleen te tellen hoe vaak het faalt. Je moet kijken naar hoe erg het faalt wanneer het dat doet.

2. De waarschuwing van de "Heavy-Tailed" verdeling

Het papier noemt deze gevaarlijke patronen "heavy-tailed error distributions" (verdelingen met een zware staart).
Stel je een zak met knikkers voor.

Normale verdeling: De meeste knikkers zijn even groot.
Heavy-tailed verdeling: De meeste knikkers zijn piepkleine steentjes, maar verborgen in de zak zitten een paar gigantische rotsblokken. Als je alleen het "aantal knikkers" telt, mis je het feit dat één van hen je voet kan verbrijzelen.

De auteurs ontdekten dat grotere, krachtigere AI-modellen (de "dense" modellen) juist de neiging hebben tot zwaardere staarten.

De paradox: Naarmate modellen groter worden, maken ze minder kleine fouten (zoals typefouten of kleine slips). Echter, de fouten die ze wel maken, zijn eerder zelfverzekerde, uitgebreide leugens (fabricaties).
Analogie: Een klein kind kan vaak struikelen en vallen (veel kleine fouten). Een reus kan urenlang perfect lopen, maar als hij struikelt, slaat hij een huis omver (minder fouten, maar catastrofaal).

3. De "Seismometer" versus de "Clicker"

Huidige benchmarks zijn als een clicker: ze klikken simpelweg "Fout" elke keer dat een model een fout maakt.
De auteurs bouwden een nieuw hulpmiddel, ERRORQUAKE-10K, dat werkt als een seismometer.

In plaats van alleen "Fout" te klikken, beoordeelt het de fout op een schaal van 0 tot 4.
- 0: Perfect.
- 0,5–1,0: Een kleine slip (bijv. "De vergadering is om 14:00 uur" in plaats van 15:00 uur).
- 2,0–3,0: Een serieuze fout die een lezer kan misleiden.
- 3,5–4,0: Een volledige fabricatie (bijv. "De vergadering werd gehouden in een parallel universum").
Ze testten dit met menselijke experts en vonden dat mensen en AI-beoordelaars goed overeenkwamen in deze beoordelingen.

4. Waarom is dit belangrijk? (Het mechanisme)

Het artikel duikt in waarom deze zware staarten voorkomen. Ze ontdekten een verschuiving in het type fout naarmate de ernst toeneemt:

Lage ernst: Fouten zijn meestal opzoekfouten (het model is een feit vergeten of heeft het verkeerde getal opgezocht).
Hoge ernst: Fouten zijn meestal fabricaties (het model heeft zelfverzekerd iets verzonnen dat nooit heeft plaatsgevonden).

Cruciaal is dat grotere modellen gevoeliger zijn voor deze hoog-ernstige fabricaties. Naarmate modellen groter worden, worden ze beter in het onthouden van feiten (minder opzoekfouten), maar lijken ze ook beter te worden in het geloofwaardig "hallucineren" van leugens wanneer ze het antwoord niet weten.

5. De conclusie

Het artikel concludeert dat de industrie moet stoppen met alleen de "foutmarge" te rapporteren (de telling van de clicker).

Oude manier: "Model A en Model B zijn beide 58% fout."
Nieuwe manier: "Model A en Model B zijn beide 58% fout, maar Model A is als een tijdbom (heavy tail), terwijl Model B gewoon een lawaaierige buurman is (light tail)."

De aanbeveling: Wanneer je ook maar rapporteert hoe vaak een AI fouten maakt, moet je ook de ernstverdeling (de $b$ -waarde) rapporteren. Het vertelt je of het model gevoelig is voor irritante slips of catastrofale leugens, informatie die de eenvoudige foutmarge volledig verbergt.

Wat het artikel NIET beweert:

Het zegt niet dat deze modellen "veilig" of "onveilig" zijn voor specifieke praktijksituaties (zoals geneeskunde of rechtspraak) zonder verdere tests.
Het beweert niet dat grotere modellen totaal gezien slechter zijn; ze zijn alleen anders in hoe ze falen.
Het biedt geen oplossing voor dit probleem, alleen een manier om het te meten.

Technische Samenvatting: ERRORQUAKE: Zware staarten in de verdeling van fouterniveaus bij Open-Weight Large Language Models

1. Probleemstelling

Standaard benchmarks voor hallucinaties (bijv. TruthfulQA, HaluEval) reduceren de prestaties van een model tot een enkele scalaire foutenratio ( $\varepsilon$ ), waarbij alle fouten als gelijk worden behandend. Deze benadering negeert een cruciale dimensie van modelfalen: de ernst van de fout. Een model dat een verkeerde publicatiedatum citeert en een model dat een volledige juridische opinie verzint, dragen beide één telling bij aan $\varepsilon$ , terwijl hun downstream-gevolgen orders van grootte verschillen.

Het artikel betoogt dat open-weight Large Language Models (LLM's) bij een gelijkblijvende nauwkeurigheid substantiële verschillen vertonen in de vorm van hun fouten-ernstverdeling. Specifiek varieert het "staartgedrag" (de frequentie van catastrofale fouten ten opzichte van kleine versprekingen) aanzienlijk tussen modellen, een eigenschap die onzichtbaar is voor scalaire foutenratio's. Geïnspireerd door de seismologie, stellen de auteurs voor om dit staartgedrag te karakteriseren met behulp van de helling $b$ van de Gutenberg–Richter magnitude-frequentieverhouding: $\log_{10} N(M \ge m) = a - b m$ . Een kleine $b$ duidt op weinig fouten maar wel catastrofale; een grote $b$ duidt op veel kleine fouten met een begrensde ernst.

2. Methodologie

2.1 De ERRORQUAKE-10K Benchmark

De auteurs introduceren ERRORQUAKE-10K, een benchmark bestaande uit 10.000 queries verdeeld over 8 domeinen (BIO, LAW, HIST, GEO, SCI, TECH, FIN, CULT) en 5 moeilijkheidsgraden (T1–T5).

Structuur: 1.250 queries per domein; T1–T2 zijn eenvoudige feitelijke vragen, terwijl T4–T5 valstrikken bevatten die ontworpen zijn om zelfverzekerde fabricaties uit te lokken.
Geëvalueerde Modellen: 21 open-weight instructie-getunede modellen (3B tot ~37B actieve parameters) uit 10 families, inclusclusief dense en MoE-architecturen.

2.2 Ernst-score schaal

Reacties worden gescoord op een continue 0.0–4.0 schaal (gekwantiseerd in stappen van 0,5, 9 niveaus):

0.0: Correct.
0.5–1.0: Imprecisies die de essentie behouden.
1.5–2.0: Matige feitelijke fouten.
2.5–3.0: Substantiële fouten die een typische lezer kunnen misleiden.
3.5–4.0: Fabricatie (zelfverzekerde bewering van verzonnen informatie).

2.3 Evaluatie Pipeline

Dual-Judge Systeem: Elke reactie wordt gescoord door twee judges uit een pool van 8 modellen die via een round-robin systeem draaien (exclusief het doelmodel).
Aggregatie: De definitieve score is het gemiddelde als de judges binnen een marge van 1,0 overeenstemmen; anders wordt een mediaan-van-drie met een tiebreaker gebruikt.
Menselijke Validatie: Een gestratificeerde steekproef van 519 items werd gescoord door drie expert-menselijke raters om de LLM-judge pipeline te valideren.
- Betrouwbaarheid: De menselijke inter-rater betrouwbaarheid is uitstekend (ICC(2, k=3) = 0,85).
- Correlatie: Menselijke ernst-rangschikkingen correleren sterk met LLM-judge rangschikkingen ( $\rho = 0,89$ ).
- Overcall Rate: LLM-judges overschatten de ernst (score 2.0) in 33,5% van de gevallen, vergeleken met 13,7% voor mensen.

2.4 Statistische Analyse

Distributie Fitting: Vijf kandidaat-families (discrete power law, truncated power law, exponentieel, stretched exponential, lognormal) worden gefit op de strikt positieve scores.
Parameter Schatting: De ernst-distributie-index ( $b$ ) wordt geschat met de Aki-formule met een discretie-correctie op de grid-gekwantiseerde scores.
Betrouwbaarheidsintervallen: 95% percentile bootstraps (2.000 resamples) worden gebruikt om de betrouwbaarheidsintervallen voor $b$ te bepalen.

3. Belangrijkste Bijdragen

Niet-reducibiliteitstelling (C1): Een theoretisch bewijs dat het ernstprofiel ( $b$ ) en de foutenratio ( $\varepsilon$ ) informatieel niet-redundant zijn. Empirisch gezien is $I(b; \text{model} \mid \varepsilon) = 1,56$ bits, wat betekent dat 64,5% van de variantie in $b$ over de modellen heen niet verklaard wordt door $\varepsilon$ .
Gelijkblijvende Nauwkeurigheid Discriminator (C3): De primaire empirische bevinding dat $b$ modellen onderscheidt, zelfs wanneer hun foutenratio's identiek zijn.
Mechanisme Taxonomie van Ernst (C4): Een 6-categorie classificatie (retrieval, fabrication, amplification, reasoning, format, metacognitive) die laat zien dat mechanismen van fouten verschuiven met de ernst.
Scaling Correlatie (C5): Een analyse van de relatie tussen modelgrootte en de vorm van de fouten-staart.
Resource Release (C7): De release van de ERRORQUAKE-10K benchmark, scoring toolkit en analysecode.

4. Belangrijkste Resultaten

4.1 Discriminatie bij Gelijkblijvende Nauwkeurigheid

Over 210 paren van de 21 modellen hebben 85 paren disjuncte 9wes 95% betrouwbaarheidsintervallen voor $b$ wanneer hun foutenratio's gematcht zijn ( $|\Delta\varepsilon| < 0,05$ ) op basis van menselijke consensus-scoring.

Voorbeeld: DEEPSEEK-V3.2 en MINISTRAL-14B hebben identieke foutenratio's ( $\varepsilon = 0,586$ ) maar significant verschillende staarthellingen ( $\Delta b = 0,47$ ).
Robuustheid: Dit resultaat blijft standhouden bij cross-domain jackknifes, verschillende judge-aggregatieregels en subsets met een hoge dual-judge dekking.

4.2 Karakterisering van de Distributie

Zware Staarten (Heavy-Tailed Nature): 17 van de 21 modellen worden het best beschreven door niet-exponentiële families (stretched exponential of truncated power law), wat de aanwezigheid van "zware staarten" (langzamere afname dan exponentieel) op de discrete ernst-grid bevestigt.
Operationele Definitie: "Heavy-tailed" betekent hier dat de BIC-beste familie niet-exponentieel is of dat de resterende massa in de hogere bins ( $M \ge 2,5$ ) groter is dan een exponentiële fit voorspelt.

4.3 Scaling Correlatie

Dense Modellen: Er is een negatieve correlatie tussen modelgrootte (log actieve parameters) en de $b$ -waarde ( $\rho_s = -0,86$ op menselijke data).
Interpretatie: Grotere dense modellen maken minder kleine versprekingen (steilere bulk-afname) maar een relatief hoger deel aan catastrofale fabricaties (ondiepere bovenstaart).
Opmerking: Deze correlatie is specifiek voor de helling van de bovenstaart; de bulk-afname beweegt in de tegenovergestelde richting.

4.4 Mechanisme Taxonomie

Ernst Verschuiving: Lage-ernst fouten (0,5–1,0) zijn voornamelijk retrievals (71%). Hoge-ernst fouten (2,0–4,0) zijn voornamelijk fabrications (39%).
Grootte Koppeling: Kleine modellen (3–9B) vertonen 44,7% retrieval-fouten, terwijl grote modellen (≥24B) 29,2% fabrication-fouten vertonen. De verschuiving naar fabricatie in grotere modellen verklaart de zwaardere staarten.

4.5 Voorspellingsbeperkingen

De vooraf geregistreerde hypothese dat het fitten van $b$ op gemakkelijke tiers (T1/T2) het aantal catastrofale fouten op moeilijke tiers (T4/T5) voorspelt, faalde op haar primaire criterium.

Resultaat: De rangcorrelatie was zwak ( $\rho_s = 0,443$ ), en de absolute rate-voorspelling faalde (0/21 modellen overschatten; 17/21 modellen onderschatten).
Reden: Moeilijke queries tillen de gehele ernst-distributie omhoog (een niveauverschuiving), wat de Gutenberg–Richter wet (die de relatieve helling vastlegt) niet alleen vanuit gemakkelijke data kan extrapoleren.

5. Betekenis en Claims

Het artikel claimt dat de ernst-verdeling gerapporteerd moet worden naast de nauwkeurigheid, omdat deze een onderscheidend vermogen bezit dat de foutenratio niet heeft.

Informatieve Waarde: Het ernstprofiel is geen redundante herhaling van de foutenratio. Twee modellen met identieke nauwkeurigheid kunnen zeer verschillende risico's op catastrofaal falen hebben (verschillend met een orde van grootte in verwachte catastrofale gebeurtenissen per miljoen queries).
Deployment Risico: Het negeren van de ernst-verdeling leidt tot slechte risicodiagnostiek. Een model met een "zwaardere staart" (lagere $b$ ) vormt een groter risico op catastrofale fabricatie, ondanks dat het dezelfde foutenratio heeft als een model met een "lichtere staart".
Scaling Paradox: Scaling laws kunnen de algemene nauwkeurigheid verbeteren terwijl ze tegelijkertijd de samenstelling van de resterende fouten verslechteren (verschuiving van retrievals naar fabrications), een nuance die onzichtbaar is voor standaard foutenratio's.

De auteurs positioneren dit werk als een diagnostisch hulpmiddel voor modelselectie en auditing in scenario's met hoge inzet waar feitelijke juistheid cruciaal is, in plaats van als een enkelvoudige leaderboard-score. Ze vermelden expliciet beperkingen, waaronder de uitsluiting van propriëtaire frontier-modellen, de afhankelijkheid van door LLM gegenereerde queries, en het falen van de taak om micro-fouten naar catastrofes te voorspellen.