💻 computer science

ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

Dieses Paper führt Errorquake-10k ein, einen umfassenden Benchmark, der zeigt, dass Open-Weight-Large-Language-Models selbst bei identischen Genauigkeitsniveaus distinkte, schwerverteilte Fehlerschwereverteilungen aufweisen, was beweist, dass diese Schwereprofile kritische, nicht-redundante Informationen über die Modellzuverlässigkeit liefern, welche durch skalare Fehlerraten nicht erfasst werden können.

Ursprüngliche Autoren: Jason Z Wang

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jason Z Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Assistenten ein, die Berichte für Ihr Unternehmen schreiben sollen. Sie führen einen Standardtest durch: Sie stellen ihnen 10.000 Fragen und zählen, wie oft sie die Antwort falsch geben.

In der Welt der KI wird dies als Fehlerrate bezeichnet. Wenn Assistent A bei 58 % der Antworten falsch liegt und Assistent B ebenfalls bei 58 % falsch liegt, besagt der Standardbericht: „Sie sind gleichermaßen schlecht.“

Dieses Paper argumentet, dass dieser Bericht gefährlich irreführend ist.

Die Autoren, Jason Z. Wang und Kollegen, führen eine neue Art und Weise vor, Fehler zu betrachten, namens ERRORQUAKE ein. Sie schlagen vor, dass nicht alle Fehler gleich sind. Ein falsches Datum ist ein „Fingernagel-Kratzer“, aber eine völlig erfundene Gerichtsentscheidung, die jemanden ins Gefängnis bringen könnte, ist ein „Gebäudeeinsturz“. Beides zählt im alten System als „einen Fehler“, aber die Konsequenzen sind Welten entfernt.

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Die Erdbeben-Analogie (Der Kern der Idee)

Die Autoren leihen sich ein Konzept aus der Seismologie (der Lehre von den Erdbeben). Seismologen wissen, dass Erdbeben einem bestimmten Muster folgen: Es gibt viele kleine Erschütterungen, weniger mittlere und sehr wenige massive, katastrophale Beben. Sie verwenden eine Zahl namens $b$ -Wert, um dieses Muster zu beschreiben.

Hoher $b$ -Wert: Viele kleine, nervige Erschütterungen, aber fast keine großen Katastrophen. (Denken Sie an ein Modell, das viele kleine Tippfehler oder geringfügige faktische Aussetzer macht).
Niedriger $b$ -Wert: Weniger Fehler insgesamt, aber die, die auftreten, sind unverhältnismäßig groß und katastrophal. (Denken Sie an ein Modell, das meistens ruhig ist, aber wenn es spricht, erfindet es ein falsches Gesetz oder eine falsche wissenschaftliche Entdeckung).

Die Entdeckung: Die Autoren testeten 21 verschiedene Open-Source-KI-Modelle. Sie fanden heraus, dass selbst wenn zwei Modelle die exakt gleiche Fehlerrate haben (z. B. beide liegen bei 58,6 % falsch), ihre $b$ -Werte völlig unterschiedlich sind.

Beispiel: Ein Modell (DeepSeek-V3.2) hatte einen „niedrigen $b$ -Wert“, was bedeutete, dass seine Fehler „heavy-tailed“ waren (selten, aber katastrophal). Ein anderes Modell (Ministral-14B) hatte einen „hohen $b$ -Wert“, was bedeutete, dass seine Fehler „light-tailed“ und weniger gefährlich waren.
Das Fazrazit: Man kann die Sicherheit eines Modells nicht allein dadurch beurteilen, wie oft es scheitert. Man muss auch darauf schauen, wie schlimm es scheitert, wenn es scheitert.

2. Die Warnung vor dem „Heavy-Tailed“-Phänomen

Das Paper bezeichnet diese gefährlichen Muster als „heavy-tailed error distributions“ (verteilungen mit schweren Rändern/Ausläufern).
Stellen Sie sich eine Tüte voller Murmeln vor.

Normale Verteilung: Die meisten Murmeln sind gleich groß.
Heavy-Tailed-Verteilung: Die meisten Murmeln sind winzige Kieselsteine, aber versteckt in der Tüte sind ein paar riesige Felsbrocken. Wenn man nur die „Anzahl der Murmeln“ zählt, übersieht man, dass einer von ihnen den Fuß zerschmettern könnte.

Die Autoren fanden heraus, dass größere, leistungsfähigere KI-Modelle (die „dichten“ Modelle) dazu neigen, tatsächlich schwerere Ränder (heavy tails) zu haben.

Das Paradoxon: Während Modelle größer werden, machen sie weniger kleine Fehler (wie Tippfehler oder geringfügige Aussetzer). Die Fehler, die sie jedoch machen, sind eher dazu neigen, selbstbewusste, elaborierte Lügen (Fabrications) zu sein.
Analogie: Ein kleines Kind stolpert und fällt oft (viele kleine Fehler). Ein Riese hingegen läuft stundenlang perfekt, aber wenn er stolpert, reißt er ein Haus um (weniger Fehler, aber katastrophal).

3. Das „Seismometer“ vs. der „Clicker“

Aktuelle Benchmarks sind wie ein Clicker: Sie klicken einfach jedes Mal „Falsch“, wenn ein Modell einen Fehler macht.
Die Autoren entwickelten ein neues Werkzeug, ERRORQUAKE-10K, das wie ein Seismometer funktioniert.

Anstatt nur „Falsch“ zu klicken, bewertet es den Fehler auf einer Skala von 0 bis 4:
- 0: Perfekt.
- 0,5–1,0: Ein kleiner Aussetzer (z. B. „Das Meeting war um 14 Uhr“ statt um 15 Uhr).
- 2,0–3,0: Ein schwerwiegender Fehler, der einen Leser irreführen könnte.
- 3,5–4,0: Eine völlige Fabrikation (z. B. „Das Meeting fand in einem Paralleluniversum statt“).
Sie testeten dies mit menschlichen Experten und fanden heraus, dass Menschen und KI-Richter bei diesen Bewertungen gut übereinstimmten.

4. Warum ist das wichtig? (Der Mechanismus)

Das Paper geht der Frage nach, warum diese schweren Ränder auftreten. Sie fanden heraus, dass es eine Verschiebung in der Art des Fehlers gibt, wenn die Schwere zunimmt:

Geringe Schwere: Fehler sind meist Abruffehler (das Modell hat einen Fakt vergessen oder die falsche Zahl nachgeschlagen).
Hohe Schwere: Fehler sind meist Fabrikationen (das Modell hat selbstbewusst etwas erfunden, das nie stattgefunden hat).

Entscheidend ist: Größere Modelle sind anfälliger für diese hochgradig schwerwiegenden Fabrikationen. Wenn Modelle größer werden, werden sie besser darin, Fakten abzurufen (weniger Abruffehler), scheinen aber gleichzeitig besser darin zu werden, überzeugende Lügen zu „halluzinieren“, wenn sie die Antwort nicht wissen.

5. Das Fazit

Das Paper kommt zu dem Schluss, dass die Branche aufhören muss, nur die „Fehlerrate“ (den Clicker-Zähler) zu melden.

Alter Weg: „Modell A und Modell B sind beide zu 58 % falsch.“
Neuer Weg: „Modell A und Modell B sind beide zu 58 % falsch, aber Modell A ist wie eine tickende Zeitbombe (heavy tail), während Modell B nur ein lärmender Nachbar ist (light tail).“

Die Empfehlung: Wann immer Sie berichten, wie oft eine KI Fehler macht, müssen Sie auch die Schweregrad-Verteilung (den $b$ -Wert) angeben. Er verrät Ihnen, ob das Modell zu nervigen Aussetzern oder zu katastrophalen Lügen neigt – eine Information, die die einfache Fehlerrate völlig verbirgt.

Was das Paper NICHT behauptet:

Es sagt nicht, dass diese Modelle für spezifische reale Aufgaben (wie Medizin oder Recht) ohne weitere Tests „sicher“ oder „unsicher“ sind.
Es behauptet nicht, dass größere Modelle insgesamt „schlechter“ sind; sie sind nur auf eine andere Art und Weise fehlerhaft.
Es bietet keine Lösung für dieses Problem an, sondern nur einen Weg, es zu messen.

Technisches Resümee: ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

1. Problemstellung

Standardmäßige Halluzinations-Benchmarks (z. B. TruthfulQA, HaluEval) reduzieren die Modellleistung auf eine einzige skalare Fehlerrate ( $\varepsilon$ ) und behandeln dabei alle Fehler als äquivalent. Dieser Ansatz kollabiert eine kritische Dimension des Modellversagens: die Schweregrad des Fehlers. Ein Modell, das ein falsches Publikationsdatum nennt, und ein Modell, das eine ganze gerichtliche Entscheidung erfindet, tragen beide mit einem einzigen Zähler zu $\varepsilon$ bei, doch ihre Auswirkungen im Downstream-Kontext unterscheiden sich um Größenordnungen.

Das Paper argumenttiert, dass Open-Weight Large Language Models (LLMs) bei gleicher Genauigkeit erhebliche Unterschiede in der Form ihrer Fehler-Schweregrad-Verteilung aufweisen. Speziell das „Tail-Verhalten“ (die Häufigkeit katastrophaler Fehler im Vergleich zu geringfügigen Ausrutschern) variiert zwischen Modellen signifikant – eine Eigenschaft, die durch skalare Fehlerraten unsichtbar bleibt. In Anlehnung an die Seismologie schlagen die Autoren vor, dieses Tail-Verhalten mithilfe der Steigung $b$ der Gutenberg–Richter-Magnitude-Frequenz-Beziehung zu charakterisieren: $\log_{10} N(M \ge m) = a - b m$ . Ein kleines $b$ deutet auf wenige, aber katastrophale Fehler hin; ein großes $b$ deutet auf viele kleine Fehler mit begrenztem Schweregrad hin.

2. Methodik

2.1 Der ERRORQUAKE-10K Benchmark

Die Autoren führen ERRORQUAKE-10K ein, einen Benchmark bestehend aus 10.000 Abfragen über 8 Domänen (BIO, LAW, HIST, GEO, SCI, TECH, FIN, CULT) und 5 Schwierigkeitsstufen (T1–T5).

Struktur: 1.250 Abfragen pro Domäne; T1–T2 sind einfache faktische Abfragen, während T4–T5 Trap-Questions (Fangfragen) enthalten, die darauf ausgelegt sind, selbstbewusste Fabrikationen hervorzurufen.
Evaluierte Modelle: 21 Instruction-tuned Open-Weight Modelle (3B bis ca. 37B aktive Parameter) aus 10 Familien, einschließlich dichter Architekturen und MoE-Architekturen.

2.2 Skala zur Bewertung des Schweregrads

Antworten werden auf einer kontinuierlichen 0,0–4,0 Skala bewertet (quantisiert in 0,5-Schritten, 9 diskrete Stufen):

0,0: Korrekt.
0,5–1,0: Ungenauigkeiten, die den Kern der Aussage bewahren.
1,5–2,0: Moderate faktische Fehler.
**2,5–3,0 Erhebliche Fehler, die einen typischen Leser in die Irre führen.
3,5–4,0: Fabrikation (selbstbewusste Behauptung erfundener Informationen).

2.3 Evaluations-Pipeline

Dual-Judge-System: Jede Antwort wird von zwei Judges aus einem 8-Modell-Round-Robin-Pool (unter Ausschluss des Zielmodells) bewertet.
Aggregation: Die finale Punktzahl ist der Mittelwert, falls die Judges innerhalb einer Differenz von 1,0 übereinstimmen; andernfalls wird der Median aus drei Werten mit einem Tiebreaker verwendet.
Human-Validierung: Eine stratifizierte Stichprobe von 519 Items wurde von drei Experten-Human-Ratern bewertet, um die LLM-Judge-Pipeline zu validieren.
- Reliabilität: Die Inter-Rater-Reliabilität der Menschen ist exzellent (ICC(2, k=3) = 0,85).
- Korrelation: Die durch Menschen abgeleiteten Schweregrad-Rankings korrelieren stark mit den LLM-Judge-Rankings ( $\rho = 0,89$ ).
- Overcall-Rate: LLM-Judges überbewerten den Schweregrad (Score 2,0) mit 33,5 %, verglichen mit 13,7 % bei Menschen.

2.4 Statistische Analyse

Verteilungsanpassung (Distribution Fitting): Fünf Kandidatenfamilien (diskrete Potenzgesetz, abgeschnittenes Potenzgesetz, Exponentialverteilung, gestreckte Exponentialverteilung, Lognormalverteilung) werden an die streng positiven Scores angepasst.
Parameterschätzung: Der Schweregrad-Verteilungsindex ( $b$ ) wird mittels der Aki-Formel mit einer Diskretitätskorrektur für gitterquantisierte Scores geschätzt.
Konfidenzintervalle: 95 % Percentile-Bootstraps (2.000 Resamples) werden verwendet, um die Konfidenzintervalle für $b$ zu bestimmen.

3. Zentrale Beiträge

Nicht-Reduzierbarkeitstheorem (C1): Ein theoretischer Beweis, der zeigt, dass das Schweregradprofil ( $b$ ) und die Fehlerrate ( $\varepsilon$ ) informationell nicht redundant sind. Empirisch gilt $I(b; \text{model} \mid \varepsilon) = 1,56$ Bits, was bedeutet, dass 64,5 % der Varianz in $b$ über verschiedene Modelle hinweg durch $\varepsilon$ nicht erklärt werden können.
Matched-Accuracy Discriminator (C3): Der primäre empirische Befund, dass $b$ Modelle auch dann unterscheidet, wenn deren Fehlerraten identisch sind.
Taxonomie der Schweregrad-Mechanismen (C4): Eine 6-Kategorien-Klassifikation (Retrieval, Fabrikation, Amplifikation, Reasoning, Format, Metakognition), die zeigt, dass sich die Fehlermechanismen mit dem Schweregrad kategorisch verschieben.
Skalierungs-Korrelation (C5): Eine Analyse der Beziehung zwischen Modellgröße und der Form des Schweregrad-Tails.
Ressourcen-Freigabe (C7): Die Veröffentlichung des ERRORQUAKE-10K Benchmarks, des Scoring-Toolkits und des Analyse-Codes.

4. Hauptergebnisse

4.1 Unterscheidung bei gleicher Genauigkeit (Matched-Accuracy)

Über 210 Paare der 21 Modelle hinweg weisen 85 Paare disjunkte 95 % Konfidenzintervalle für $b$ auf, wenn ihre Fehlerraten bei Human-Consensus-Scoring angeglichen wurden ( $|\Delta\varepsilon| < 0,05$ ).

Beispiel: DEEPSEEK-V3.2 und MINISTRAL-14B haben identische Fehlerraten ( $\varepsilon = 0,586$ ), aber signifikant unterschiedliche Tail-Steigungen ( $\Delta b = 0,47$ ).
Robustheit: Dieses Ergebnis hält über Cross-Domain-Jackknifes, verschiedene Judge-Aggregationsregeln und Subsets mit hoher Dual-Judge-Abdeckung hinweg stand.

4.2 Charakterisierung der Verteilung

Heavy-Tailed-Natur: 17 von 21 Modellen lassen sich am besten durch Nicht-Exponential-Familien (gestreckte Exponentialverteilung oder abgeschnittenes Potenzgesetz) beschreiben, was das Vorhandensein von „Heavy Tails“ (langsamerer Zerfall als exponentiell) auf dem diskreten Schweregrad-Gitter bestätigt.
Operationale Definition: „Heavy-tailed“ bedeutet hier, dass die BIC-beste Familie nicht-exponentiell ist oder die verbleibende Masse in den oberen Bins ( $M \ge 2,5$ ) größer ist, als eine Exponentialverteilung vorhersagen würde.

4.3 Skalierungs-Korrelation

Dichte Modelle: Es gibt eine negative Korrelation zwischen Modellgröße (Log der aktiven Parameter) und dem $b$ -Wert ( $\rho_s = -0,86$ auf Human-Daten).
Interpretation: Größere dichte Modelle begehen weniger kleine Fehler (steilerer Bulk-Zerfall), aber einen relativ höheren Anteil an katastrophalen Fabrikationen (flacherer oberer Tail).
Hinweis: Diese Korrelation bezieht sich spezifisch auf die Steigung des oberen Tails; die Rate des Bulk-Zerfalls bewegt sich in die entgegengesetzte Richtung.

4.4 Taxonomie der Mechanismen

Schweregrad-Shift: Fehler mit niedrigem Schweregrad (0,5–1,0) sind überwiegend Retrieval-Fehler (71 %). Fehler mit hohem Schweregrad (2,0–4,0) sind überwiegend Fabrikationen (39 %).
Größen-Kopplung: Kleine Modelle (3–9B) zeigen 44,7 % Retrieval-Fehler, während große Modelle (≥24B) 29,2 % Fabrikationsfehler aufweisen. Der Shift hin zu Fabrikationen in größeren Modellen erklärt die schwereren Tails.

4.5 Grenzen der Vorhersage

Die vorregistrierte Hypothese, dass das Fitten von $b$ auf einfachen Stufen (T1/T2) die Anzahl katastrophaler Fehler auf schweren Stufen (T4/T5) vorhersagt, schlug ihr primäres Kriterium fehl.

Ergebnis: Die Rangkorrelation war schwach ( $\rho_s = 0,443$ ), und die absolute Ratenvorhersage scheiterte (0/21 Modelle über-prognostizierten; 17/21 Modelle unter-prognostizierten).
Grund: Schwere Abfragen heben die gesamte Schweregrad-Verteilung nach oben (ein Level-Shift), was das Gutenberg–Richter-Gesetz (das die relative Steigung erfasst) nicht allein aus einfachen Daten extrapolieren kann.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die Schweregrad-Verteilung neben der Genauigkeit gemeldet werden sollte, da sie diskriminative Informationen liefert, die die Fehlerrate nicht bereitstellt.

Informationswert: Das Schweregradprofil ist keine redundante Wiederholung der Fehlerrate. Zwei Modelle mit gleicher Genauigkeit können völlig unterschiedliche Risiken für katastrophales Versagen aufweisen (Unterschiede um eine Größenordnung bei der erwarteten Anzahl katastrophaler Ereignisse pro Million Abfragen).
Deployment-Risiko: Das Ignorieren der Schweregrad-Verteilung führt zu schlechten Risiko-Diagnosen. Ein Modell mit einem „schwereren Tail“ (kleineres $b$ ) birgt trotz gleicher Fehlerrate wie ein Modell mit „leichtem Tail“ ein höheres Risiko für katastrophale Fabrikationen.
Skalierungs-Paradoxon: Skalierungsgesetze können die Gesamtgenauigkeit verbessern, während sie gleichzeitig die Zusammensetzung der verbleibenden Fehler verschlechtern (Shift von Retrievals zu Fabrikationen) – eine Nuance, die durch Standard-Fehlerraten unsichtbar bleibt.

Die Autoren positionieren diese Arbeit als diagnostisches Werkzeug für die Modellselektion und das Auditing in hochsensiblen faktischen Kontexten, statt als Single-Number-Leaderboard. Sie weisen explizit auf Limitationen hin, einschließlich des Ausschlusses proprietärer Frontier-Modelle, der Abhängigkeit von LLM-generierten Abfragen und des Scheiterns der Mikro-Fehler-zu-Katastrophe-Vorhersageaufgabe.