💬 NLP

Correcting Prompt Dependence in LLM Benchmarks: A Bayesian Hierarchical Model with Embedding-Space Clustering

Dieses Paper schlägt ein korrektives bayesianisches hierarchisches Modell mit Clustering im Einbettungsraum vor, um die Einschränkungen klassischer Inferenz und Prompt-Abhängigkeit beim Benchmarking von LLMs zu adressieren, wodurch robustere Leistungsmetriken geliefert und Fehler in Datensätzen mit geringer Datenmenge signifikant reduziert werden.

Ursprüngliche Autoren: Mary Llewellyn, Isobel Thornton, James Bishop, Annie Gray

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mary Llewellyn, Isobel Thornton, James Bishop, Annie Gray

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu beurteilen, wie gut ein neuer Koch ist. Sie bitten ihn, 100 verschiedene Gerichte zu kochen. Wenn Sie einfach zählen, wie viele der Gerichte perfekt waren, und dies durch 100 teilen, erhalten Sie eine „Erfolgsquote“.

Aber hier ist der Haken: Was wäre, wenn diese 100 Gerichte gar nicht 100 verschiedene Herausforderungen waren? Was wäre, wenn 50 davon nur leichte Variationen desselben Pastarezepts waren und die anderen 50 nur leichte Variationen desselben Suppenrezepts?

Wenn der Koch großartig in Pasta, aber schrecklich in Suppe ist, ist Ihr einfacher „100-Gerichte-Score“ irreführend. Sie testen nicht 100 unabhängige Fähigkeiten; Sie testen zwei Fähigkeiten, jeweils 50 Mal. Die Mathematik, mit der Sie den Score berechnen, geht davon aus, dass jedes Gericht ein völlig neuer, unzusammenhängender Test ist. Wenn diese Annahme falsch ist, ist Ihr Score falsch und Ihr Vertrauen in diesen Score ist vorgetäuscht.

Genau dieses Problem behandelt das Paper „Correcting Prompt Dependence in LLM Benchmarks“.

Das Problem: Die Falle der „vorgetäuschten Unabhängigkeit“

Large Language Models (LLs) werden oft mittels „Benchmarks“ getestet – Listen von Fragen oder Prompts. Die Standardmethode zur Messung der Leistung besteht darin, jeden einzelnen Prompt als ein unabhängiges Ereignis zu behandeln, wie etwa das 1.000-fache Werfen einer Münze.

Die Autoren argumentieren, dass dies eine Lüge ist. In der Realität sind Prompts in diesen Tests oft gehäuft aufgetreten.

Die Metapher: Stellen Sie sich einen Test vor, bei dem 10 Fragen alle davon handeln, „wie man einen Kuchen backt“, und weitere 10 Fragen alle davon handeln, „wie man ein Auto repariert“.
Die Realität: Wenn die KI weiß, wie man einen Kuchen backt, wird sie wahrscheinlich alle 10 Kuchenfragen richtig beantworten. Wenn sie scheitert, wird sie wahrscheinlich bei allen scheitern. Diese Fragen sind nicht unabhängig; sie sind „abhängig“ von derselben zugrunde liegenden Fähigkeit.
Die Konsequenz: Die Standard-Mathematik denkt, Sie hätten 20 unabhängige Datenpunkte. Die Autoren zeigen, dass Sie vielleicht nur 2 haben (eins für Kuchen, eins für das Auto). Dies lässt die KI entweder viel besser oder viel schlechter erscheinen, als sie eigentlich ist, und lässt die „Fehlerbalken“ (die Unsicherheit) winzig erscheinen, obwohl sie riesig sein müssten.

Die Lösung: Der „Clustering“-Detektiv

Die Autoren schlagen eine neue Methode zur Berechnung vor, genannt BHM-ESC (Bayesian Hierarchical Model with Embedding-Space Clustering).

So funktioniert es, unter Verwendung einer einfachen Analogie:

Die „Wortwolken“-Karte (Embedding Space):
Zuerst übersetzt das Modell jede Frage in einen Punkt auf einer riesigen Karte. Fragen, die sich in ihrer Bedeutung ähneln (wie „Wie backe ich einen Kuchen?“ und „Was ist ein gutes Kuchenrezept?“), landen direkt nebeneinander. Fragen über Autos landen weit entfernt.
Das Finden der Cluster:
Anstatt zu raten, wie viele Gruppen es gibt, agiert das Modell wie ein Detektiv, der die Karte untersucht. Es fragt: „Wie viele unterschiedliche Nachbarschaften von Fragen gibt es?“ Es benötigt keinen Menschen, der ihm sagt: „Es gibt 5 Gruppen.“ Es findet die Anzahl der Gruppen automatisch bas anhand dessen, wie dicht die Fragen gepackt sind.
Der „Teamkapitän“-Ansatz (Hierarchical Modeling):
Sob den Gruppen gefunden wurden, hört das Modell auf, jede Frage als Solisten zu behandeln.

Es betrachtet die „Kuchen-Nachbarschaft“ als ein Team. Es fragt: „Wie gut ist die KI beim Kuchen-Team?“
Es betrachtet die „Auto-Nachbarschaft“ als ein anderes Team.
Es berechnet dann den Durchschnitt der Leistungen dieser Teams, um den endgültigen Score zu erhalten.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren testeten dies auf „adversarialen“ Benchmarks (Tests, die darauf ausgelegt sind, die KI zu Fehlern zu verleiten, wie etwa das Brechen von Sicherheitsregeln). Sie verglichen ihre neue Methode mit den alten, Standardmethoden.

Der alte Weg: Behauptete, die KI sei sehr konsistent und selbstbewusst.
Der neue Weg: Sagte: „Warte, du hast wirklich nur ein paar unterschiedliche Arten von Tricks getestet. Dein Selbstvertrauen ist überzogen.“

Die spezifischen Erkenntnisse des Papers:

Bessere Genauigkeit: Durch die Korrektur der Mathematik zur Berücksichtigung dieser „Klumpen“ ähnlicher Fragen sank der Fehler in ihren Leistungsschätzungen signifikant (um 4 % bis 73 %).
Echte Zuverlässigkeit: Die neue Methode lieferte viel ehrlichere „Unsicherheitsbereiche“. Die alte Methode behauptete oft, zu 100 % sicher zu sein, obwohl sie eigentlich nur rät.
Überschätzung: Die Standardmethoden haben die Anzahl der wirklich unabhängigen Tests um den Faktor 1,3 bis 5,6 überschätzt. Mit anderen Worten: Wenn ein Test 100 Fragen hatte, dachte die alte Mathematik, es seien 100 einzigartige Tests, aber die neue Mathematik erkannte, dass es nur 20 bis 80 einzigartige Tests waren.

Das Fazit

Das Paper behauptet nicht, dass dies die KI-Sicherheit lösen oder die KI intelligenter machen wird. Es sagt lediglich: Hören Sie auf, Fragen so zu zählen, als wären sie alle verschieden, wenn sie es nicht sind.

Indem wir eine statistische Methode verwenden, die ähnliche Fragen zusammenfasst und die Gruppen statt der Einzelnen zählt, erhalten wir ein viel wahreres Bild davon, wie eine KI tatsächlich performt. Es ist der Unterschied zwischen der Bewertung eines Schülers für 100 Kopien derselben Matheaufgabe gegenüber der Bewertung für 100 verschiedene Konzepte. Die neue Methode stellt sicher, dass wir uns nicht von Wiederholung täuschen lassen.

Technisches Resümee: Korrektur der Prompt-Abhängigkeit in LLM-Benchmarks

Problemstellung

Aktuelle Benchmarking-Praktiken für Large Language Models (LLMs) stellen Leistungsmetriken und Unsicherheitsschätzungen häufig falsch dar, da sie auf zwei kritischen, oft nicht erfüllten Annahmen beruhen:

Ausreichende Daten für klassische Inferenz: Die Annahme, dass die Stichprobengrößen groß genug sind, um sich auf auf dem Zentralen Grenzwertsatz (CLT) basierende Inferenz (z. B. Wald-Konfidenzintervalle) verlassen zu können, wird häufig verletzt, da Rechenbeschränkungen zu unzuverlässigen Stichprobenmittelwerten und p-Werten führen.
Prompt-Unabhängigkeit: Standardmetriken nehmen an, dass Test-Prompts unabhängig sind und gleichermaßen gewichtet werden. Empirische Belege deuten jedoch darauf hin, dass Prompts innerhalb von Benchmarks oft semantische Ähnlichkeiten und gemeinsame Fehlermodi aufweisen, was Abhängigkeiten erzeugt. Diese „Prompt-Abhängigkeit“ reduziert die effektive Anzahl unabhängiger Stichproben und führt dazu, dass Standardmethoden die effektive Stichprobengröße überschätzen und unkalibrierte Unsicherheiten erzeugen.

Methodik: Bayesianisches hierarchisches Modell mit Embedding-Raum-Clustering (BHM-ESC)

Um diese Probleme anzugehen, schlagen die Autoren ein korrigierendes Bayesianisches Hierarchisches Modell mit Embedding-Raum-Clustering (BHM-ESC) vor. Der Ansatz funktioniert wie folgt:

Semantisches Clustering: Anstatt sich auf vordefinierte Aufgaben-Labels zu verlassen, behandelt das Modell die Anzahl der semantischen Cluster ( $S$ ) als eine unbekannte Zufallsvariable. Es nutzt eine Prior-Verteilung (speziell eine bei $n$ trunkierte Binomialverteilung), um $S$ direkt aus den Daten zu inferieren.
Partitionierung des Embedding-Raums: Prompt-Embeddings werden mittels eines Sentence Transformers (z. B. all-MiniLM-L6-v2) generiert. Agglomeratives Cosinus-Ähnlichkeits-Clustering wird angewendet, um die Prompts in $S$ disjunkte Cluster basierend auf ihrer semantischen Nähe zu partitionieren.
Hierarchische Modellierung:
- Innerhalb jedes Clusters $k$ wird angenommen, dass die Prompts eine gemeinsame Erfolgswahrscheinlichkeit $p_k$ teilen.
- $p_k$ wird mit einem Uniform-Beta(1, 1) Prior modelliert.
- Die beobachteten Erfolge $x_i$ für Prompt $i$ (bei $m$ Durchläufen) folgen einer Binomialverteilung: $x_i | p_k \sim \text{Binomial}(m, p_k)$ .
- Die gesamte Benchmark-Leistung $\bar{p}$ wird als gleich gewichtete Mischung der clusterweisen Wahrscheinlichkeiten modelliert, wodurch die Variabilität effektiv auf der Ebene der Themen gebündelt wird.
Inferenz via Importance Sampling: Da die Posterior-Verteilungen keine geschlossenen Formen zulassen, verwenden die Autoren ein Importance-Sampling-Schema. Sie ziehen Stichproben von $S$ aus dem Prior, bestimmen die Cluster-Partition, ziehen $p_{1:S}$ aus den handhabbaren bedingten Posteriors und berechnen die Importance-Gewichte basierend auf der marginalen Likelihood $\pi(x_{1:n} | S)$ . Dies liefert gewichtete Stichproben, die die Posterior-Verteilungen für Leistungsmetriken und Cluster-Anzahlen approximieren.

Zentrale Beiträge

Empirische Evidenz der Abhängigkeit: Die Arbeit liefert quantitative Belege (mittels Hopkins-Statistik und UMAP-Visualisierungen), dass populäre Benchmarks (einschließlich MMLU, GSM8K, HarmBench und Garak) eine signifikante Clustering-Struktur aufweisen, welche die Unabhängigkeitsannahme verletzt.
Ein prinzipienbasierter Korrekturrahmen: Das BHM-ESC-Modell berücksichtigt explizit die Inter-Prompt-Abhängigkeit, ohne vordefinierte Cluster-Labels oder Aufgaben-Metadaten zu benötigen. Es inferiert die Cluster-Struktur direkt aus den Embedding-Räumen.
Robustheit bei begrenzten Daten: Der Ansatz ist für Szenarien mit begrenzten Daten konzipiert, in denen CLT-basierte Methoden versagen, und liefert kalibrierte Posterior-Unsicherheitsschätzungen.
Interne Validität: Die inferierten Cluster-Strukturen stimmen mit menschlichen Urteilen über semantische Ähnlichkeit und Unabhängigkeit überein, was durch Posterior Similarity Matrices (PSMs) und den Vergleich mit „Oracle“-Baselines unter Verwendung von Ground-Truth-Labels verifiziert wurde.

Ergebnisse

Die Autoren evaluierten BHM-ESC auf Benchmarks für adversarielle Robustheit (Garak-Subsets: ANSI Escape, Repeat, Latent Injection, JavaScript) unter Verwendung zweier LLM-Architekturen (Pythia-2.8B und Mamba-2.8B).

Leistungsverbesserungen: Im Vergleich zu Baselines (naiver Frequentist, Bayesianische Modelle ohne Clustering sowie Bayesianische Modelle mit festem $S=1$ $S = 1$ oder $S=n$ $S = n$ ) erreichte BHM-ESC:
- Eine Reduktion der mittleren absoluten Abweichung (MAE) der posterior-prädiktiven Mittelwerte um 4–73 %.
- Eine Verbesserung der Expected Log Posterior Density (ELPD) um 20–450 Einheiten, was auf eine überlegene Modellpassung und Unsicherheitsquantifizierung hindeutet.
Korrektur der effektiven Stichprobengröße: Das Modell zeigte, dass Baseline-Ansätze die Anzahl der unabhängigen Stichproben systematisch um Faktoren von 1,3 bis 5,6 überschätzen. BHM-ESC identifizierte korrekt die reduzierte effektive Stichprobengröße ( $S$ ) im Verhältnis zur nominalen Prompt-Anzahl ( $n$ ).
Auswirkung auf Schlussfolgerungen: Die korrigierten Metriken änderten Leistungsvergleiche materiell. Beispielsweise deutete BHM-ESC darauf hin, dass die Robustheit gegenüber ANSI-Angriffen homogener und sicherer ist, als es naive Baselines nahelegten.
Embedding-Agnostik: Die Leistungsverbesserungen waren konsistent über verschiedene Embedding-Methoden hinweg (Sentence Transformers vs. TF-IDF), was darauf hindeutet, dass die Gewinne aus der strukturellen Rekonstruktion und nicht aus spezifischen Embedding-Artefakten resultieren.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass die Prompt-Abhängigkeit ein systematisches Problem im LLM-Benchmarking darstellt, das Bias in Zusammenfassungsstatistiken und Unsicherheitsschätzungen einführt. Indem BHM-ESC die Anzahl der Cluster als unbekannt behandelt und die Struktur direkt aus Embeddings lernt, bietet es eine benchmark-agnostische Lösung, die:

Clustering-Strukturen rekonstruiert, die mit der menschlichen Intuition übereinstimmen.
Kalibrierte Unsicherheitsschätzungen in datenarmen Settings liefert, in denen traditionelle statistische Methoden ungültig sind.
Die Überkonfidenz in statistischen Schlussfolgerungen verhindert, die entsteht, wenn semantisch ähnliche Prompts als unabhängige Datenpunkte behandelt werden.

Die Autoren merken an, dass der Ansatz zwar die Schätzgenauigkeit verbessert, aber keine erschöpfende oder ausgewogene Aufgabenabdeckung erfordert, um kalibrierte Schätzungen zu erzeugen, da die Abhängigkeit automatisch inferiert und korrigiert wird. Zukünftige Arbeiten könnten die Lockerung der Annahme identischer Erfolgs-Wahrscheinlichkeiten innerhalb von Clustern untersuchen oder die Methode auf Multi-Turn-Benchmarks ausweiten.