🤖 machine learning

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

Dieses Paper stellt CELEUS vor, ein Framework, das E-Prozesse nutzt, um zertifizierbare, jederzeit gültige Konfidenzintervalle für die LLM-Evaluierung bereitzustellen und dabei die Anzahl der erforderlichen Stichproben durch unsicherheitsgesteuerte Stichprobenziehung und surrogate-gestützte Approximationen signifikant zu reduzieren.

Ursprüngliche Autoren: Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein riesiges Glas mit 100.000 Murmeln. Einige sind rot (das repräsentiert einen Fehler, den die KI gemacht hat), und einige sind blau (das repräsentiert eine korrekte Antwort). Sie möchten den exakten Prozentsatz der roten Murmeln im gesamten Glas wissen, um zu entscheiden, ob die KI gut genug ist, um in der realen Welt eingesetzt zu werden.

Das Problem? Jede einzelne Murmel zu prüfen, ist langsam, teuer und erfordert manchmal einen Menschen, der hinsieht. Wenn Sie einfach nur eine Handvoll nehmen und raten, könnten Sie Glück oder Pech haben, und Sie wüssten nicht, wie nah Ihre Schätzung an der Wahrheit liegt.

Dieses Paper stellt CELEUS vor, eine intelligente, mathematisch garantierte Methode, um diesen Prozentsatz schnell und sicher herauszufinden.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: „Stopp und Geh“ vs. „Weiterprüfen“

Traditionell prüft man, um sicher zu sein, vielleicht eine feste Anzahl von Murmeln (sagen wir 1.000) und hört dann auf. Aber was, wenn die ersten 1.000 alle blau waren? Sie würden denken, das Glas sei perfekt, aber Sie könnten einfach nur Glück gehabt haben.

Einige neuere Methoden versuchen, Murmeln nacheinander zu prüfen und aufzuhören, sobald sie „sicher genug“ sind. Die Autoren des Papers argumentieren jedoch, dass diese Methoden einen Fehler haben: Wenn man seinen Fortschritt ständig überprüft und entscheidet aufzuhören, basierend auf dem, was man gerade jetzt sieht, kann man sich versehentlich selbst täuschen und glauben, man sei sich sicherer, als man tatsächlich ist. Es ist wie ein Spieler, der seine Wettstrategie ständig ändert, basierend auf den letzten Gewinnen; irgendwann glaubt er, ein „garantiertes“ System zu haben, aber er ist eigentlich nur glücklich.

CELEUS behebt dies. Es bietet eine „zertifizierbare“ Garantie. Egal wann Sie sich entscheiden aufzuhören, die Mathematik verspricht, dass Ihre Antwort innerhalb eines spezifischen Bereichs der Wahrheit liegt (wie zum Beispiel zu sagen: „Wir sind uns zu 95 % sicher, dass der Anteil der roten Murmeln zwischen 10 % und 12 % liegt“).

2. Das Geheimrezept: Die „Kristallkugel“ (Surrogates)

Eine Murmel zu prüfen ist teuer (wie wenn ein Mensch einen Aufsatz bewertet). CELEUS nutzt einen Trick, um Geld zu sparen.

Stellen Sie sich vor, Sie haben eine Kristallkugel (ein sogenanntes „Surrogate-Modell“). Es ist eine kleinere, günstigere KI, die eine Murmel betrachtet und rät, ob sie rot oder blau ist.

Der Haken: Die Kristallkugel ist nicht perfekt. Manchmal rät sie falsch.
Die CELEUS-Strategie: Anstatt jede Murmel mit einem teuren Menschen zu prüfen, lässt CELEUS die Kristallkugel zuerst für alle Murmeln raten.
- Wenn die Kristallkugel sehr selbstbewusst und konsistent ist, vertraut CELEUS ihr und verschwendet keine Zeit damit, diese Murmel mit einem Menschen zu prüfen.
- Wenn die Kristallkugel verwirrt ist oder ihre Vermutung riskant erscheint, sagt CELEUS: „Hey, ich muss diese hier mit einem Menschen prüfen, um sicher zu sein.“

Dies wird als Surrogate-Assisted Approximation bezeichnet. Es ermöglicht dem System, die teuren Prüfungen bei den „einfachen“ Murmeln zu überspringen und sich nur auf die schwierigen zu konzentrieren.

3. Der „Unsicherheits-Detektiv“ (Sampling)

CELEUS wählt Murmeln nicht einfach zufällig aus. Es agiert wie ein Detektiv, der nach den verwirrendsten Hinweisen sucht.

Es nutzt Uncertainty-Guided Sampling. Wenn die Kristallkugel sagt, eine Murmel sei „Rot“, aber die Mathematik darauf hindeutet, dass sie eigentlich „Blau“ sein könnte (eine große Diskrepanz), priorisiert CELEUS die Prüfung genau dieser speziellen Murmel durch einen Menschen. Es ignoriert die Murmeln, bei denen sich alle einig sind. Das ist wie ein Lehrer, der einen Stapel Tests bewertet: Er verbringt die meiste Zeit mit den Aufsätzen, die schwer zu bewerten sind, und nicht mit denen, die offensichtlich perfekt oder offensichtlich schlecht sind.

4. Das „Magische Kassenbuch“ (E-Prozesse)

Woher weiß CELEUS, dass es nicht geschummelt hat, indem es die Tipps der Kristallkugel beobachtet hat?

Es verwendet ein mathematisches Werkzeug namens E-Process. Denken Sie an dies als ein magisches Kassenbuch oder ein „Fairness-Messgerät“.

Jedes Mal, wenn CELEsUS eine Murmel prüft, aktualisiert es das Kassenbuch.
Das Kassenbuch ist so konzipiert, dass, wenn das System lügt oder schummelt (indem es zu früh aufhört oder schlechte Vermutungen nutzt), das „Fairness-Messgerät“ eine Pfeife ertönen lässt und eine rote Flagge zeigt.
Da das Kassenbuch auf diese Weise aufgebaut ist, kann das System sein Konfidenzintervall kontinuierlich aktualisieren, ohne jemals gegen die Regeln zu verstoßen. Es ist wie ein Richter, der ein Verfahren jederzeit unterbrechen kann, die bisher gesammelten Beweise betrachtet und sagt: „Wir haben genug, um uns zu 95 % sicher zu sein“, ohne dass das Verfahren jemals unfair wird.

Die Ergebnisse: Schneller und Günstiger

Das Paper hat dies an echten KI-Modellen (wie Llama und DeepSeek) unter Verwendung von Standard-Benchmarks (wie Sentiment-Analyse und allgemeine Wissensfragen) getestet.

Die Behauptung: CELEUS erreichte das gleiche Maß an Sicherheit wie ältere Methoden, nutzte dafür aber 54 % bis 62 % weniger menschliche Prüfungen.
Die Analogie: Wenn eine alte Methode 10.000 Aufsätze von einem Menschen bewerten lassen müsste, um sicher zu sein, benötigte CELEUS nur etwa 4.000, weil es die „Kristallkugel“ für den Rest genutzt hat.
Die Garantie: Obwohl weniger Aufsätze geprüft wurden, beweist das Paper mathematisch, dass das Endergebnis vertrauenswürdig ist und nicht „kaputtgeht“, nur weil man früher mit der Prüfung aufgehört hat.

Zusammenfassung

CELEUS ist eine neue Art, KI zu testen, die:

Geld spart, indem sie eine günstige „Kristallkugel“ (Surrogate) nutzt, um Antworten für die meisten Artikel zu erraten.
Die Anstrengung fokussiert, indem sie nur Menschen bittet, die Artikel zu prüfen, bei denen die Kristallkugel verwirrt ist.
Sicherheit garantiert, indem sie ein spezielles mathematisches „Kassenbuch“ (E-Process) verwendet, das sicherstellt, dass die Ergebnisse genau sind, egal wann man mit der Prüfung aufhört.

Es ermöglicht Forschern zu sagen: „Wir sind statistisch sicher, dass diese KI gut ist“, ohne dabei Zeit und Geld damit zu verschwenden, jedes einzelne Beispiel zu prüfen.

Technisches Resümee: CELEUS

Problemstellung

Die Evaluierung von Large Language Models (LLMs) stützt sich zunehmend auf die sequentielle Kuratierung von Stichproben, um Leistungsmetriken zu schätzen. Bestehende Evaluierungspraktiken stehen jedoch vor einer kritischen Lücke zwischen theoretischer Strenge und praktischer Anwendung. Bestehende Methoden, die Konfidenzintervalle (CIs) sequentiell aktualisieren, sind oft nicht anytime-valid (zu jedem Zeitpunkt gültig). Das bedeutet, dass, wenn ein Evaluator die CIs wiederholt aktualisiert und sie verwendet, um zu entscheiden, wann der Prozess gestoppt werden soll (z. B. wenn die Intervallbreite eine Zielpräzision erreicht), die behauptete Abdeckwahrscheinlichkeit (z. B. 95 %) aufgrund von „Double Dipping“ versagen kann – also der Verwendung derselben Daten sowohl zur Auswahl der Evaluierungsstrategie als auch zur Quantifizierung der Unsicherheit. Darüber hinaus garantiert das bloße Sammeln von mehr Stichproben nicht, dass die Schätzung präzise genug für Entscheidungen ist, wodurch kein statistisch fundiertes Abbruchkriterium verbleibt.

Derzeitige Ansätze wie Cer-Eval versuchen dies durch adaptive Partitionierung zu adressieren, stützen sich jedoch auf Annahmen über feste Partitionen, die nicht halten, wenn Partitionen adaptiv aus den Daten gelernt werden, was zu einem potenziellen Verlust der Abdeckung führen kann. Zudem wird eine effiziente Evaluierung durch die hohen Kosten für die Beschaffung von Ground-Truth-Labels oder menschlichen Urteilen behindert, was Strategien erforderlich macht, die die Anzahl der evaluierten Stichproben minimieren und gleichzeitig die statistische Validität wahren.

Methodik

Das Paper schlägt CELEUS (Certifiable and Efficient LLM Evaluation via E-Processes) vor, ein Framework, das die Lücke zwischen theoretischer Stringenz und praktischer Effizienz schließt, indem es E-Prozesse nutzt.

Kern-Framework

Anytime-Valid Confidence Intervals: CELEUS konstruiert CIs unter Verwendung von E-Prozessen, die Garantien bieten, die zu jedem Stoppzeitpunkt (Stopping Time) Bestand haben. Im Gegensatz zu traditionellen Methoden beruhen E-Prozesse lediglich auf der Annahme, dass die Evaluations-Scores beschränkt sind (gewährleistet durch Normalisierung oder Clipping), was sie robust gegenüber adaptiven Abbruchregeln macht.
Sequentielles Verfahren: Die Methode operiert auf einem endlichen Datenpool $D_N$ . In jeder Runde $t$ wird eine noch nicht evaluierte Stichprobe ausgewählt, das wahre Risiko beobachtet und das CI aktualisiert. Der Prozess stoppt, wenn die CI-Breite eine Zielpräzision $\epsilon$ erreicht.

Zentrale technische Komponenten

Um Effizienz und Validität unter nicht-uniformer Stichprobenziehung zu gewährleisten, konstruiert CELEUS Inferenzsignale unter Verwendung zweier primärer Zutaten:

Unsicherheitsgesteuerte Stichprobenziehung (Uncertainty-Guided Sampling): Anstatt einer gleichmäßigen Zufallsstichprobenziehung priorisiert CELEUS Stichproben, von denen erwartet wird, dass sie die Schätzvarianz reduzieren. Die Stichprobenwahrscheinlichkeit $q_t$ ist so konzipiert, dass sie proportional zum Ausmaß der Diskrepanz zwischen dem beobachteten Risiko und einem Ersatz-Score (Surrogate Score) ist. Dies steht im Einklang mit der theoretisch abgeleiteten varianzoptimalen Stichprobenregel.
Surrogat-gestützte Approximationen: Für nicht evaluierte Stichproben nutzt CELEUS Scores eines kleineren, vortrainierten Ersatzmodells (z. B. ein 7–8B Modell), um das wahre Risiko zu approximieren. Dies ermöglicht es dem Framework, Informationen aus dem gesamten Pool zu extrahieren, ohne jede Stichprobe mit dem Zielmodell evaluieren zu müssen.

Konstruktion des Signals

Das Framework konstruiert ein pro Runde generiertes Signal $\hat{S}_t$ , das bedingt erwartungstreu (conditionally unbiased) für das Risiko des endlichen Pools $R_N$ ist. Das Signal kombiniert:

Eine durch ein Ersatzmodell vervollständigte Schätzung des Pool-Risikos (unter Verwendung beobachteter Risiken für evaluierte Stichproben und Ersatz-Scores für den Rest).
Eine gewichtete Korrektur mittels inverser Wahrscheinlichkeiten (Inverse-Probability-Weighted Correction) für das Residuum der neu evaluierten Stichprobe (die Differenz zwischen ihrem wahren Risiko und dem Ersatz-Score).

Diese bedingte Erwartungstreue ist der zentrale Mechanismus, der die Konstruktion valider E-Prozesse ermöglicht. Das Framework hebt das CI anschließend vom Risiko des endlichen Pools $R_N$ auf das Populationsrisiko $R$ unter Verwendung einer Hoeffding-ähnlichen Korrektur an, die von der vollen Poolgröße $N$ abhängt.

Theoretische Garantien

Anytime-Valid Coverage: Die resultierenden CIs decken das wahre Populationsrisiko mit einer Wahrscheinlichkeit von mindestens $1-\alpha$ zu jedem Stoppzeitpunkt ab.
Shrinkage Rate (Schrumpfungsrate): Die Breite der CIs schrumpft mit einer nahezu parametrischen Rate von $O(\sqrt{\log t \log \log t / t})$ , unter Berücksichtigung logarithmischer Faktoren.
Varianzreduktion: Das Paper beweist, dass die vorgeschlagene unsicherheitsgesteuerte Stichprobenziehung und die Unterstützung durch Ersatzmodelle die bedingte Varianz der Signale reduzieren, was die Schrumpfung der Konfidenzintervalle direkt beschleunigt.

Zentrale Beiträge

Überbrückung der Lücke zwischen Theorie und Praxis: CELEUS bietet das erste Framework für die LLM-Evaluierung, das sowohl statistisch rigoros (anytime-valid) als auch praktisch effizient ist und die Coverage-Fehler bestehender adaptiver Methoden wie Cer-Eval behebt.
Neuartige Signal-Konstruktion: Das Paper führt ein bedingt erwartungstreues Signal ein, das Ersatz-gestützte Approximationen mit Inverse-Probability-Weighting integriert und so die Konstruktion valider E-Prozesse unter nicht-uniformer, adaptiver Stichprobenziehung ermöglicht.
Theoretische Analyse: Die Autoren liefern Beweise für die Erwartungstreue des Schätzers, die Validität der Anytime-Valid CIs sowie die varianzoptimalen Eigenschaften ihrer Stichprobenstrategie. Sie charakterisieren die Konvergenzrate der CI-Breite.
Empirische Validierung: Umfangreiche Experimente zeigen, dass CELEUS die Zielpräzision mit 54–62 % weniger evaluierten Stichproben als die Baselines (wie z. B. Uniform Sampling mit E-Prozessen) erreicht, während die nominelle Abdeckung gewahrt bleibt. Die Verwendung kleinerer Ersatzmodelle (7–8B Parameter) ohne aufgabenspezifisches Fine-Tuning verbessert die Effizienz zusätzlich um 10–23 % im Vergleich zur Variante ohne Ersatzmodell.

Ergebnisse

Die Experimente wurden auf drei Benchmarks (SST-2, AG News, MMLU) mit verschiedenen Zielmodellen (z. B. Llama-3-70B, DeepSeek-67B, Mixtral-8×7B) und Ersatz-Ziel-Paaren durchgeführt.

Abdeckung (Coverage): In diagnostischen Szenarien, in denen Cer-Eval die Abdeckung nicht halten konnte (Fehlabdeckungsrate von 16,1 % gegenüber nominell 5 %), hielten CELEUS und andere E-Prozess-basierte Methoden die Fehlabdeckungsraten unter dem nominellen Niveau (0,021–0,030).
Effizienz: CELEUS erreichte die Zielpräzision ( $\epsilon=0,05$ ) mit signifikant weniger Labels. Auf MMLU benötigte es beispielsweise 3.242 Stichproben im Vergleich zu 8.144 für die Baseline (EVALUE), was eine Reduktion um 60 % bedeutet.
Impact des Ersatzmodells: Die durch Ersatzmodelle gestützte Variante schnitt konsistent besser ab als die Version ohne Ersatzmodelle, was zeigt, dass die Nutzung kleinerer vortrainierter Modelle die Varianz des Schätzsignals effektiv reduziert.

Bedeutung und Ansprüche

Das Paper behauptet, dass CELEUS ein statistisch fundiertes Kriterium bietet, um zu entscheiden, wann genügend Stichproben evaluiert wurden, indem es über einfache Punktschätzungen hinausgeht und zertifizierte Konfidenzintervalle bereitstellt. Durch die Gewährleistung der Anytime-Validität ermöglicht es Evaluatoren, den Fortschritt zu überwachen und frühzeitig abzubrechen, ohne die Typ-I-Fehlerrate künstlich aufzublähen.

Die Autoren betonen, dass ihre Methode besonders wertvoll in Szenarien ist, in denen die Evaluierung auf teurer menschlicher Annotation oder starken LLM-Judges basiert, da sie die Anzahl der erforderlichen solchen Evaluierungen drastisch reduziert. Sie merken an, dass die Methode zwar die statistische Unsicherheit in der Evaluierung adressiert, aber nicht andere Deployment-Risiken (z. B. Sicherheit, Bias) löst und auch nicht garantiert, dass der Benchmark selbst repräsentativ für reale Bedingungen ist. Die Rechenkosten für das Scoring durch Ersatzmodelle werden als vorhanden anerkannt, aber im Vergleich zur Einsparung durch die Reduzierung der Zielmodell-Evaluierungen als vernachlässigbar dargestellt.

Als zukünftige Arbeit, die von den Autoren angedeutet wird, umfasst die Erweiterung des Frameworks auf Szenarien der LLM-Evaluierung unter Berücksichtigung von Verteilungsverschiebungen (Distribution-Shift).