💬 NLP

CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks

CoEval ist ein Open-Source-Framework, das kontaminationsfreie, attributgesteuerte Benchmarks generiert und ein diverses Ensemble aus Judge-Modellen einsetzt, um Sprachmodelle für benutzerdefinierte Aufgaben zuverlässig zu ranken, ohne auf gelabelte Daten oder öffentliche Benchmarks angewiesen zu sein.

Ursprüngliche Autoren: Alexander Apartsin, Yehudit Aperstein

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexander Apartsin, Yehudit Aperstein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Personalverantwortlicher, der versucht, den besten Mitarbeiter für einen sehr spezifischen Job auszuwählen, wie zum Beispiel „das Organisieren eines chaotischen Lagers“ oder „das Schreiben lustiger Witze über Gartenarbeit“. Sie haben ein Problem: Sie verfügen über keine bisherigen Leistungsbewertungen (gelabelte Daten) und die Standardtests, die alle anderen verwenden (öffentliche Benchmarks), sind nutzlos, da die Kandidaten die Antworten bereits auswendig gelernt haben, indem sie diese studiert haben.

Dies ist genau das Problem, das CoEval löst. Es ist ein neues Open-Source-Tool, das Ihnen hilft, KI-Modelle für Ihre spezifischen Bedürfnisse zu bewerten, ohne dass Sie menschliche Experten zur Bewertung benötigen oder sich Sorgen um Betrug machen müssen.

So funktioniert es, aufgeschlüsselt in einfache Analogien:

1. Der „Frische-Test“-Generator (Betrug verboten)

Normalerweise absolvieren KI-Modelle dieselben alten Tests (wie die SATs oder GRE), die seit Jahren existieren. Da diese Tests so populär sind, haben die KI-Modelle die Fragen wahrscheinlich während ihres Trainings gesehen und die Antworten einfach auswendig gelernt. Es ist wie bei einem Schüler, der den Lösungsschlüssel auswendig lernt, anstatt die Mathematik zu lernen.

CoEval verändert die Spielregeln. Anstatt alte Fragen zu verwenden, nutzt es eine „Lehrer-KI“, um basierend auf der Beschreibung Ihrer Aufgabe vor Ort brandneue Fragen zu erfinden.

Die Analogie: Stellen Sie sich einen Lehrer vor, der einen Mathetest während der Schüler im Raum ist, erstellt. Der Schüler konnte die Antworten nicht auswendig lernen, weil die Fragen erst in diesem Moment entstanden sind.
Das Ergebnis: Die Arbeit beweist, dass diese neuen Fragen zu 100 % frisch sind. Sie teilen keine 13-Wort-Phrasen mit irgendeinem der großen öffentlichen Test-Datenbanken, was bedeutet, dass die KI nicht durch das Abrufen alter Daten betrügen kann.

2. Die „Jury“ der Richter (Vielfalt statt Zahlen)

Sobald die KI-Modelle diese frischen Fragen beantwortet haben, muss jemand sie bewerten. Man könnte eine einzige superintelligente KI bitten, sie zu bewerten, aber das ist riskant. Ein einzelner Richter könnte seltsame Voreingenommenheiten haben, wie zum Beispiel die Bevorzugung langer Antworten gegenüber kurzen, guten Antworten, oder Antworten mögen, die der eigenen Modellfamilie ähneln.

CoEval nutzt einen „Jury“-Ansatz. Es versammelt eine kleine Gruppe von Richtern aus verschiedenen Unternehmen (z. B. einen von OpenAI, einen von Anthropic, einen von Google).

Die Analogy: Denken Sie an einen Gerichtssaal. Wenn Sie einen Richter haben, der bekanntlich mürrisch ist, könnte das Urteil unfair sein. Aber wenn Sie eine Jury aus drei Personen mit unterschiedlichem Hintergrund haben, heben sich deren individuelle Eigenheiten gegenseitig auf. Wenn ein Richter lange Antworten mag und ein anderer sie hasst, wird der Durchschnittswert fair sein.
Die große Entdeckung: Die Arbeit fand heraus, dass es wichtiger ist, wer in der Jury sitzt, als wie viele Leute dort sind. Das Hinzufügen von mehr Richtern aus demselben Unternehmen verstärkt nur deren gemeinsame Voreingenommenheit. Tatsächlich ist eine kleine, diverse Jury unglaublich zuverlässig. Ein einzelner Richter kann manchmal „anti-korreliert“ sein (die falsche Antwort geben), aber eine diverse Jury tut dies fast nie.

3. Die „Kein-Mensch“-Fabrik

Normalerweise benötigt man Menschen, die Fragen schreiben und Antworten bewerten, um einen guten Test zu erstellen. Das ist langsam und teuer.

Die Analogy: CoEval ist wie eine vollautomatisierte Fabrik. Sie geben ihr einen Bauplan (eine Beschreibung Ihrer Aufgabe) und sie erstellt automatisch:
1. Entwirft die Testfragen.
2. Lässt die KI-Kandidaten den Test absolvieren.
3. Versammelt die diverse Jury, um die Antworten zu bewerten.
4. Spuckt ein finales Ranking aus.
Die Kosten: Die Autoren führten eine massive Studie mit fast 8.000 Auswertungen zum Preis einer Tasse Kaffee (5,89 $) durch. Es ist so günstig, dass Sie einen neuen Test jedes Mal durchführen können, wenn ein neues KI-Modell erscheint.

4. Warum das wichtig ist

Die Arbeit testete CoEval in drei realen Szenarien, in denen es keine „richtigen“ Antworten gab:

Wechselwirkungen von Medikamenten: Herauszufinden, ob zwei Medikamente kollidieren.
Klinische Argumentation: Das Diagnostizieren von Patientensymptomen.
Rechtsanalyse: Die Interpretation von Gesetzen.

In diesen Bereichen gibt es keine Standard-„Goldstandard“-Tests. CoEval konnte die Modelle erfolgreich bewerten und zeigte auf, welche für diese spezifischen Aufgaben am besten geeignet sind. Es deckte sogar auf, dass ein kleineres, günstigeres Modell tatsächlich schlechter war als ein größeres – etwas, was ein einzelner, voreingenommener Richter übersehen hätte.

Das Fazit

CoEval ist ein Werkzeug, das sagt: „Vertrauen Sie nicht den alten, auswendig gelernten Tests. Verlassen Sie sich nicht auf einen einzelnen Richter, der voreingenommen sein könnte. Erstellen Sie stattdessen einen frischen Test für Ihren spezifischen Job und lassen Sie ein diverses Team von KI-Richtern diesen bewerten.“

Es verwandelt den unordentlichen, teuren Prozess des Testens von KI in einen günstigen, wiederholbaren und fairen Prozess, den jedes Team nutzen kann, um die richtige KI für seine spezifischen Bedürfnisse zu finden.

Technisches Resümee: CoEval

Problemstellung

Praktiker stehen vor einem kritischen Engpass bei der Auswahl von Sprachmodellen für spezifische, maßgeschneiderte Anwendungen (z. B. die Zusammenfassung klinischer Notizen oder die Triage von Support-Tickets). Diese Herausforderung ergibt sich aus zwei konvergierenden Bedingungen:

Fehlen von gelabelten Daten: Der manuelle Aufbau eines repräsentativen, aufgabenspezifischen Benchmarks ist langsam, kostspielig und oft unmöglich für neue oder proprietäre Domänen.
Unzuverlässige öffentliche Benchmarks: Standardmäßige statische Benchmarks sind zunehmend kontaminiert. Testelemente sickern oft in die Pretraining-Korpora ein, was dazu führt, dass hohe Scores eher eine Memorierung widerspiegeln als Generalisierung oder Eignung für den spezifischen Anwendungsfall.

Bestehende Lösungen wie statische Benchmarks leiden unter Starrheit (mangelnde Erweiterbarkeit), Kontaminationsanfälligkeit und Generizität (mismatch bei den Input-Verteilungen). Gleichzeitig führen „LLM-as-judge“-Ansätze zwar zu Kosteneinsparungen und besserer Erweiterbarkeit, führen aber neue Biases ein, darunter Positional Bias, Verbosity Bias (Eloquenz-Bias) und Self-Preference (Richter, die Outputs aus ihrer eigenen Modellfamilie bevorzugen).

Methodik: Das CoEval-Framework

CoEval ist ein Open-Source-Framework, das deklarativ arbeitet, um eine frische, kontaminationsfreie Evaluierungspipeline zu generieren und Kandidatenmodelle ohne menschliche Labels zu ranken. Es operiert durch eine fünfphasige Pipeline, die durch eine einzige Konfigurationsdatei gesteuert wird und drei distinkte Rollen trennt: Teacher (Lehrer), Student (Schüler) und Judge (Richter).

1. Rollentrennung

Teacher: Synthetisiert domänenspezifische Benchmark-Items (Prompts und Referenzantworten), die auf deklarierten Zielattributen basieren.
Student: Die zu evaluierenden Kandidatenmodelle erzeugen Antworten auf die generierten Prompts.
Judge: Bewertet die Antworten der Studenten anhand einer automatisch generierten Rubrik.
Designprinzip: Das Set der Richter ist in der Anbieterfamilie explizit von den getesteten Studenten verschieden. Diese strukturelle Trennung verhindert, dass ein Modell seine eigene Familie bewertet, wodurch der Self-Preference-Kanal durch Design eliminiert wird.

2. Attribut-stratifizierte Generierung

Anstatt einer gleichmäßigen Stichprobenziehung definiert CoEval eine Menge von Zielattributen (z. B. Schwierigkeitsgrad, Thema, Reasoning-Typ) und führt die Generierung über deren Kreuzprodukt stratifiziert durch. Der Sampler garantiert eine Mindestanzahl an Items pro Stratum ( $n_s \ge \lfloor N/|S| \rfloor$ ), wodurch sichergestellt wird, dass auch Grenzfälle und Minderheitenregionen der Deployment-Verteilung abgedeckt werden. Da die Items bei jedem Durchlauf frisch aus der Attributspezifikation synthetisiert werden, sind sie strukturell resistent gegen Kontamination; sie können nicht in den Pretraining-Daten eines Studenten erschienen sein.

3. Cross-Family Judge Ensemble und Aggregation

Antworten werden von einem Panel von Richtern bewertet, die aus unterschiedlichen Modell-Vendoren stammen (z. B. OpenAI, Anthropic, Google, Open-Weight-Modelle).

Komposition statt Größe: Das Framework postuliert, dass Zuverlässigkeit durch die Diversität der Anbieter (Komposition) und nicht durch die Panelgröße getrieben wird. Ein großes Panel aus Modellen derselben Familie verstärkt gemeinsame Biases, während ein kleines, diverses Panel diese neutralisiert.
Bias-Kompensation: Einzelne Richter weisen oft Biases mit gemischten Vorzeichen auf (z. B. belohnt ein Richter Eloquenz, während ein anderer sie bestraft). Das Mitteln der Scores über ein durch Anbieter-Diversität geprägtes Panel hebt diese Biases auf.
Aggregation: Der Standard-Aggregator ist ein ungewichtetes Mittel. CoEval bietet zudem einen unüberwachten, reliabilitätsgewichteten Aggregator an, der Richter nach ihrer mittleren Übereinstimmung mit dem Panel-Konsens gewichtet und Ausreißer ohne Ground Truth abwertet.

Zentrale Beiträge

Selbstgenerierende, kontaminationsresistente Benchmarks: CoEval generiert bei jedem Durchlauf frische, attributgesteuerte Benchmarks, was sicherstellt, dass die Items niemals während des Student-Pretrainings gesehen wurden.
Durch Komposition getriebene Zuverlässigkeit: Die Arbeit etabliert, dass die Zusammensetzung des Judge-Panels (Anbieter-Diversität) und nicht die Größe der entscheidende Faktor für die Zuverlässigkeit ist. Ein kleines, gut gewähltes Cross-Family-Panel ist zuverlässiger als ein großes, homogenes.
Bias-kannalisierende Aggregation: Das Framework verhindert strukturell die Self-Preference innerhalb derselben Modellfamilie und kompensiert empirisch den Verbosity Bias durch die Aggregation eines diversen Panels.
Wiederverwendbares, Label-freies Framework: Es bietet eine deklarative, modellagnostische Pipeline, die für jede Domäne oder jeden Modell-Release kostengünstig regeneriert werden kann, und ersetzt damit statische Leaderboards durch erneuerbare, anwendungsspezifische Evaluierungen.

Empirische Ergebnisse

Das Framework wurde im Rahmen einer vier-Aufgaben umfassenden, mittelgroßen Studie (Summarization, QA, Code-Generierung, Reasoning) mit 7.978 Evaluationen validiert.

Korrelation mit der Ground Truth: Bei exakten QA-Aufgaben (SciQ, ARC-Challenge), für die Ground Truth existiert, folgen die Label-freien Scores von CoEval der Korrektheit mit einer Spearman-Korrelation von $\rho = 0,86$ . Es reproduziert erfolgreich das wahre Modell-Ranking (z. B. $gpt\text{-}4o\text{-}mini > gpt\text{-}3.5\text{-}turbo > llama\text{-}3.2\text{-}3b$ ).
Ensemble-Zuverlässigkeit: Die Zuverlässigkeit (gemessen durch ICC(3,k)) verläuft nicht-monoton in Bezug auf die Panelgröße. Ein ausgewähltes Zwei-Richter-Cross-Family-Panel erreichte einen ICC von 0,70, während das wahllose Hinzufügen von Richtern mit geringer Übereinstimmung die Zuverlässigkeit auf 0,40 senkte.
Judge-Choice Regret: Die Wahl eines einzelnen Richters ohne Labels ist riskant; die Kandidaten-Richter reichten von antikorreliert ( $\rho = -0,04$ ) bis positiv korreliert ( $\rho = 0,31$ ), was einem Regret von 0,35 entspricht. Das Cross-Family-Ensemble ist niemals antikorreliert.
Bias-Kompensation: Einzelne Richter zeigten Verbosity Biases zwischen $r = -0,177$ und $r = +0,234$ . Das Ensemble reduzierte den mittleren absoluten Bias um 93 %, was zu einer Korrelation zwischen Länge und Score von $r = +0,010$ führte (das Konfidenzintervall schließt Null ein).
Kontaminationsresistenz: Die von CoEval generierten Items zeigten eine Null-Überlappung bei Verbatim 13-Grammen mit fünf großen öffentlichen Benchmarks. Eine kontrollierte Studie zeigte, dass statische Benchmarks ein memorierendes 0,5B-Modell über ein Frontier-Modell ranken konnten, während frische CoEval-Items das Frontier-Modell korrekt höher einstuften.
Kosteneffizienz: Die gesamte Studie mit 7.978 Evaluationen kostete 5,89 USD (ca. 0,00074 USD pro Evaluation), was einen erneuten Durchlauf bei jedem Modell-Release ermöglicht.
Domänen-Fallstudien: Angewandt auf drei kundenspezifische Verticals (Wechselwirkungen bei Medikamenten, klinisch, rechtlich) ohne gelabelte Daten, lieferte CoEval verteidigungsfähige Rankings, bei denen die Richter entweder einstimmig übereinstimmten oder echte Diskrepanzen aufzeigten, die ein einzelner Richter verborgen hätte.

Bedeutung und Ansprüche

Das Paper behauptet, dass CoEval das Dilemma des „Keine-Daten, unzuverlässige-Benchmarks“-Problems löst, indem es ein erneuerbares, kontaminationsfreies und gegen Biases gehärtetes Evaluierungsinstrument bereitstellt. Die primäre Bedeutung liegt im Paradigmenwechsel von statischen, menschlich kuratierten Benchmarks hin zu dynamischen, deklarativen Pipelines.

Die Autoren betonen, dass Komposition über Größe ein fundamentales Designprinzip für das LLM-Judging ist: Ein diverses Cross-Family-Panel ist der risikoarme Standard, der Self-Preference neutralisiert und gemischte Biases ohne menschliche Kalibrierung aufhebt. Durch das Schließen des Kreises von der Item-Generierung bis zur Bewertung stellt CoEval sicher, dass sowohl die Evaluierungs-Items als auch die Richter robust gegenüber den spezifischen Versagensmodi (Memorierung und Bias) sind, die aktuelle Evaluierungspraktiken plagen. Das Framework wird nicht als einmaliger Benchmark, sondern als wiederverwendbares Werkzeug präsentiert, mit dem Teams ihre eigenen anwendungsspezifischen Leaderboards regenerieren können.