💬 NLP

(Towards) Scalable Reliable Automated Evaluation with Large Language Models

Dieses Paper stellt ein skalierbares, domänenunabhängiges Framework vor, das paarweise Vergleiche zwischen mehreren LLMs und ein Elo-Rating-System nutzt, um zuverlässige, expertenhafte Bewertungen von LLM-Outputs mit anpassbaren Konfidenzschwellen zu generieren und dadurch den Bedarf an menschlicher Intervention signifikant zu reduzieren.

Ursprüngliche Autoren: Bertil Braun, Martin Forell

Veröffentlicht 2026-07-31

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bertil Braun, Martin Forell

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Herausgeber einer riesigen, chaotischen Bibliothek, in der täglich Tausende neuer Bücher von einer Flotte superintelligenter Roboter geschrieben werden. Diese Roboter, bekannt als Large Language Models (LLMs), können Geschichten schreiben, Fragen beantworten und komplexe Ideen zusammenfassen – und das mit unglaublicher Geschwindigkeit. Aber der Haken ist der: Woher wissen Sie, welcher Roboter die beste Geschichte geschrieben hat? In den alten Tagen bräuchten Sie ein Team von menschlichen Bibliothekaren, die jede einzelne Seite lesen, sie vergleichen und darüber streiten müssten, wer der Beste war. Das dauert ewig, kostet ein Vermögen und verschiedene Bibliothekare könnten darüber uneins sein, was „gut“ überhaupt bedeutet. Dies ist das Problem, das Wissenschaftler auf dem Gebiet der Künstlichen Intelligenz zu lösen versuchen: Einen Weg zu finden, um das Schreiben der Roboter zu bewerten, der schnell, fair ist und keinen Menschen erfordert, der jedes Wort liest. Um dies zu erreichen, nutzen sie ein paar clevere Tricks. Erstens lassen sie die Roboter sich gegenseitig bewerten, wie ein Gremium von Kritikern. Zweitens nutzen sie ein Bewertungssystem, das dem Schach entlehnt ist, die sogenannte Elo-Zahl, die Spieler basierend darauf rankt, wer wen in direkten Duellen besiegt. Schließlich schauen sie sich an, wie gut die Roboter-Richter mit tatsächlichen menschlichen Experten übereinstimmen, um zu sehen, ob das System funktioniert.

Dieses Paper stellt eine neue, skalierbare Methode vor, um die Qualität von Texten zu bewerten, die von diesen KI-Robotern generiert wurden. Anstatt einen einzelnen Roboter darum zu bitten, eine Punktzahl zu vergeben (was voreingenommen oder inkonsistent sein kann), lassen die Autoren ein massives Turnier veranstalten. Sie nehmen eine Vielzahl verschiedener Textausgaben – wie etwa Zusammenfassungen wissenschaftlicher Forschung – und lassen mehrere verschiedene KI-Modelle in „Head-to-Head“-Matches gegeneinander antreten. In jedem Match werden zwei Texte einem KI-Richter vorgelegt, der entscheiden muss, welcher besser ist, basierend auf spezifischen Regeln. Um sicherzustellen, dass der Richter nicht einfach den Text wählt, der zuletzt erscheint oder der wortreicher ist, vertauscht das System die Reihenfolge der Texte und nutzt mehrere verschiedene KI-Modelle, um über den Sieger abzustimmen.

Sobald alle Matches gespielt wurden, werden die Ergebnisse in ein Elo-Bewertungssystem eingespeist. Denken Sie an dies wie an eine Schach-Bestenliste: Wenn ein Text gegen einen starken Gegner gewinnt, erhält er viele Punkte; wenn er verliert, verliert er Punkte. Im Laufe der Zeit erstellt dies eine klare, geordnete Liste vom „besten“ bis zum „schlechtesten“ Text. Die Autoren testeten dies, indem sie KI-Modelle dazu brachten, „Kompetenzprofile“ (Zusammenfassungen dessen, worin ein Forscher gut ist) basierend auf wissenschaftlichen Abstracts zu erstellen. Sie verglichen dann die KI-generierten Ranglisten mit den Ranglisten, die von 20 menschlichen Experten erstellt wurden. Die Ergebnisse legen nahe, dass, wenn mehrere KI-Modelle gemeinsam abstimmen, ihre Ranglisten den menschlichen Experten überraschend ähnlich sind. Tatsächlich arbeitete die Verwendung einer einfachen Mehrheitsentscheidung (bei der die KI nur eine 50-prozentige Übereinstimmung benötigt, um einen Sieger zu erklären) besser als die Forderung nach völliger Einstimmigkeit, was oft zu zu vielen „Unentschieden“ und keinem klaren Sieger führte. Die Studie zeigt, dass diese Methode den Bedarf erheblich reduzieren kann, dass Menschen die schwere Arbeit leisten müssen, und bietet einen zuverlässigen, automatisierten Weg, um riesige Mengen an KI-generierten Inhalten zu sortieren. Die Autoren merken jedoch an, dass dieser Prozess immer noch rechenintensiv ist, da er viele Vergleiche erfordert, und dass er am besten funktioniert, wenn mehrere verschiedene KI-Modelle verwendet werden, um die Eigenheiten und Vorurteile der jeweils anderen auszugleichen.

Technisches Resümee: Auf skalierbare, zuverlässige automatisierte Evaluierung mit Large Language Models zugehen

Problemstellung

Die Bewertung der Qualität und Relevanz textueller Ausgaben von Large Language Models (LLMs) bleibt eine erhebliche Herausforderung. Traditionelle Ansätze stehen vor zwei primären Einschränkungen:

Menschliches Urteil: Während es genau ist, ist es ressourcenintensiv, inkonsistent und schwer skalierbar.
Referenzbasierte Metriken: Standardmetriken (z. B. BLEU, ROUGE) verlassen sich auf explizite Referenzstandards, was ihren Nutzen bei offenen oder kreativen Aufgaben einschränkt, bei denen keine objektiven Benchmarks existieren. Darüber hinaus erfassen diese Metriken oft nicht die nuancierte Variabilität, die in LLM-generierten Texten inhärent ist.

Bestehende automatisierte Methoden, wie etwa das Scoring durch ein einzelnes LLM oder referenzfreie probabilitätsbasierte Metriken, weisen oft eine begrenzte Korrelation mit menschlichen Urteilen auf und leiden unter Biases (z. B. Positions-, Verbositäts- und Stil-Biases). Es besteht ein kritischer Bedarf an einem robusten, skalierbaren und domänenagnostischen Evaluierungsrahmen, der Expertenbewertungen ohne umfangreiches menschliches Eingreifen annähernd reproduzieren kann.

Methodik

Das Paper schlägt einen dreistufigen Evaluierungsrahmen vor, der mehrere LLMs und ein Elo-Rating-System nutzt, um stabile, interpretierbare Rankings von Textausgaben in freier Form zu generieren.

1. Pipeline-Übersicht

Die Methodik besteht aus drei distinkten Phasen:

I. Item-Generierung: Mehrere Kandidatenausgaben (Items) werden für eine gegebene Aufgabe (z. B. Zusammenfassung oder Extraktion von Kompetenzprofilen) generiert. Die Diversität wird durch variierende Hyperparameter, unterschiedliche LLMs oder alternative Schreibstile sichergestellt.
II. Systematischer paarweiser Vergleich: Anstatt absolute Scores zuzuweisen (die anfällig für Subjektivität sind), führt der Rahmen direkte Item-zu-Item-Vergleiche durch.
- Multi-LLM-Aggregation: Mehrere LLMs bewerten jedes Paar, um individuelle Modell-Biases zu reduzieren.
- Bidirektionale Evaluierung: Um den Positions-Bias zu mildern, wird jedes Paar in beiden Reihenfolgen bewertet (z. B. „Ist A besser als B?“ und „Ist B besser als A?“).
- Prompt Engineering: Das System setzt SOTA-Techniken ein, einschließlich Role Prompting, Chain-of-Thought (CoT) Reasoning und Retrieval-Augmented Generation (RAG). RAG wird verwendet, um kontextuell relevante Beispiele in die Prompts einzuspeisen, wodurch ein Few-Shot-Szenario geschaffen wird, das die LLMs zu konsistenten Kriterien führt.
III. Elo-Rating-System: Die Ergebnisse der paarweisen Vergleiche werden unter Verwendung des Elo-Rating-Systems aggregiert, um ein finales globales Ranking zu erstellen. Dieses dynamische System aktualisiert Item-Ratings basierend auf Sieg/Niederlage/Unentschieden-Ergebnissen, wodurch sichergestellt wird, dass die Rankings die relative Qualität widerspiegeln.

2. Handhabung multipler Evaluierungen und Konsens-Schwellenwerte

Um die Urteile mehrerer LLMs zu harmonisieren, untersucht der Rahmen zwei Aggregationsstrategien:

Schwellenwert-basierter Konsens: Ein paarweises Urteil resultiert nur dann in einem Sieg/Niederlage, wenn ein spezifizierter Prozentsatz der LLMs übereinstimmt (z. B. 100 %, 75 %, 50 %). Wenn der Schwellenwert nicht erreicht wird, wird der Vergleich als Unentschieden gewertet.
Kein Schwellenwert (Individuelle Updates): Jedes Urteil eines LLM löst ein unabhängiges Elo-Update aus. Dieser Ansatz aggregiert Signale proportional (z. B. wenn 80 % A bevorzugen, spiegelt das Update einen Netto-Push von 60 % in Richtung A wider) statt die Urteile in eine einzige binäre Entscheidung oder ein Unentschieden zu kollabieren.

3. Bias-Mitigierung

Der Rahmen adresset spezifische LLM-Biases durch:

Neutrales Prompting: Sorgfältig gestaltete Prompts, um eine Beeinflussung der Urteile zu vermeiden.
Bidirektionale Checks: Umkehrung der Item-Reihenfolge, um den Positions-Bias zu kontern.
RAG-Integration: Nutzung abgerufener Beispiele, um die Bewertungen in etablierten Kriterien zu verankern und so Stil- und Verbositäts-Biases zu reduzieren.

Experimentelle Implementierung

Der Rahmen wurde implementiert und getestet anhand eines spezifischen Anwendungsfalls: der Generierung von Kompetenzprofilen aus wissenschaftlichen Abstracts.

Daten: Die Abstracts wurden aus öffentlichen Repositorien (KITopen, OpenAlex) bezogen.
Generierung: Ein llama-3.1-70B-Modell generierte Kompetenzprofile (Identifizierung von Forschungsbereichen und 5–8 Schlüsselkompetenzen) aus den Abstracts.
Evaluierung: Mehrere SOTA-LLMs (einschließlich gemma2-9b-it, llama-3.1-8b, gpt-4o-mini, gemini-2.0-flash und mixtral-8x7b) führten paarweise Vergleiche der generierten Profile gegen die Quell-Abstracts durch.
Ground Truth: 20 menschliche Experten stellten ihre eigenen Forschungs-Abstracts zur Verfügung und rankten die generierten Profile manuell hinsichtlich Relevanz und Genauigkeit.

Ergebnisse

Die Studie verglich automatisierte Rankings (via Elo) mit Experten-Rankings unter Verwendung des Spearman-Rangkorrelationskoeffizienten ( $\rho$ ) und des Kendall-Tau ( $\tau$ ).

Multi-LLM-Performance:
- Hohe Konsens-Schwellenwerte (1.0 oder 0.9) führten zu moderaten Korrelationen, litten aber unter hohen Unentschieden-Raten, was informative partielle Übereinstimmungen verworfen hat.
- Das Absenken des Schwellenwerts auf eine einfache Mehrheit (0.5) oder die Verwendung des „No-Threshold“-Ansatzes lieferte die stärksten Korrelationen mit Experten-Urteilen.
- Beste Ergebnisse: Das Multi-LLM-Setup mit einem 0.5-Schwellenwert erreichte einen Spearman $\rho$ von 0.830 und einen Kendall $\tau$ von 0.780. Der No-Threshold-Ansatz performte ähnlich ( $\rho$ = 0.820).
- Die Ergebnisse legen nahe, dass diverse LLMs einander kollektiv das Rauschen moderieren, was den No-Threshold-Ansatz effektiv macht.
Single-LLM-Performance:
- Bei der Verwendung eines einzelnen Modells (llama-3.1-8b) war der No-Threshold-Ansatz weniger effektiv als der 0.5-Schwellenwert, da widersprüchliche Signale nicht durch andere Modelle ausgeglichen werden konnten.
- Dennoch übertrafen selbst in Single-Model-Szenarien niedrigere Schwellenwerte (0.5) hohe Konsens-Anforderungen.
Robustheit: Die Korrelationen blieben stabil (innerhalb von $\pm 0.03$ ), wenn die Schwellenwerte zwischen 0.50 und 0.75 variiert wurden, was zeigt, dass die finalen Rankings robust gegenüber dieser Parameterwahl sind.

Zentrale Beiträge

Neuartiger Rahmen: Einführung eines skalierbaren Evaluierungsrahmens, der Expertenbewertungen durch paarweise Vergleiche mehrerer LLMs und ein Elo-Rating-System annähernd repliziert.
Strategie zur Bias-Mitigierung: Ein systematischer Ansatz zur Reduzierung von LLM-Biases (Position, Verbosisität, Stil) durch bidirektionale Evaluierung, RAG-gestütztes Prompting und Multi-Modell-Aggregation.
Flexible Aggregation: Vorschlag und Evaluierung anpassbarer Konsens-Schwellenwerte (von voller Einstimmigkeit bis hin zur Mehrheitsentscheidung) sowie einer „No-Threshold“-Variante, die die Proportionalität der Signale bewahrt.
Empirische Validierung: Demonstration, dass automatisch abgeleitete Rankings gut mit Experten-Urteilen korrelieren (Spearman $\rho \approx 0.83$ ), was den Bedarf an umfangreichem menschlichem Eingreifen signifikant reduziert.
Interpretierbarkeit: Die Nutzung von Elo-Scores ermöglicht die Quantifizierung von Leistungsunterschieden (z. B. impliziert ein Unterschied von 100 Punkten eine ~64%ige Gewinnwahrscheinlichkeit), was mehr Einblick bietet als ein einfaches Ranking.

Bedeutung und Behauptungen

Das Paper behauptet, eine skalierbare, konsistente und domänenagnostische Evaluierungsebene für LLM-Ausgaben anzubieten. Durch die Nutzung der kollektiven Intelligenz mehrerer Modelle und der statistischen Robustheit des Elo-Systems adressiert der Rahmen die Limitationen sowohl der menschlichen Skalierbarkeit als auch referenzbasierter Metriken.

Die Autoren betonen, dass dieser Ansatz effizientere und zuverlässigere Qualitätsbewertungen über diverse Anwendungen hinweg unterstützt, insbesondere für die Generierung von Texten in freier Form, bei denen keine objektiven Benchmarks verfügbar sind. Während die Methode den menschlichen Arbeitsaufwand erheblich reduziert, wahrt das Paper eine bescheidene Haltung und räumt ein, dass sie als Annäherung an das Expertenurteil dient und kein perfekter Ersatz ist. Der Rahmen wird als Werkzeug präsentiert, um die menschliche Aufsicht zu unterstützen, statt sie vollständig zu ersetzen, insbesondere bei Entscheidungen mit hoher Tragweite.

Limitationen

Das Paper weist explizit auf mehrere Limitationen hin:

Rechenaufwand: Die $O(n^2)$ -Anforderung für paarweise Vergleiche, multipliziert mit den Inferenz-Aufrufen mehrerer LLMs, erzeugt signifikante Kosten, insbesondere bei kommerziellen Modellen.
Transitivitätsprobleme: LLM-Vergleiche können mangelnde Transitivität aufweisen, was die Nutzung von vergleichsbasierten Sortieralgorithmen erschwert, um die Komplexität auf $O(n \log n)$ zu reduzieren.
Subtile Unterschiede: Wenn Items nahezu äquivalent sind, können individuelle LLM-Biases zu divergierenden Ergebnissen führen, obwohl das Elo-System hilft, dies als „praktisch unentschieden“ zu kennzeichnen.
Größe des Expertenpools: Die Validität der Ergebnisse ist durch die aktuelle Größe und Diversität des verwendeten Expertenpools für die Ground Truth begrenzt.