💻 computer science

Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation

Dieses Paper präsentiert eine systematische Validitätsprüfung von vier bedeutenden Tool-Calling-Benchmarks, die eine signifikante Diskrepanz zwischen Evaluator und Mensch sowie Reproduzierbarkeitsprobleme aufdeckt, welche die aktuellen Leaderboard-Scores untergraben, und schlägt eine vereinheitlichte Taxonomie von Fehlern zusammen mit neuen Tools wie Tool-Veritas und Harness Lab vor, um strengere, auditierbare und menschenorientierte Evaluierungsstandards zu etablieren.

Ursprüngliche Autoren: Vishvesh Bhat, Jay Vaghasiya, Muhammad Ahmed Mohsin, Asad Aali

Veröffentlicht 2026-07-07

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vishvesh Bhat, Jay Vaghasiya, Muhammad Ahmed Mohsin, Asad Aali

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Trainer, der herausfinden möchte, welcher seiner Athleten am besten darin ist, ein komplexes Videospiel zu spielen, das das Lösen von Rätseln, das Verwalten von Inventar und das Sprechen mit NPCs (Nicht-Spieler-Charakteren) beinhaltet. Um den Gewinner zu ermitteln, setzen Sie eine Reihe von Herausforderungen auf und nutzen einen Scorekeeper (Punktezähler), um deren Leistung zu bewerten.

Dieses Papier ist im Wesentlichen ein forensisches Audit der Scorekeeper selbst. Die Autoren, Forscher von CoreThink AI und Stanford, stellten eine einfache, aber schockierende Frage: "Messen die Scores, die wir sehen, tatsächlich die Fähigkeiten der Athleten, oder messen sie nur, wie fehlerhaft die Scorekeeper sind?"

Hier ist das, was sie herausgefunden haben, erklärt durch Alltagsanalogien.

1. Das Problem: Der Scorekeeper ist unzuverlässig

Die Forscher untersuchten vier große „Scorekeeping-Systeme“ (Benchmarks), die derzeit verwendet werden, um KI-Agenten zu ranken. Sie nahmen 496 spezifische Aufgaben und ließen menschliche Experten beobachten, wie die KI spielte, und verglichen dann das Urteil des Menschen mit der Note des Computer-Scorekeepers.

Das Ergebnis: Die Scorekeeper lagen in 18,5 % der Fälle falsch.

False Negatives (Falsch-negative Ergebnisse): Die KI hat das Rätsel tatsächlich gelöst, aber der Scorekeeper gab ihr ein „U“ (ungenügend), weil sie einen winzigen, irrelevanten Fehler gemacht hat (wie ein fehlendes Komma oder eine leicht andere Art, eine Antwort zu formulieren).
False Positives (Falsch-positive Ergebnisse): Die KI hat das Rätsel nicht gelöst, aber der Scorekeeper gab ihr ein „A“, weil er das Scheitern nicht bemerkt hat.

Die Analogie: Stellen Sie sich vor, ein Schüler löst korrekt eine Matheaufgabe, schreibt das Endergebnis aber als „42“ statt als „42.“. Der Lehrer (der KI-Agent) weiß, dass die Mathematik richtig ist, aber die automatisierte Bewertungsmaschine (die Benchmark) gibt dem Schüler eine schlechte Note, weil sie eine exakte Zeichenübereinstimmung verlangt. Umgekehrt könnte ein Schüler die Antwort falsch haben, aber wenn die Bewertungsmaschine verwirrt ist, könnte sie ihm versehentlich die volle Punktzahl geben.

2. Zwei Arten von fehlerhaften Scorekeepern

Das Papier fand heraus, dass die Scorekeeper auf zwei sehr unterschiedliche Arten versagen, je nachdem, wie sie gebaut sind.

Typ A: Der „Starre Roboter“ (Deterministische Benchmarks)

Diese Systeme sind wie ein strenger Sicherheitsdienst, der Sie nur reinlässt, wenn Ihr Ausweis exakt mit dem Foto übereinstimmt, bis auf den kleinsten Pixel.

Der Fehler: Sie sind „brüchig“ (brittle). Wenn die KI das Richtige tut, aber in einer leicht anderen Reihenfolge, oder wenn sich eine Datenbank auf eine Weise aktualisiert, die der Roboter nicht erwartet hat, gerät der Roboter in Panik und markiert es als Fehler.
Beispiel aus der Realität aus dem Papier: Eine KI stornierte korrekt zwei Flugreservierungen und berechnete die Kosten für die verbleibenden Flüge. Der Scorekeeper erwartete jedoch eine spezifische Zahl ($1.628), die die stornierten Flüge einschloss. Da die KI die korrekte Antwort auf die Anfrage des Nutzers gab, aber die falsche Zahl für das starre Skript des Scorekeepers lieferte, wurde die KI als gescheitert gewertet.

Typ B: Der „Betrunkene Richter“ (LLM-Judge Benchmarks)

Diese Systeme nutzen eine andere KI, um die erste KI zu bewerten. Es ist, als würde man einen Schüler seine eigenen Hausaufgaben bewerten lassen, aber der Beurteiler ist auch ein Schüler, der müde und inkonsistent ist.

Der Fehler: Sie sind „stochastisch“ (zufällig). Wenn Sie denselben Test zweimal durchführen, kann der „Betrunkene Richter“ zwei völlig unterschiedliche Scores vergeben.
Beispiel aus der Realität aus dem Papier: Die Forscher ließen denselben Benchmark 23 Mal laufen. Der Score schwankte wild zwischen 57,9 % und 76,8 %. Das ist ein Unterschied von 18,9 Prozentpunkten! Wenn Sie diesen Test auf einer Bestenliste (Leaderboard) durchgeführt hätten, könnte der „Gewinner“ sich allein deshalb geändert haben, weil der Richter an diesem Tag eine andere Stimmung hatte, nicht weil die KI klüger geworden ist.

3. Die Konsequenz: Ein kaputtes Leaderboard

Da die Scorekeeper so unzuverlässig sind, sind die aktuellen „Leaderboards“ (Listen, die die besten KI-Modelle ranken) irreführend.

Die Analogie: Stellen Sie sich ein Rennen vor, bei dem sich die Ziellinie jedes Mal zufällig verschiebt, wenn ein Läufer sie überquert. Manchmal liegt die Linie 10 Meter zurück, manchmal 10 Meter vorwärts. Wenn Sie der Welt sagen, wer gewonnen hat, basierend auf einem einzigen Durchgang, lügen Sie. Das Papier argumentiert, dass aktuelle KI-Rankings oft die Fehler des Tests widerspiegeln und nicht die Fähigkeit der KI.

4. Die Lösung: Ein neuer Weg der Bewertung

Die Autoren haben nicht nur kritisiert; sie haben zwei neue Werkzeuge gebaut, um das Problem zu lösen.

Tool-Veritas: Der „Fakten-Zuerst“-Richter

Dies ist ein neues Bewertungssystem, das versucht, das Beste aus beiden Welten zu vereinen.

Wie es funktioniert: Zuerst prüft es die Fakten mithilfe eines starren, unveränderlichen Roboters. Wurde die Datei gespeichert? Wurde das Bankkonto aktualisiert? Wenn die Fakten falsch sind, ist der Test beendet.
Das Sicherheitsnetz: Nur wenn die Fakten perfekt sind, lässt es einen menschenähnlichen KI-Richter den „Stil“ oder den „Tonfall“ der Antwort bewerten.
Das Ergebnis: Dieses neue System stimmte in 95,5 % der Fälle mit menschlichen Experten überein, was eine massive Verbesserung gegenüber der Übereinstimmung von 69–90 % der alten Systeme darstellt.

Harness Lab: Die „Wiederholungstaste/Replay-Kamera“

Dies ist eine Software, die wie ein Sportübertragungssystem für Wiederholungen funktioniert.

Was es tut: Es speichert jede einzelne Bewegung der KI, jede Fehlermeldung und jede Entscheidung des Scorekeepers.
Warum es wichtig ist: Wenn ein Score seltsam aussieht, können Sie auf „Zurückspulen“ drücken, den exakten Moment ansehen, in dem die KI oder der Richter einen Fehler gemacht hat, und dies korrigieren. Es macht den Bewertungsprozess transparent und prüfbar (auditierbar), anstatt eine „Black Box“ zu sein, bei der man nur eine endgültige Zahl erhält.

Zusammenfassung

Das Papier kommt zu dem Schluss, dass wir den aktuellen „Scores“ von KI-Agenten nicht trauen können, weil die Tests selbst fehlerhaft sind. Um zu wissen, ob eine KI tatsächlich besser wird, benötigen wir Tests, die:

Reproduzierbar sind: Den Test zweimal auszuführen sollte das gleiche Ergebnis liefern.
Auditierbar sind: Wir müssen in der Lage sein, zu sehen, warum eine Note gegeben wurde.
Mit Menschen übereinstimmen: Der Test sollte mit dem übereinstimmen, was ein menschlicher Experte als Erfolg betrachtet.

Die Autoren haben ihr neues „Fakten-Zuerst“-Testverfahren und ihre „Replay-Kamera“-Software veröffentlicht, um der Community zu helfen, bessere, fairere Benchmarks zu bauen.

Technisches Resümee: Benchmarking der Benchmarks: Eine Validitätsprüfung von Tool-Calling-Evaluations

Problemstellung

Tool-Calling-Benchmarks sind zum primären Mechanismus für die Messung des Fortschritts von Sprachmodell-Agenten geworden, doch ihre Scores werden häufig als absolute Wahrheit behandelt, ohne die Evaluatoren selbst zu validieren. Dieses Paper argumentiert, dass aktuelle Benchmark-Scores oft Eigenschaften des Evaluators widerspiegeln und nicht die tatsächlichen Fähigkeiten des Agenten. Die Autoren identifizieren zwei primäre Fehlermodi über bestehende Paradigmen hinweg:

Deterministische Benchmarks: Leiden unter brüchigem State-Matching, Trajektorien-Fixierung (Trajectory Lock-in), fehlerhaften Ground-Truth-Annotationen, Substring-basierten Kommunikationsfehlern und einer Fehlausrichtung der Belohnungsbasis (Reward-Basis Misalignment). Dies führt häufig zu False Negatives (gültige Aufgaben werden als Fehlschläge markiert) oder False Positives (ungültige Aufgaben werden als Erfolge markiert).
LLM-Judge-Benchmarks: Weisen Rubrik-Drift (Rubric Drift), halluzinierte Vervollständigungen, rein antwortbasierte Bewertung (Answer-only Scoring) und eine erhebliche Varianz zwischen aufeinanderfolgenden Durchläufen auf. Diese führen zu einer Instabilität der Scores, die die Schlussfolgerungen auf Leaderboards ändern kann, ohne dass sich die evaluierte Modellleistung verändert hat.

Das Kernproblem besteht darin, dass bestehende Benchmarks die grundlegenden Validitätsanforderungen nicht erfüllen: die korrekte Unterscheidung zwischen erfolgreichen und erfolglosen Ausführungen, die getreue Erfassung der Nutzerintention und die Erzeugung reproduzierbarer Scores unter wiederholter Evaluierung.

Methodik

Die Autoren führten eine systematische Validitäts- und Reproduzierbarkeitsprüfung von vier großen Tool-Calling-Benchmark-Familien durch: BFCL v4, τ 2-Bench, LiveMCPBench und MCP-Atlas.

Audit-Framework

Das Audit umfasste ein dreistufiges Verfahren:

Reproduktion: Reproduktion der Benchmark-Evaluierungen, um vollständige Ausführungstraces, Tool-Aufrufprotokolle, Evaluator-Outputs und Umgebungzustände zu sammeln.
Menschliche Adjudikation: Drei unabhängige Experten-Annotatoren überprüften 496 Task-Ausführungen. Sie inspizierten den vollständigen Interaktionstrajektorien, Tool-Sequenzen, Zustandsübergänge und Endergebnisse, um ein menschliches Label ( $h_i \in \{PASS, FAIL\}$ ) zuzuweisen.
Ursachenanalyse (Root-Cause Analysis): Vergleich der offiziellen Benchmark-Labels ( $y_i$ ) mit den menschlichen Urteilen, um Diskrepanzen ( $\delta_i = 1[y_i \neq h_i]$ ) zu identifizieren. Diskrepanzen wurden in False Negatives und False Positives kategorisiert und einer vereinheitlichten Fehler-Taxonomie zugeordnet.

Infrastruktur

Die Autoren entwickelten Harness Lab, ein Open-Source-System, das zur Durchführung des Audits verwendet wurde. Harness Lab bewahrt Rohartefakte, bietet Diagnosen auf Turn-Ebene, unterstützt selektive Retries fehlgeschlagener Fälle und ermöglicht Vergleiche zwischen wiederholten Durchläufen, um die Variabilität der Scores zu messen.

Vorgeschlagene Lösungen

Um die identifizierten Einschränkungen zu adressieren, führt das Paper Folgendes ein:

Tool-Veritas: Ein konfigurierbarer Benchmark, der ein „Deterministic-First“-Protokoll nutzt. Er verwendet deterministische State-Gates, um faktische Ergebnisse zu verifizieren (z. B. Dateierstellung, Datenbankaktualisierungen), und beschränkt das LLM-Judging auf qualitative Kriterien erst nachdem die deterministischen Gates bestanden wurden. Zudem beinhaltet es ein begrenztes Repair-Fenster, um die Wiederherstellungsfähigkeit (Recovery) des Agenten zu messen.
Dekomponierte Metriken: Ein Framework, das die Evaluierung in drei unabhängige Komponenten unterteilt: Korrektheit des Tool-Aufrufs, Korrektheit des Task-Abschlusses und Verifizierung des Ergebnisses.

Kernergebnisse

Abweichung zwischen Evaluator und Mensch (Evaluator-Human Misalignment)

Im Rahmen der 496 Experten-überprüften Tasks identifizierte das Audit 92 Diskrepanzen zwischen Evaluator und Mensch, was einer aggregierten Fehlerrate von 18,5 % entspricht.

BFCL v4: 20,0 % Fehlerrate (40 Diskrepanzen). Die Fehler wurden dominiert durch instance_state_mismatch (80 %), wobei der Evaluator irrelevante Zustandsunterschiede oder Interpunktion bestrafte, anstatt den Erfolg der Aufgabe zu bewerten.
τ 2-Bench Retail: 9,8 % Fehlerrate (11 Diskrepanzen). Zu den Fehlern gehörten False Negatives aufgrund brüchiger Substring-Checks (z. B. Ablehnung einer korrekten Antwort, weil eine spezifische Zahlenzeichenfolge fehlte) und False Positives, bei denen unveränderte Datenbankzustände fälschlicherweise als Erfolg gewertet wurden.
MCP-Atlas: 13,5 % Fehlerrate (12 Diskrepanzen).
LiveMCPBench: 30,5 % Fehlerrate (29 Diskrepanzen), der höchste Wert unter den geprüften Benchmarks.

Reproduzierbarkeit von LLM-Judges

Das Audit von LiveMCPBench offenbarte eine signifikante Instabilität. In 23 wiederholten Evaluierungen desselben 95-Task-Setups reichten die Scores von 57,9 % bis 76,8 %, eine Spanne von 18,9 Prozentpunkten. Diese Varianz ist groß genug, um Rankings auf Leaderboards zu verändern, was darauf hindeutet, dass ein Single-Run-Score für einen feingranularen Modellvergleich unzureichend ist.

Performance von Tool-Veritas

Bei der Evaluierung von 70 Tasks über sechs Modelle hinweg erreichte Tool-Veritas eine aggregierte Übereinstimmung von 95,5 % mit Experten-Trace-Level-Urteilen.

Alle 19 Diskrepanzen waren False Negatives (der Benchmark war strenger als der menschliche Experte).
Es gab null False Positives (der Benchmark hat nie eine Ausführung als erfolgreich gewertet, die von einem menschlichen Reviewer abgelehnt wurde).
Dies deutet darauf hin, dass die Trennung von deterministischer Verifizierung und qualitativer Bewertung die unbegründeten Erfolgsmeldungen signifikant reduziert und gleichzeitig eine hohe Übereinstimmung mit der menschlichen Intention wahrt.

Bedeutung und Thesen

Das Paper behauptet, dass der Fortschritt bei Tool-nutzenden Agenten Benchmarks erfordert, deren Evaluatoren selbst reproduzierbar, auditierbar und mit menschlichen Urteilen über den Task-Erfolg abgestimmt sind.

Validität vor Skalierung: Die Autoren argumentieren, dass eine Erhöhung der Task-Skala oder -Abdeckung unzureichend ist, wenn die Evaluierungslogik fehlerhaft ist. Aktuelle Scores spiegeln oft Artefakte des Evaluators wider (z. B. API-Instabilität, Judge-Bias, starres State-Matching) statt der tatsächlichen Agenten-Kapazität.
Taxonomie des Scheiterns: Die Arbeit liefert eine vereinheitlichte Taxonomie von Evaluierungsfehlern, die zwischen deterministischen Problemen (brüchiges Matching, Annotationsfehler) und stochastischen Problemen (Rubrik-Drift, Judge-Varianz) unterscheidet.
Infrastruktur zum Debugging: Durch die Veröffentlichung von Harness Lab und korrigierten Evaluierungskomponenten plädieren die Autoren für einen Wechsel hin zu einem transparenten, inspizierbaren Benchmarking, bei dem Rohartefakte und menschliche Adjudikationen bewahrt und zugänglich bleiben.
Design-Prinzip: Die Autoren schlagen vor, dass zukünftige Benchmarks einen „Deterministic-First“-Ansatz verfolgen sollten, indem sie LLM-Judges nur für Kriterien einsetzen, die nicht als Zustandsprädikate (State Predicates) darstellbar sind, um zu verhindern, dass flüssige, aber inkorrekte Antworten als korrekt gewertet werden.

Die Ergebnisse legen nahe, dass das Feld sich von der Behandlung von Benchmark-Scores als absolute Wahrheit weg zu einem Modell der Evaluierung bewegen muss, das Evaluierungsfehler explizit berücksichtigt und abmildert.