🤖 AI

Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents

Dieses Paper argumentiert, dass aktuelle Leaderboards mit aggregierten Scores die reale Leistungsfähigkeit von LLM-Agenten nicht vorhersagen können, da sie nicht in der Lage sind, diverse Deployment-Dimensionen zu erfassen, und schlägt stattdessen ein Framework zur prädiktiven Validität vor, das die Rangstabilität in Out-of-Distribution-Szenarien durch einen neuen zwölfstufigen Messapparat priorisiert.

Ursprüngliche Autoren: Dhaval C. Patel, Kaoutar El Maghraoui, Shuxin Lin, Yusheng Li, Tianjun Feng, Chun-Yi Tsai, Yihan Sun, Wei Alexander Xin, Akshat Bhandari, Tanisha Rathod, Aaron Fan, Sanskruti Vijay Shejwal, Tomas Pasi

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dhaval C. Patel, Kaoutar El Maghraoui, Shuxin Lin, Yusheng Li, Tianjun Feng, Chun-Yi Tsai, Yihan Sun, Wei Alexander Xin, Akshat Bhandari, Tanisha Rathod, Aaron Fan, Sanskruti Vijay Shejwal, Tomas Pasiecznik, Sagar Chethan Kumar, Tanmay Agarwal, Rohith Kanathur, Sam Colman, Amaan Sheikh, Dev Bahl, Ann Li, Krish Veera, Alimurtaza Mustafa Merchant, Shambhawi Baswaraj Bhure, Sajal Kumar Goyla, Chengrui Li, Kirthana Natarajan, Rui Li, Thomas Ajai, Rujing Li, Vivek G. Iyer, Sanjaii Vijayakumar, Yitong Bai, Ayal Yakobe, Darief Maes, Yassine Jebbouri, Tianyang Xu, Thai Quoc On, Vera Mazeeva, Winston Li, Yuval Shemla, Yeshitha Bhuvanesh, Rushin Bhatt, Siddharth Chethan Gowda, Alisha Vinod, Caroline Cahill, Shriya Aishani Rachakonda, Yunfeng Chen, Aryaman Agrawal, Aman Upganlawar, Mao Le Jonathan Ang, Yubin Sally Go, Madhav Rajkondawar, Yang-Jung Chen, Trisha Maturi, Ananya Kapoor, Andrew Li, Shrey Arora, Mana Abbaszadeh, Shen Li, Charles Xu, Byeolah Kwon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den besten Mechaniker für eine Flotte komplexer Industriemaschinen (wie riesige Klimaanlagen oder Stromnetztransformatoren) einzustellen. Derzeit nutzt die Branche ein Leaderboard (eine Bestenliste), um zu entscheiden, wen man einstellt. Dieses Leaderboard ist wie ein Zeugnis, das jedem Mechaniker eine einzige Note gibt, zum Beispiel „85 von 100“.

Dieses Papier argumentiert, dass diese einzelne Note eine Falle ist. Sie sagt Ihnen zwar, wer bei einem bestimmten Test „gut“ abgeschnitten hat, aber sie verrät Ihnen nicht, wer bei der eigentlichen, chaotischen und unvorhersehbaren Arbeit wirklich Erfolg haben wird.

Hier ist die Aufschlüsselung des Arguments des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Die „Ein-Zahlen“-Falle

Derzeit werden KI-Agenten (die „Mechaniker“) durch eine aggregierte Punktzahl bewertet.

Die Analogie: Stellen Sie sich vor, zwei Mechaniker machen einen Test.
- Mechaniker A ist ein Genie in der Planung, braucht aber 10 Stunden, um fertig zu werden, und kostet ein Vermögen an Treibstoff.
- Mechaniker B ist durchschnittlich in der Planung, braucht aber nur 10 Minuten und verbraucht sehr wenig Treibstoff.
- Wenn der Test nur eine einzige „Bestanden/Nicht bestanden“-Bewertung abgibt, könnten beide eine „1“ bekommen.
Die Realität: In der realen Welt können wir uns den teuren Mechaniker, der 10 Stunden braucht, nicht leisten können. Die einzelne Punktzahl verbirgt die Kosten, die Geschwindigkeit und den Arbeitsstil. Sie behandelt sehr unterschiedliche Herangehensweisen so, als wären sie identisch.

2. Der Beweis: Die Überraschung der „Verborgenen Prüfung“

Die Autoren untersuchten einen massiven Wettbewerb mit 149 Teams.

Das Setup: Teams entwickelten KI-Agenten, um industrielle Probleme zu lösen. Sie wurden auf einem „Public Leaderboard“ (wie einer Übungsprüfung) gerankt.
Der Clou: Als die Teams die „Hidden Exam“ (den echten Einsatztest) absolvierten, brach das Ranking zusammen.
- Im Bereich „Planung“ entsprach das öffentliche Ranking dem verborgenen Ranking weitgehend.
- Im Bereich „Ausführung“ (die eigentliche Arbeit erledigen) war die Korrelation jedoch negativ. Das Team, das auf dem öffentlichen Leaderboard am besten abschnitt, schnitt in der realen Welt tatsächlich schlechter ab.
Die Lektion: Eine hohe Punktzahl in einem statischen Test sagt nicht voraus, wie ein Agent mit einer neuen, unbekannten Situation umgehen wird. Es ist wie ein Schüler, der die Antworten auf eine Übungsmatheprüfung auswendig lernt, aber scheitert, wenn sich die Zahlen leicht ändern.

3. Der Fehler: Der „selbstbewertende“ Richter

Die meisten Leaderboards nutzen eine KI, um die Arbeit einer anderen KI zu bewerten (genannt „LLM-as-a-Judge“).

Die Analogie: Stellen Sie sich einen Lehrer vor, der die Aufsätze seiner eigenen Schüler bewertet, aber dieser Lehrer auch eine KI ist, die ihre Meinung jede Woche ändert. Wenn sich die „Stimmung“ (der Prompt) des Lehrers ändert, ändern sich auch die Noten, selbst wenn die Arbeit des Schülers dieselbe bleibt.
Das Risiko: Das Leaderboard misst am Ende eher die Voreingenommenheit des Richters als die tatsächliche Fähigkeit des Agenten. Das Papier legt nahe, dass wir einen „regelbasierten Schiedsrichter“ (wie eine strikte Checkliste) benötigen, um die Arbeit zu verifizieren, anstatt nur einer weiteren KI, die rät.

4. Die Lösung: Die „12-Schichten“-Inspektion

Die Autoren schlagen vor, das „Ein-Zahlen“-Ranking aufzugeben und stat einer 12-Schichten-Inspektion Platz zu machen.
Anstatt zu fragen: „Wie hoch ist die Punktzahl?“, fragen sie: „Wie verhält es sich in diesen 12 spezifischen Arten?“
Denken Sie an dies wie eine Kfz-Sicherheitsprüfung statt eines reinen Geschwindigkeitstests. Sie wollen nicht nur wissen, wie schnell ein Auto fährt; Sie müssen auch wissen:

Erfolg: Hat es das Problem gelöst?
Hygiene: Hat es die richtigen Werkzeuge benutzt, ohne sie zu beschädigen?
Planung: Hat es vor dem Handeln nachgedacht?
Kosten: War es zu teuer?
Fehlermodi: Wie bricht es zusammen, wenn Dinge schiefgehen?
Infrastruktur: Läuft es schnell auf echter Hardware?
Multi-Turn: Kann es ein Gespräch führen, das 5 Minuten dauert und nicht nur 5 Sekunden?
Begründung: Denkt es bei Bedarf tief nach oder rät es nur?
Wissen: Sucht es im Handbuch nach oder verlässt es sich auf sein Gedächtnis?
Evidenz: Kann es seine Antwort mit Fakten belegen und nicht nur mit Vermutungen?
(Und so weiter über 12 Dimensionen).

5. Das neue Ziel: „Prädiktive Validität“

Das Papier schlägt eine neue Art vor, Agenten zu ranken, die Prädiktive Validität (Vorhersagekraft) genannt wird.

Alter Weg: Ranking nach der Durchschnittspunktzahl des Tests, den man gerade abgelegt hat.
Neuer Weg: Ranking danach, wie gut die Testpunktzahl die Leistung in einem anderen Test vorhersagt.
Die Analogie: Wenn Sie einen Piloten einstellen wollen, schauen Sie nicht nur auf sein Ergebnis in einem Simulator bei ruhigem Wetter. Schauen Sie darauf, wie gut sein Simulator-Ergebnis die Fähigkeit vorhersagt, in einem Sturm zu fliegen. Wenn die Korrelation niedrig ist, ist das Leaderboard nutzlos.

Zusammenfassung

Das Papier ist eine Warnung an die KI-Community: Vertrauen Sie nicht blind dem Ein-Zahlen-Leaderboard. Es ist eine „statische Momentaufnahme“, die versagt, sobald sich die reale Welt ändert.

Stattdessen müssen wir:

Mehr Dimensionen messen (Geschwindigkeit, Kosten, Sicherheit, Begründung).
Auf Stabilität testen (Hält das Ranking stand, wenn sich der Test ändert?).
Unabhängige Schiedsrichter nutzen (Regeln statt nur andere KIs, um die Arbeit zu bewerten).

Die Autoren geben zu, dass sie das endgültige „Beweis-Experiment“ noch nicht durchgeführt haben, aber sie haben bereits Belege aus 14 verschiedenen Studien gesammelt, die zeigen, dass das aktuelle System defekt ist und ein neuer, vielschichtiger Ansatz notwendig ist, damit KI in der realen Welt nützlich sein kann.

Titel: Jenseits statischer Bestenlisten: Prädiktive Validität zur Evaluierung von LLM-Agenten

Problemstellung
Die Evaluierung von Large Language Model (LLM) Agenten ist über die Grenzen statischer, aggregierter Score-Bestenlisten hinausgewachsen. Während Agenten heute komplexe Aufgaben bewältigen, die Planung, Tool-Aufrufe, Multi-Turn-Artefakt-Wiederverwendung und Inter-Agenten-Koordination beinhalten, werden sie derzeit durch Einzel- oder Aggregatmetriken bewertet, die aus Single-Shot-Benchmarks stammen. Die Autoren argumentieren, dass dieser Ansatz die für eingesetzte Agenten relevanten Dimensionen systematisch unterdeterminiert, was zu einer „Ranglisten-Instabilität“ führt. Empirische Belege aus einem kürzlich stattgefundenen 149-Teams-Wettbewerb (Patel et al., 2026) zeigen, dass Rankings, die auf öffentlichen Bestenlisten basieren, oft nicht auf verborgene, Out-of-Distribution (OOD)-Evaluationssets übertragbar sind. Beispielsweise war die Spearman-Korrelation zwischen öffentlichen und verborgenen Rankings ( $\rho = -0,13$ ) auf dem Execution-Track statistisch nicht von Null unterscheidbar, was darauf hindeutet, dass hohe In-Sample-Scores die Out-of-Sample-Performance nicht zuverlässig vorhersagen. Darüber hinaus führt die Abhängigkeit von „LLM-as-Judge“-Scoring zu Reflexivität, wobei die Bestenliste eher die Biases des Modell-Judges misst als die tatsächliche Leistungsfähigkeit des Systems, und es mangelt an einem Anker gegen Judge-Drift.

Methodik
Dieses Paper ist ein Positionspapier, das auf Synthese statt auf neuen kontrollierten Experimenten basiert. Die Methodik umfasst:

Aggregation von Evidenz: Die Autoren konsolidieren Erkenntnisse aus sieben bestehenden Agenten-Benchmarks (einschließlich AssetOpsBench, MCP-Bench, TaskBench und Exgentic) sowie vierzehn parallelen Implementierungsstudien, die auf dem AssetOpsBench-Framework durchgeführt wurden.
Architektonische Sensitivitätsanalyse: Die vierzehn Studien, die von unabhängigen Teams durchgeführt wurden, modifizierten spezifische architektonische Variablen (z. B. Reasoning-Modi, Retrieval-Strategien, Orchestrierungsmuster, Infrastruktur), während sie andere konstant hielten. Die Autoren behandeln die Konvergenz der Ergebnisse über diese vielfältigen Implementierungen hinweg als Beleg für eine „konvergente architektonische Sensitivität“.
Synthese von Dimensionen: Die Autoren bilden die Ergebnisse dieser Studien und Benchmarks auf einen vorgeschlagenen „zwölfstufigen Messapparat“ ab. Dieser Apparat ist darauf ausgelegt, die orthogonalen Dimensionen offenzulegen, die aktuelle Bestenlisten in Einzelscores kollabieren lassen.
Vorgeschlagenes Ranking-Kriterium: Das Paper schlägt vor, das Ranking-Kriterium von „In-Sample-Mittelwert“ zu „prädiktiver Validität“ zu verschieben, definiert als die Korrelation zwischen In-Sample-Rang und Out-of-Sample-Rang.

Zentrale Beiträge
Das Paper leistet fünf primäre Beiträge:

Ein zwölfstufiger Messapparat: Eine Synthese der Evaluationsdimensionen, organisiert in zwei Kategorien:
- Kernkapazitäts-Stufen (T1–T7): Erfolgsraten, Tool-Call-Hygiene, Planungsqualität, Kapazitätsachsen, Cost-Efficiency-Pareto, Fehler-Modus-Taxonomien und Reproduzierbarkeit.
- Deployment-Erweiterungs-Stufen (T8–T12): Deployment-Infrastruktur (Latenz-Dekomposition, Protokoll-Overhead), Multi-Turn-Dialog (Artefakt-Wiederverwendung), Reasoning-Mode-Adaptivität, Wissensaugmentation (Retrieval-Strategien) und Evidenz-Fundierung (Judge-unabhängige Verifizierung).
Ein Positionsargument: Die Behauptung, dass aggregierte Score-Bestenlisten die Komplexität eingesetzter Agenten nicht erfassen können und dass das Feld einen mehrstufigen Apparat benötigt, der nach prädiktiver Validität gerankt wird.
Drei falsifizierbare OOD-Kriterien: Konkrete Kriterien zur Überprüfung der Position:
- Kriterium A (Held-Out): Milde distributional shift durch stratifizierte Splits.
- Kriterium B (Cross-Subset): Moderate Verschiebung (z. B. Ranking auf HVAC-Chillern vs. hydraulischen Pumpen).
- Kriterium C (Adversarial): Starke Verschiebung durch semantische Paraphrasierung, Identifikator-Umbenennung, Zeitfenster-Verschiebung und Distraktor-Injektion.
Ein Schema für den Score der prädiktiven Validität: Ein vorgeschlagener zusammengesetzter Score $PV(c) = \alpha \bar{Y}_c - \beta \sigma_{Y_{c,OOD}} - \gamma IQR(Y_c)$ , der den Mittelwert der Performance mit Out-of-Sample-Zuverlässigkeit und Varianz ausbalanciert.
Ein präregistriertes Pilotdesign: Eine Roadmap für eine empirische Studie zur Validierung der Position, einschließlich spezifischer Schwellenwerte für die Falsifizierung (z. B. wenn die In-Sample-zu-OOD-Rangkorrelation $\rho \ge 0,85$ ist, ist die Position widerlegt).

Ergebnisse und Evidenz
Das Paper präsentiert keine neuen experimentellen Ergebnisse, sondern synthetisiert konvergente Evidenz aus den vierzehn Implementierungsstudien und sieben Benchmarks, um seine Behauptungen zu stützen:

Ranglisten-Instabilität: Die Analyse des CODS-2025-Wettbewerbs zeigt, dass die Korrelationen zwischen öffentlichem und verborgenem Ranking oft schwach oder nicht existent sind, insbesondere auf den Execution-Tracks.
Dimensionale Kollaps: Die Synthese zeigt, dass aktuelle Benchmarks höchstens vier oder fünf der zwölf vorgeschlagenen Stufen berichten. Beispielsweise übersehen Single-Turn-Benchmarks beispielsweise die Dynamik der Multi-Turn-Artefakt-Wiederverwendung, und aggregierte Scores verbergen Trade-offs zwischen Reasoning-Qualität und Latenz.
Konvergente Befunde: Unabhängige Teams identifizierten trotz unterschiedlicher Ausgangsarchitekturen dieselben Engpässe und Fehlermodi. Beispiele hierfür sind:
- Reasoning-Modi: Die Aktivierung von „Extended Thinking“ verbesserte die Klarheit um 31 Prozentpunkte, erhöhte jedoch die Latenz um 21,5 % – ein Trade-off, der in aggregierten Scores unsichtbar bleibt.
- Retrieval-Strategien: Agentic Multi-Hop Retrieval erreichte ~90 % Genauigkeit, jedoch mit einer 4,5- bis 10-fachen Token-Inflation im Vergleich zu Single-Pass RAG (50–68 % Genauigkeit).
- Infrastruktur: Der MCP-stdio Subprocess-Overhead wurde als dominanter Latenz-Boden (bis zu 5–6 Sekunden pro Aufruf) in mehreren Studien identifiziert, was Protokoll-Overhead mit Reasoning-Fähigkeit konfundiert.
- Judge-Reflexivität: Die Inter-Rater-Reliabilität von LLM-as-Judge ( $\alpha = 0,61$ ) wurde als niedriger als die Human-Human-Reliabilität ( $\alpha \in [0,74, 0,82]$ ) befunden, was die Notwendigkeit von Judge-unabhängigen Ankern wie regelbasierten Pipelines oder DAG-Oracles hervorhebt.

Bedeutung und Ansprüche
Das Paper behauptet, dass das aktuelle Paradigma der „aggregierten Score-Bestenlisten“ unzureichend ist, um Entscheidungen für den Einsatz zu leiten, da es die Out-of-Distribution-Performance nicht vorhersagen kann. Die Bedeutung dieser Arbeit liegt in:

Operationalisierung der prädiktiven Validität: Vorschlag eines konkreten, falsifizierbaren Rahmens für das Ranking von Agenten basierend auf ihrer Fähigkeit zur Generalisierung statt auf ihrer Fähigkeit zum Overfitting eines spezifischen Benchmark-Sets.
Aufdeckung verborgener Dimensionen: Demonstration, dass der „Messraum“ eingesetzter Agenten etwa zwölfdimensional und orthogonal ist, während aktuelle Bestenlisten diese in Einzelmetriken kollabieren lassen.
Verschiebung des Feldes: Bewegung der Community hin zu einer „Design Science“ der interaktiven Evaluation, die deklarierte Konfigurationen (Architektur, Reasoning-Modus, Retrieval-Strategie), geschichtete Präsentation von Ergebnissen und Judge-unabhängige Verifizierung erfordert.

Die Autoren sind sich der Limitationen ihres Papers bewusst: Es handelt sich um eine Synthese und ein Positionspapier, nicht um eine empirische Validierung. Die Behauptung der prädiktiven Validität ist eine Hypothese, die durch konvergente architektonische Sensitivität gestützt wird, aber zur Bestätigung die im Forschungsplan skizzierte kontrollierte Zufallsexperiment-Studie erfordert. Sie räumen ein, dass der zwölfstufige Apparat derzeit als orthogonal behauptet, aber noch nicht auf Unabhängigkeit getestet wurde.