🤖 AI

Results and Retrospective Analysis of the CODS 2025 AssetOpsBench Challenge

Dieser Beitrag bietet eine retrospektive Analyse der CODS 2025 AssetOpsBench-Herausforderung und enthüllt kritische Erkenntnisse wie die Sättigung öffentlicher Planungswerte, die negative Korrelation zwischen öffentlichen und privaten Ausführungsbewertungen, den vernachlässigbaren Einfluss des t-match-Terms auf die endgültigen Ränge sowie die Feststellung, dass erfolgreiche Strategien stärker auf robuste Sicherheitsvorkehrungen als auf neuartige Agentenarchitekturen setzten.

Ursprüngliche Autoren: Dhaval Patel, Chathurangi Shyalika, Suryanarayana Reddy Yarrabothula, Ling Yue, Shuxin Lin, Nianjun Zhou, James Rayfield

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dhaval Patel, Chathurangi Shyalika, Suryanarayana Reddy Yarrabothula, Ling Yue, Shuxin Lin, Nianjun Zhou, James Rayfield

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Bild: Ein "Kochduell" für KI-Roboter

Stellen Sie sich ein hochriskantes Kochwettbewerb vor, bei dem die Kandidaten jedoch keine Köche, sondern KI-Agenten (intelligente Computerprogramme) sind. Die Herausforderung, genannt CODS 2025 ASSETOPSBENCH, ging nicht darum, ein hübsches Gericht zuzubereiten; es ging darum, defekte Industriemaschinen (wie riesige Klimaanlagen und Kältemaschinen) ausschließlich mit digitalen Werkzeugen zu reparieren.

Die Organisatoren richteten einen zweigeteilten Test ein, um zu prüfen, wer die Aufgabe in der realen Welt tatsächlich erledigen kann und nicht nur auf dem Papier. Sie wollten wissen: Können diese KI-Roboter eine Reparatur planen und diese dann tatsächlich ausführen, ohne abzustürzen?

Die zwei Spuren: Der Architekt vs. Der Baumeister

Um den Test fair zu gestalten, teilten die Organisatoren den Wettbewerb in zwei separate Spuren auf, ähnlich wie zwei verschiedene Rollen in einem Bauunternehmen:

Spur 1 (Der Architekt/Planer): Der "Motor", der die Maschine tatsächlich repariert, war fest verriegelt. Die Teilnehmer konnten nur den Bauplan (den Prompt) ändern. Sie mussten bessere Anweisungen für die KI schreiben, wie sie denken und welche Schritte sie unternehmen soll.
Spur 2 (Der Baumeister/Ausführer): Der Bauplan war verriegelt. Die Teilnehmer konnten nur das Bauunternehmen (den Ausführungscode) ändern. Sie mussten bessere Sicherheitsnetze bauen, Fehler behandeln und sicherstellen, dass der Roboter nicht stecken bleibt, wenn etwas schiefgeht.

Was sie fanden: Die Falle des "Übungstests"

Die überraschendste Entdeckung war, dass ein gutes Abschneiden im Übungstest nicht bedeutete, dass man die echte Prüfung bestehen würde.

Das öffentliche Leaderboard (Der Übungstest): Dies war eine Liste von Ergebnissen, die auf 11 Übungsszenarien basierte und für alle einsehbar war. Viele Teams erzielten hier perfekte Punktzahlen.
Der versteckte Test (Die echte Prüfung): Die Organisatoren nahmen dann die besten Einträge und testeten sie an 11 neuen, geheimen Szenarien, die niemand zuvor gesehen hatte.

Das Ergebnis: Die Korrelation zwischen den Übungsergebnissen und den geheimen Ergebnissen war im Wesentlichen null. Es war wie ein Schüler, der bei einem Übungsmathematiktest eine '1' bekommt, aber die eigentliche Abschlussprüfung besteht, weil die Fragen leicht anders waren. Das Papier stellte fest, dass die "öffentlichen" Ergebnisse tatsächlich irreführend waren; sie sagten nicht voraus, wer die reale, chaotische Industriewelt bewältigen konnte.

Warum ist das passiert?

Das Papier identifiziert einige Gründe, warum der "Übungstest" eine Falle war:

Der "Deckel"-Effekt: Der Übungstest war für die Top-Teams zu einfach. Sobald ein Team herausgefunden hatte, wie man bei den Übungsfragen eine perfekte Punktzahl erreicht, hörten sie auf, sich zu verbessern. Sie passten ihre Antworten nur so an, dass sie für diese spezifischen Fragen perfekt aussahen, anstatt einen Roboter zu bauen, der jede Frage bewältigen kann.
Die "Sicherheitsgurt"-Gewinner: Die Teams, die den versteckten Test tatsächlich gewannen, waren nicht diejenigen mit den ausgefeiltesten neuen KI-Ideen. Sie waren die "Sicherheitsingenieure". Denken Sie an sie als Sicherheitsinspektoren. Sie erfanden keinen neuen Motor; sie fügten einfach bessere Bremsen, bessere Notfallpläne und bessere Möglichkeiten zur Bereinigung von Fehlern hinzu, wenn der Roboter verwirrt wurde. Sie konzentrierten sich auf Robustheit (kein Absturz) statt auf Innovation (neue Ideen).
Das Mathe-Problem: Die Art und Weise, wie die Endpunktzahl berechnet wurde, hatte einen kleinen Fehler. Ein Teil der Punktzahl war so klein, dass er eigentlich keine Rolle spielte, aber er reichte aus, um die beiden Top-Teams zu vertauschen. Wenn man die Mathematik leicht änderte, wäre ein anderer Gewinner herausgekommen. Dies zeigt, dass die Rangliste fragil war.

Die "Kosten" des Roboters

Das Papier untersuchte auch, wie viel "Treibstoff" (Rechenleistung) die Roboter verbrauchten.

Teuer vs. Günstig: Bei einigen Aufgaben musste die KI Tausende von Seiten Geschichte lesen (teuer), während es bei anderen nur darum ging, eine Telefonnummer nachzuschlagen (günstig).
Die Überraschung: Die Aufgaben, die in Bezug auf Rechenleistung "günstig" waren, waren für die KI tatsächlich am schwierigsten richtig zu lösen, da sie ein tiefes Verständnis erforderten. Die "teuren" Aufgaben waren tatsächlich einfacher, weil die KI nur einer langen, klaren Liste von Schritten folgen musste.

Das Fazit: Was dies für zukünftige Wettbewerbe bedeutet

Die Autoren kommen zu dem Schluss, dass man, wenn man KI-Agenten ordnungsgemäß testen möchte, nicht nur auf ein Leaderboard mit öffentlichen Ergebnissen schauen kann.

Vertrauen Sie dem Übungstest nicht: Sie benötigen eine versteckte "Abschlussprüfung", die niemand sieht, bis das Ende erreicht ist.
Sicherheit zuerst: Die besten Agenten sind nicht immer die klügsten; es sind diejenigen, die wissen, wie man Fehler behandelt, ohne zu brechen.
Überprüfen Sie Ihre Mathematik: Wenn Ihr Bewertungssystem zu empfindlich auf winzige Änderungen reagiert, könnte Ihr Gewinner nur ein Zufall sein.

Kurz gesagt ist dieses Papier eine "Nachspiel-Analyse", die uns sagt: Wir haben einen großartigen Test gebaut, aber wir haben gelernt, dass die Anzeigetafel, die wir der Öffentlichkeit zeigten, uns über die eigentlichen Besten belogen hat. Die wahren Gewinner waren diejenigen, die die sichersten und zuverlässigsten Roboter bauten, nicht diejenigen, die auf dem Papier am besten aussahen.

Technische Zusammenfassung: Ergebnisse und retrospektive Analyse der CODS 2025 ASSETOPSBENCH-Herausforderung

Problemstellung

Der Beitrag adressiert die kritische Herausforderung der Evaluierung von Multi-Agenten-KI-Systemen in realen industriellen Umgebungen, speziell im Bereich des „Industry 4.0"-Domänen des physischen Asset-Managements. Während jüngste Fortschritte bei Agenten auf Basis von Large Language Models (LLMs) Fähigkeiten im Bereich des Schlussfolgerns und der Werkzeugnutzung demonstriert haben, zeigt der Übergang dieser Systeme von Labor-Benchmarks zur Einsatzreife erhebliche Evaluierungslücken auf. Statische Benchmarks begünstigen oft eng spezifizierte, leicht zu optimierende Aufgaben und erfassen dabei wesentliche Einsatzverhalten wie die Robustheit der Werkzeugnutzung, die datenschutzkonforme Ausführung und die Orchestrierung mehrstufiger Prozesse nicht. Die Autoren argumentieren, dass eine wettbewerbsbasierte Evaluierung eine prinzipielle Alternative zu statischen Benchmarks bietet, indem sie Fehlermodi (z. B. progressive Fehler im Schlussfolgern) aufdeckt, die nur unter iterativer, blinder Evaluierung zutage treten. Das spezifisch behandelte Problem ist die Gestaltung und retrospektive Analyse eines Wettbewerbs, der die Evaluierung agenter Systeme, eine industrielle Domäne physischer Assets und eine datenschutzkonforme Bereitstellung kombiniert, um zu bestimmen, was ein solches Evaluierungsdesign tatsächlich misst und wo seine Anreize möglicherweise von der tatsächlichen Fähigkeit abweichen.

Methodik

Die Autoren führten eine retrospektive Analyse der CODS 2025 ASSETOPSBENCH-Herausforderung durch, die auf der Codabench-Plattform gehostet wurde. Die Methodik umfasste eine multidimensionale Analyse von Wettbewerbsartefakten anstelle eines einfachen Leaderboard-Berichts.

Wettbewerbsdesign: Die Herausforderung nutzte ein „Hidden-Scenario"-Rahmenwerk mit zwei komplementären Tracks:
- Track 1 (Planung): Die Teilnehmer optimierten den Planungs-Prompt und den Aufbau des Directed Acyclic Graph (DAG) (track1_planning.py), während der Executor und die Domänen-Agenten eingefroren blieben.
- Track 2 (Ausführung): Die Teilnehmer optimierten die Logik zur Workflow-Ausführung, einschließlich paralleler Pfade, Kontextaggregation und Fallback-Mechanismen (track2_execution.py), während der Planungs-Prompt und die Agenten eingefroren blieben.
Evaluierungsprotokoll: Einreichungen wurden gegen 11 öffentliche Entwicklungsszenarien und 11 versteckte Evaluierungsszenarien (Phase 1 und Phase 2) bewertet. Die Punktzahlformel kombinierte öffentliche Scores ( $S_{pub}$ ), versteckte Scores ( $S_{priv}$ ) und ein semantisches t-match-Signal ( $\tau$ ): $C_t = 0.6 S_{pub}^t + 0.3 S_{priv}^t + 0.1 \tau_t$ .
Datenerhebung: Die Analyse aggregierte Daten von 149 registrierten Teams (349 Mitgliederslots), einem Server-Log mit 300 Zeilen zu Einreichungsversuchen und 331 zugänglichen Quellartefakten.
Analytische Dimensionen: Die Autoren analysierten das Korpus über fünf Dimensionen:
1. Teilnahme: Trichterstatistiken und Teamzusammensetzung.
2. Einreichungsverhalten: Lernkurven, Score-Progression und Zuverlässigkeit.
3. Robustheit der Rangfolge: Sensitivität der Rangfolgen gegenüber der Metrikkomposition und der Übereinstimmung zwischen öffentlich und versteckt.
4. Rechenkosten: Token-Verbrauch, API-Aufrufe und Fingerabdrücke der Wandzeit.
5. Strategie-Zuordnung: Clusterbildung von Implementierungsmustern (Archetypen) und deren Korrelation mit der Leistung.
Validierung: Die Infrastruktur wurde gegen eine kürzlich veröffentlichte „Agent-Eval-Checkliste" für vertrauenswürdige Benchmarks abgeglichen, um Designlücken zu identifizieren.

Hauptbeiträge

Erster industrieller Agenten-Benchmark mit Datenschutzbeschränkungen: Der Beitrag dokumentiert den ersten Wettbewerbs-Benchmark, der agentische Mehrschritt-Aufgaben, eine industrielle Domäne physischer Assets (Kältemaschinen, Luftbehandlungseinheiten) und eine datenschutzkonforme Bereitstellung (unter Verwendung containerisierter Isolation zur Verhinderung von Datenlecks) gemeinsam kombiniert.
Neun-dimensionales retrospektives Rahmenwerk: Die Autoren schlagen ein strukturiertes, neun-dimensionales analytisches Template für zukünftige agentische Wettbewerbe vor, das über aggregierte Leaderboard-Metriken hinausgeht und Teilnahmetrichter, Score-Sättigungsanalysen, Rechen-Fingerabdrücke und Strategie-Clustering einschließt.
Empirische Evidenz für eine Fehlausrichtung zwischen öffentlich und versteckt: Die Studie liefert konkrete statistische Belege dafür, dass öffentliche Leaderboard-Rankings die versteckte Robustheit nicht vorhersagen, insbesondere bei Ausführungsaufgaben.
Strategie-Taxonomie und Archetypen-Analyse: Der Beitrag führt eine Taxonomie von Agentenstrategien ein, die zwischen „Planung" (Prompt-Engineering) und „Ausführung" (Guardrail-Engineering) unterscheidet, und zeigt auf, dass Top-Performer oft auf robuste Fehlerbehandlung statt auf neuartige Architekturen zurückgreifen.

Ergebnisse

Teilnahme und Abbruch: Von 149 registrierten Teams erreichten nur 11 einen vollständig rangierten Status in beiden Tracks. Die Abbruchrate war signifikant, mit einer Ausfallrate von 17,7 % bei Einreichungsversuchen aufgrund von Konformitätsproblemen mit der Plattform (Packaging-/Workflow-Formatverletzungen), was einen festen Infrastruktur-Overhead für die Agenten-Evaluierung etabliert.
Korrelation zwischen öffentlichem und verstecktem Score:
- Planungstrack: Moderate Korrelation zwischen öffentlichen und versteckten Scores ( $\rho = 0,69$ ), wobei öffentliche Scores systematische Optimismus zeigten.
- Ausführungstrack: Keine Korrelation zwischen öffentlichen und versteckten Scores ( $\rho = -0,13, p = 0,71$ ). Öffentliche Ausführungsscores waren in Bezug auf die versteckte Leistung statistisch nicht von zufälligem Rauschen zu unterscheiden.
Score-Sättigung und Sensitivität: Das öffentliche Planungs-Leaderboard sättigte bei vier Teams auf 72,73 %, wodurch das öffentliche Signal nicht in der Lage war, zwischen Top-Performern zu unterscheiden. Darüber hinaus war die finale Rangfolge hochsensitiv gegenüber der Zusammensetzung der Punktzahlformel. Der „t-match"-Term, der ein Gewicht von 10 % beitragen sollte, war aufgrund von Skalierungsunterschieden (0–1 vs. 0–100) numerisch inert und trug höchstens 0,05 Punkte bei. Eine Neuskalierung dieses Terms oder eine Anpassung der Track-Gewichte hätte die beiden Top-Teams vertauscht.
Umkehrung der Rechenkosten: Die Analyse der Rechen-Fußabdrücke ergab, dass die „günstigste" Domäne (Time Series Forecasting, TSFM) die prompt-sensitivste war (höchste Strategievarianz), während die „teuerste" Domäne (Work Orders, WO) die robusteste war. Dies legt nahe, dass Benchmarks, die nach Token-Kosten gewichtet werden, versehentlich Prompt-Sensitivität statt Agenten-Fähigkeit messen könnten.
Strategiemuster:
- Planung: Strategien waren diffus, mit hohem Rauschen in der Clusterbildung. Top-Einreichungen erreichten Sättigung oft durch Prompt-Erweiterung (z. B. längere Beispiele, Agenten-Kataloge) ohne architektonische Änderungen.
- Ausführung: Strategien waren stark in drei enge Cluster konzentriert. Top-Performer wurden als „Guardrail-Ingenieure" identifiziert, die die Auswahl von Antworten, die Bereinigung und die Fallback-Logik verbesserten, anstatt neue Agenten-Architekturen einzuführen.
Fehlermodi: Halluzination wurde als gekoppelter Fehlermodus identifiziert, der stark negativ mit der allgemeinen Aufgabenqualität korrelierte ( $r \approx -0,93$ ) und als Frühindikator für umfassendes Versagen diente. Work-Order-Aufgaben, die langfristiges Schlussfolgern über historische Aufzeichnungen erfordern, bildeten konsistent die Fähigkeitsdecke.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass die CODS 2025 ASSETOPSBENCH-Herausforderung zeigt, warum Agenten-Wettbewerbe als Evaluierungsinstrumente und nicht lediglich als Rangierungsmechanismen analysiert werden müssen. Die Autoren bekräftigen, dass ihre Analyse kritische Mängel im aktuellen Benchmark-Design aufdeckt, insbesondere:

Leaderboard-Sättigung: Öffentliche Signale können schnell sättigen und versagen darin, zwischen hochleistungsfähigen Systemen zu unterscheiden.
Fehlausrichtung zwischen öffentlich und versteckt: Öffentliche Iteration kann Strategien belohnen, die sich an spezifische Szenariosätze überanpassen, was zu einer Diskrepanz zwischen öffentlichem Standing und versteckter Robustheit führt.
Fehler im Metrik-Design: Zusammengesetzte Punktzahlfunktionen sind empfindlich gegenüber numerischen Skalierungsentscheidungen (z. B. der t-match-Term), die Rangfolgen willkürlich verändern können.
Guardrail-zentrierter Erfolg: In komplexen industriellen Umgebungen wird Spitzenleistung oft durch robuste Fehlerbehandlung und Kontextkontrolle („Guardrail-Engineering") angetrieben, nicht durch neuartige architektonische Innovationen.

Die Autoren schließen, dass zukünftige agentische Wettbewerbe Fähigkeitsdimensionen über Tracks hinweg isolieren, fähigkeitsbewusste Teilscores aufdecken, sicherstellen müssen, dass Bewertungskomponenten numerisch vergleichbar sind, und Team-Metadaten sowie versionierten Code als Kern-Liefergegenstände behandeln sollten. Sie positionieren ihre neun-dimensionale Retrospektive als wiederverwendbares Template für zukünftige Benchmarks, um sicherzustellen, dass Wettbewerbe als rigorose wissenschaftliche Instrumente fungieren, die in der Lage sind, Evidenz darüber zu publizieren, was tatsächlich gemessen wurde.