🤖 AI

Results and Retrospective Analysis of the CODS 2025 AssetOpsBench Challenge

Dit artikel biedt een retrospectieve analyse van de CODS 2025 AssetOpsBench-uitdaging, waarbij kritieke inzichten aan het licht komen zoals de verzadiging van publieke planningscores, de negatieve correlatie tussen publieke en private uitvoeringsevaluaties, de verwaarloosbare impact van de t-match-term op de uiteindelijke rangschikking, en de bevinding dat succesvolle strategieën meer leunden op robuuste veiligheidsmaatregelen dan op nieuwe agent-architecturen.

Oorspronkelijke auteurs: Dhaval Patel, Chathurangi Shyalika, Suryanarayana Reddy Yarrabothula, Ling Yue, Shuxin Lin, Nianjun Zhou, James Rayfield

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dhaval Patel, Chathurangi Shyalika, Suryanarayana Reddy Yarrabothula, Ling Yue, Shuxin Lin, Nianjun Zhou, James Rayfield

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een "Kookwedstrijd" voor AI-robots

Stel je een hoog-risico kookwedstrijd voor, maar in plaats van chefs zijn de deelnemers AI-agenten (slimme computerprogramma's). De uitdaging, genaamd CODS 2025 ASSETOPSBENCH, ging niet om het maken van een mooi gerecht; het ging om het repareren van kapotte industriële machines (zoals gigantische airconditioners en koelinstallaties) met uitsluitend digitale hulpmiddelen.

De organisatoren stelden een tweeledige test op om te zien wie het werk in de echte wereld kon doen, en niet alleen op papier. Ze wilden weten: Kunnen deze AI-robots een reparatie plannen en deze vervolgens daadwerkelijk uitvoeren zonder vast te lopen?

De Twee Tracks: De Architect versus De Bouwer

Om de test eerlijk te houden, splitsten de organisatoren de wedstrijd in twee aparte tracks, zoals twee verschillende rollen in een bouwteam:

Track 1 (De Architect/Planner): De "motor" die de machine daadwerkelijk repareerde, was op slot. Deelnemers konden alleen de blauwdruk (de prompt) aanpassen. Ze moesten betere instructies schrijven voor de AI over hoe het moest denken en welke stappen het moest nemen.
Track 2 (De Bouwer/Executor): De blauwdruk was op slot. Deelnemers konden alleen het bouwteam (de uitvoeringscode) aanpassen. Ze moesten betere veiligheidsnetten bouwen, fouten opvangen en ervoor zorgen dat de robot niet vastliep als er iets misging.

Wat Ze Vonden: De Valstrik van de "Oefentest"

De meest verrassende ontdekking was dat goed presteren op de oefentest niet betekende dat je de echte examen zou halen.

Het Publieke Leaderboard (De Oefentest): Dit was een lijst met scores gebaseerd op 11 oefenscenario's die iedereen kon zien. Veel teams haalden hier perfecte scores.
De Verborgen Test (De Echte Examen): De organisatoren namen vervolgens de beste inzendingen en testten deze op 11 nieuwe, geheime scenario's die niemand eerder had gezien.

Het Resultaat: De correlatie tussen de oefenscores en de geheime scores was in feite nul. Het was alsof een student een 'A' haalt op een wiskunde-oefentest, maar zakt voor het daadwerkelijke eindexamen omdat de vragen iets anders waren. Het artikel vond dat de "publieke" scores eigenlijk misleidend waren; ze voorspelden niet wie de echte, rommelige industriële wereld aankon.

Waarom Gebeurde Dit?

Het artikel identificeert een paar redenen waarom de "Oefentest" een valstrik was:

Het "Plafond"-effect: De oefentest was te makkelijk voor de topteams. Zodra een team had uitgevonden hoe ze een perfecte score op de oefenvragen konden halen, stopten ze met verbeteren. Ze pasten hun antwoorden alleen nog maar aan om perfect te lijken voor die specifieke vragen, in plaats van een robot te bouwen die elke vraag aankon.
De "Guardrail"-Winnaars: De teams die de verborgen test daadwerkelijk wonnen, waren niet degene met de meest geavanceerde nieuwe AI-ideeën. Het waren de "Guardrail Engineers". Denk aan hen als de veiligheidsinspecteurs. Ze bedachten geen nieuwe motor; ze voegden gewoon betere remmen, betere noodplannen en betere manieren toe om fouten op te ruimen wanneer de robot in de war raakte. Ze richtten zich op robuustheid (niet crashen) in plaats van innovatie (nieuwe ideeën).
Het Wiskundeprobleem: De manier waarop de eindscore werd berekend, had een klein gebrek. Een onderdeel van de score was zo klein dat het eigenlijk niet uitmaakte, maar het was wel genoeg om de top twee teams van plaats te laten wisselen. Als je de wiskunde iets had aangepast, was de winnaar anders geweest. Dit toont aan dat de ranglijst fragiel was.

De "Kosten" van de Robot

Het artikel keek ook naar hoeveel "brandstof" (rekenkracht) de robots verbruikten.

De Duur versus De Goedkope: Sommige taken vereisten dat de AI duizenden pagina's geschiedenis las (duur), terwijl andere alleen een telefoonnummer opzoekten (goedkoop).
De Verrassing: De taken die "goedkoop" waren qua rekenkracht, waren eigenlijk het moeilijkst voor de AI om goed te krijgen omdat ze een diep begrip vereisten. De "duurzame" taken waren eigenlijk makkelijker omdat de AI gewoon een lange, duidelijke lijst met stappen hoefde te volgen.

De Conclusie: Wat Dit Betekent voor Toekomstige Wedstrijden

De auteurs concluderen dat als je AI-agenten goed wilt testen, je niet alleen kunt kijken naar een leaderboard met publieke scores.

Vertrouw de oefentest niet: Je hebt een verborgen "eindexamen" nodig dat niemand ziet tot het einde.
Veiligheid eerst: De beste agenten zijn niet altijd de slimste; het zijn degene die weten hoe ze fouten moeten opvangen zonder te breken.
Controleer je wiskunde: Als je scoresysteem te gevoelig is voor kleine veranderingen, kan je winnaar gewoon een toevalstreffer zijn.

Kortom, dit artikel is een "post-game analyse" die ons vertelt: We hebben een geweldige test gebouwd, maar we hebben geleerd dat het scorebord dat we aan het publiek toonden, ons bedroog over wie eigenlijk de beste was. De echte winnaars waren degene die de veiligste, meest betrouwbare robots bouwden, niet degene die het beste op papier leken.

Technische Samenvatting: Resultaten en Retrospectieve Analyse van de CODS 2025 ASSETOPSBENCH Challenge

Probleemstelling

Het artikel behandelt de kritieke uitdaging van het evalueren van multi-agent AI-systemen in real-world industriële omgevingen, specifiek binnen het domein "Industry 4.0" van fysiek assetmanagement. Hoewel recente vooruitgang in Large Language Model (LLM)-agenten capaciteiten hebben aangetoond op het gebied van redeneren en het gebruik van hulpmiddelen, blijkt dat het overbrengen van deze systemen van laboratoriumbenchmarks naar implementatie aanzienlijke evaluatiegaten blootlegt. Statische benchmarks geven vaak de voorkeur aan nauwkeurig gespecificeerde, eenvoudig te optimaliseren taken, en slagen er niet in essentiële implementatiegedragingen vast te leggen, zoals robuustheid bij het gebruik van hulpmiddelen, uitvoering met behoud van privacy en meerstaps-orchestration. De auteurs betogen dat competitiegebaseerde evaluatie een principiële alternatief biedt voor statische benchmarks door falenpatronen (bijvoorbeeld progressieve redeneerfouten) bloot te leggen die alleen onder iteratieve, blinde evaluatie naar voren komen. Het specifieke probleem dat wordt aangepakt, is het ontwerp en de retrospectieve analyse van een competitie die agentische evaluatie, een industrieel domein voor fysieke activa en implementatie met privacybeperkingen combineert, met als doel te bepalen wat een dergelijk evaluatieontwerp eigenlijk meet en waar de prikkels mogelijk niet overeenkomen met de werkelijke capaciteit.

Methodologie

De auteurs voerden een retrospectieve analyse uit van de CODS 2025 ASSETOPSBENCH-challenge, gehost op het Codabench-platform. De methodologie omvatte een multidimensionale analyse van competitieartefacten in plaats van een eenvoudig leaderboard-rapport.

Competitieontwerp: De challenge gebruikte een "verborgen-scenario"-framework met twee complementaire tracks:
- Track 1 (Planning): Deelnemers optimaliseerden de planningprompt en de constructie van een Directed Acyclic Graph (DAG) (track1_planning.py), terwijl de uitvoerder en domeinagenten vast bleven.
- Track 2 (Uitvoering): Deelnemers optimaliseerden de logica voor workflow-uitvoering, inclusief parallelle paden, contextaggregatie en fallback-mechanismen (track2_execution.py), terwijl de planningprompt en agenten vast bleven.
Evaluatieprotocol: Inschrijvingen werden geëvalueerd tegen 11 publieke ontwikkelingsscenario's en 11 verborgen evaluatiescenario's (Fase 1 en Fase 2). De scoringsformule combineerde publieke scores ( $S_{pub}$ ), verborgen scores ( $S_{priv}$ ) en een semantische t-match-signaal ( $\tau$ ): $C_t = 0.6 S_{pub}^t + 0.3 S_{priv}^t + 0.1 \tau_t$ .
Dataverzameling: De analyse aggregateerde gegevens van 149 geregistreerde teams (349 lidplaatsen), een serverlog van 300 rijen met pogingen tot inschrijving, en 331 toegankelijke broncode-artefacten.
Analytische Dimensies: De auteurs analyseerden het corpus over vijf dimensies:
1. Deelname: Trechterstatistieken en teamopbouw.
2. Inschrijfgedrag: Leercurves, scoreprogressie en betrouwbaarheid.
3. Ranking-robustheid: Gevoeligheid van ranglijsten voor de samenstelling van metrics en de uitlijning tussen publiek en verborgen.
4. Berekeningskosten: Tokengebruik, API-oproepen en vingerafdrukken van wandkloktijd.
5. Strategie-toeschrijving: Clustering van implementatiepatronen (archetypen) en hun correlatie met prestaties.
Validatie: De infrastructuur werd gekruist verwezen naar een recent gepubliceerde "Agent-Eval Checklist" voor betrouwbare benchmarks om ontwerpgaten te identificeren.

Belangrijkste Bijdragen

Eerste Industriële Agentische Benchmark met Privacybeperkingen: Het artikel documenteert de eerste competitie-track-benchmark die gezamenlijk agentische meerstaps-taken, een industrieel domein voor fysieke activa (koelinstallaties, luchtbehandelingskasten) en implementatie met privacybeperkingen (met behulp van containerisatie voor isolatie om datalekken te voorkomen) combineert.
Negen-dimensionaal Retrospectief Kader: De auteurs stellen een gestructureerd, negen-dimensionaal analytisch sjabloon voor voor toekomstige agentische competities, dat verder gaat dan geaggregeerde leaderboard-metrics om deelnametrechters, analyse van scoreverzadiging, berekeningsvingerafdrukken en strategieclustering op te nemen.
Empirisch Bewijs van Publiek-Verborgen Misalignering: De studie levert concrete statistische bewijzen dat publieke leaderboard-standpunten verborgen robuustheid niet voorspellen, met name bij uitvoeringstaken.
Strategie-taxonomie en Archetype-analyse: Het artikel introduceert een taxonomie van agentstrategieën, waarbij onderscheid wordt gemaakt tussen "planning" (prompt-engineering) en "uitvoering" (guardrail-engineering) archetypen, en onthult dat top-presteerders vaak vertrouwen op robuuste foutafhandeling in plaats van nieuwe architecturen.

Resultaten

Deelname en Uitval: Van de 149 geregistreerde teams behaalde slechts 11 een volledig gerangschikte status in beide tracks. De uitval was aanzienlijk, met een faalpercentage van 17,7% bij inschrijfpogingen vanwege problemen met platformconformiteit (verpakkings-/workflowformaat-overtredingen), wat een vaste infrastructuur- overhead voor agent-evaluatie vestigt.
Correlatie tussen Publieke en Verborgen Scores:
- Planning Track: Matige correlatie tussen publieke en verborgen scores ( $\rho = 0,69$ ), hoewel publieke scores systematische optimisme vertoonden.
- Uitvoering Track: Geen correlatie tussen publieke en verborgen scores ( $\rho = -0,13, p = 0,71$ ). Publieke uitvoeringsscores waren statistisch niet te onderscheiden van willekeurige ruis met betrekking tot verborgen prestaties.
Scoreverzadiging en Gevoeligheid: De publieke planningleaderboard verzadigde bij 72,73% voor vier teams, waardoor het publieke signaal niet in staat was om te onderscheiden tussen top-presteerders. Bovendien was de uiteindelijke rangschikking zeer gevoelig voor de samenstelling van de scoringsformule. De "t-match"-term, bedoeld om 10% gewicht bij te dragen, was numeriek inert door schaalverschillen (0–1 versus 0–100), en droeg maximaal 0,05 punten bij. Het herschalen van deze term of het aanpassen van track-gewichten zou de top twee teams hebben verwisseld.
Inversie van Berekeningskosten: Analyse van berekeningsvoetafdrukken onthulde dat het "goedkoopste" domein (Time Series Forecasting, TSFM) het meest prompt-gevoelig was (hoogste strategische variantie), terwijl het "duurste" domein (Work Orders, WO) het meest robuust was. Dit suggereert dat het wegen van benchmarks op tokenkosten per ongeluk prompt-gevoeligheid zou kunnen meten in plaats van agent-capaciteit.
Strategiepatronen:
- Planning: Strategieën waren diffuus, met veel ruis in clustering. Top-inschrijvingen bereikten vaak verzadiging door prompt-uitwerking (bijvoorbeeld langere voorbeelden, agent-catalogi) zonder architecturale wijzigingen.
- Uitvoering: Strategieën waren sterk geconcentreerd in drie strakke clusters. Top-presteerders werden geïdentificeerd als "guardrail-engineers" die responsselectie, opruiming en fallback-logica verbeterden in plaats van nieuwe agent-architecturen introduceerden.
Falenpatronen: Hallucinatie bleek een gekoppeld falenpatroon te zijn dat sterk negatief gecorreleerd was met de algehele taakkwaliteit ( $r \approx -0,93$ ), en diende als een leidende indicator voor bredere fouten. Werkorder-taken die lang-horizon redeneren over historische records vereisten, vormden consequent het capaciteitplafond.

Betekenis en Claims

Het artikel beweert dat de CODS 2025 ASSETOPSBENCH-challenge aantoont waarom agentcompetities moeten worden geanalyseerd als evaluatie-instrumenten en niet louter als rangschikkingsmechanismen. De auteurs stellen dat hun analyse kritieke gebreken in het huidige benchmarkontwerp blootlegt, specifiek:

Leaderboard-verzadiging: Publieke signalen kunnen snel verzadigen en falen om te onderscheiden tussen hoogpresterende systemen.
Publiek-Verborgen Misalignering: Publieke iteratie kan strategieën belonen die overfitten op specifieke scenario-sets, wat leidt tot een disconnectie tussen publieke stand en verborgen robuustheid.
Fouten in Metricontwerp: Samengestelde scoringsfuncties zijn gevoelig voor numerieke schaalkeuzes (bijvoorbeeld de t-match-term), wat ranglijsten willekeurig kan veranderen.
Guardrail-gecentreerd Succes: In complexe industriële omgevingen wordt topprestatie vaak gedreven door robuuste foutafhandeling en contextcontrole ("guardrail-engineering") in plaats van nieuwe architecturale innovaties.

De auteurs concluderen dat toekomstige agentcompetities capaciteitsdimensies moeten isoleren over tracks, vaardigheidsbewuste subscores aan het licht moeten brengen, moeten zorgen dat scoringscomponenten numeriek vergelijkbaar zijn, en teammetadata en versiebeheerde code als kernleveringen moeten behandelen. Zij positioneren hun negen-dimensionale retrospectieve analyse als een herbruikbaar sjabloon voor toekomstige benchmarks om ervoor te zorgen dat competities fungeren als rigoureuze wetenschappelijke instrumenten die in staat zijn bewijs te publiceren over wat daadwerkelijk is gemeten.