AssetOpsBench: Benchmarking AI Agents for Task Automation in Industrial Asset Operations and Maintenance

In dit artikel wordt AssetOpsBench voorgesteld, een uniek raamwerk dat een multimodaal ecosysteem, een dataset van meer dan 140 industriële queries en een geautomatiseerde evaluatie biedt om AI-agenten voor de automatisering van onderhoud en operaties in de industrie te benchmarken en te vergelijken.

De kern

Stel je voor dat een grote fabriek of een datacenter een enorm, complex organisme is. Het heeft duizenden sensoren die temperatuur, druk en stroomverbruik meten, net als een mens die hartslag, bloeddruk en ademhaling controleert. Vroeger moesten menselijke experts al die gegevens handmatig bekijken, papieren werkorders invullen en beslissingen nemen over wanneer machines gerepareerd moeten worden. Dat is als proberen een heel orkest te dirigeren terwijl je blind bent en alleen op de muziek van één instrument kunt luisteren.

Dit artikel introduceert AssetOpsBench, een nieuw "speelveld" om te testen of kunstmatige intelligentie (AI) deze complexe klus wel kan overnemen.

Hier is een uitleg in simpele taal, met wat creatieve vergelijkingen:

1. Het Probleem: De "Super-Intelligente" maar Verwarde Robot

Er zijn nu AI's die heel slim zijn (zoals de grote taalmodellen die je misschien kent). Ze kunnen tekst schrijven en redeneren. Maar als je ze vraagt: "Waarom loopt de koelmachine van fabriek X warm?", dan raken ze vaak in de war. Ze weten niet welke knop ze moeten indrukken, ze kunnen niet goed kijken naar de sensordata, en ze weten niet hoe ze een reparatieorder moeten opstellen.

Het is alsof je een briljante schrijver vraagt om een auto te repareren. Hij kan prachtig beschrijven hoe een motor werkt, maar hij heeft geen gereedschap en weet niet hoe hij de bouten losdraait.

2. De Oplossing: Een Nieuw Testlab (AssetOpsBench)

De auteurs van dit artikel hebben een testomgeving gebouwd, genaamd AssetOpsBench. Denk hierbij aan een simulatie-game voor AI's, maar dan voor echte industriële machines.

In dit lab hebben ze:

• Een digitale fabriek: Een virtuele omgeving met koelmachines en luchtkoelers, vol met sensoren die echte data sturen (temperatuur, stroom, etc.).
• Een bibliotheek van problemen: Ze hebben 141 echte vragen bedacht die een fabrieksmanager zou kunnen stellen, zoals "Zorg dat we een waarschuwing krijgen als de stroom te hoog wordt" of "Waarom is deze machine gisteren uitgevallen?".
• Een team van gespecialiseerde AI-agenten: In plaats van één grote AI die alles moet doen, hebben ze een team gemaakt:
  • De Sensor-Expert (kijkt naar de data).
  • De Fout-Expert (weet welke machine onderdelen kapot kunnen gaan).
  • De Planner (schrijft de reparatieopdracht).
  • De Coördinator (de chef die zegt wie wat moet doen).

3. De Grote Test: Twee Manieren van Werken

De onderzoekers wilden weten welke manier van werken het beste werkt voor deze AI's. Ze hebben twee strategieën getest, die je kunt vergelijken met twee manieren om een groot feest te organiseren:

• Strategie A: "De Chef die direct helpt" (Agent-As-Tool)
  De chef (de hoofdpijler) belt direct de juiste specialist. "Jij, Sensor-Expert, kijk naar de temperatuur!" Zodra die het antwoord geeft, belt hij de volgende. Het is een gesprek, stap voor stap.

  • Resultaat: Dit werkt vaak goed, maar kan soms wat traag zijn omdat er veel heen en weer gepraat wordt.

• Strategie B: "De Strikte Planningsmethode" (Plan-Execute)
  De chef schrijft eerst een heel gedetailleerd stappenplan op papier voor het hele feest, voordat iemand ook maar iets doet. "Stap 1: Haal de temperatuur. Stap 2: Check de foutcodes. Stap 3: Schrijf de order." Pas als het plan klaar is, gaan de anderen aan het werk.

  • Resultaat: Dit klinkt efficiënt, maar in de praktijk faalde dit vaak. Als het plan een klein foutje bevatte, liep de hele machine vast. De AI's werden te star en konden niet goed inspelen op onverwachte situaties.

4. Wat hebben ze ontdekt?

De test liet zien dat:

• AI's nog niet perfect zijn: Zelfs de slimste AI's haalden maar ongeveer 65% van de taken goed. Ze maken nog fouten, zoals het verkeerde apparaat kiezen of een foutieve conclusie trekken.
• Samenwerking is key: Een team van gespecialiseerde AI's werkt beter dan één grote AI die alles probeert te doen.
• Flexibiliteit wint: De methode waarbij de AI stap voor stap redeneert en reageert (Strategie A), werkt beter dan het strikt volgen van een vooraf opgesteld plan (Strategie B). In de echte wereld zijn dingen vaak chaotisch; een plan dat te star is, breekt snel.
• Menselijke controle is nodig: De AI's hebben nog steeds menselijke experts nodig om te controleren of hun antwoorden kloppen.

5. Waarom is dit belangrijk?

Dit artikel is niet alleen een theoretisch verhaal. De onderzoekers hebben dit testlab openbaar gemaakt. Ze hebben een wedstrijd georganiseerd waarbij honderden ontwikkelaars hun eigen AI's hebben getest.

Het is alsof ze een olympische spelen voor robot-reparateurs hebben georganiseerd. Door te zien welke AI's winnen, leren we hoe we machines in de toekomst veiliger, sneller en goedkoper kunnen onderhouden. Het doel is dat AI op een dag de dagelijkse klusjes in fabriekjes overneemt, zodat menselijke experts zich kunnen richten op de moeilijke, creatieve problemen.

Kortom: AssetOpsBench is de "gymzaal" waar AI's leren hoe ze echte industriële machines moeten begrijpen en repareren, zodat we in de toekomst minder uitval en minder downtime hebben.

Technische samenvatting

Titel: AssetOpsBench: Een Realistische Evaluatiebenchmark voor AI-gedreven Taakautomatisering in Industrieel Asset Management

1. Het Probleem

Industriële activa (zoals datacenterkoelinstallaties en windparken) genereren enorme hoeveelheden multimodale data, variërend van tijdreeks-sensormetingen tot tekstuele onderhoudsrapporten en technische handleidingen. Hoewel traditionele AI-methoden gespecialiseerde taken kunnen oplossen, missen ze het vermogen om complexe, end-to-end workflows te automatiseren die integratie, redenering en actie vereisen.

Bestaande benchmarks voor AI-agenten (zoals SWE-bench of ITBench) richten zich voornamelijk op digitale kenniswerk of IT-omgevingen. Ze hebben drie kritieke tekortkomingen voor de industriële sector:

1. Gebrek aan domeinspecifieke data: Er is een schaarste aan datasets die werkorders, operationele context en faalmodi (failure modes) combineren.
2. Onderschatting van tijdreeks-data: Bestaande benchmarks negeren vaak de cruciale rol van tijdreeks-sensordata in fysieke assetmonitoring.
3. Complexiteit van orkestratie: Er zijn weinig systemen die testen hoe agenten samenwerken over heterogene domeinen (bijv. het koppelen van sensordata aan onderhoudslogica).

Dit leidt tot een kloof tussen theoretische AI-vooruitgang en de praktische toepasbaarheid in fysieke, sensor-gedreven industriële omgevingen.

2. Methodologie: Het AssetOpsBench Framework

AssetOpsBench is een unificerend framework dat is ontworpen om domeinspecifieke agenten voor Industrie 4.0 te orkestreren en te evalueren. Het bestaat uit drie pijlers:

A. Het AssetOps Ecosysteem

• Simulatieomgeving: Een Docker-gebaseerde sandbox met toegang tot een CouchDB-gebaseerde IoT-omgeving.
• Data: Een gecureerde dataset met meer dan 2,3 miljoen sensor datapunten van 6 activa (4 koelinstallaties en 2 Air Handling Units), 53 FMEA-records (Failure Mode and Effects Analysis) en 4.200 werkorders over een periode van 11 jaar.
• Scenarios: 141 door experts geschreven natuurlijke taal queries, gebaseerd op ISO-standaarden (ISO 55000 en ISO 14224). Deze vragen vereisen redenering over fysieke toestanden en operationele logica (bijv. "Waarom daalt het rendement van de koelinstallatie?").

B. Agent Architectuur en Orkestratie
Het systeem gebruikt vier gespecialiseerde agents:

1. IoT Agent: Voor sensortelemetrie.
2. FMSR Agent: Voor mapping van faalmodi (Failure Mode and Effects Analysis).
3. TSFM Agent: Voor tijdreeksvoorspelling (Time Series Foundation Models).
4. WO Agent: Voor werkordermodellering en onderhoudslogica.

De auteurs vergelijken twee orkestratieparadigma's:

• Agent-As-Tool: Een supervisor-agent gebruikt ReAct (Reasoning and Acting) om gespecialiseerde agents als "tools" aan te roepen in een iteratieve cyclus.
• Plan-Execute: Een planner deconstrueert de vraag naar een Directed Acyclic Graph (DAG) van taken, die vervolgens door een orchestrator worden uitgevoerd met gedeeld geheugen.

C. Evaluatiemethodologie

• Rubric-based LLM-As-Judge: Een geautomatiseerde beoordelaar (LLM) beoordeelt de output op drie dimensies: Taakvoltooiing, Data-retrieval nauwkeurigheid en Resultaatverificatie.
• Reference-based Scoring: Vergelijking van de agent-trajecten met een grond-waarheid (ground truth) referentie using ROUGE-metrics.
• Pass@k Metric: Een strengere maatstaf voor industriële betrouwbaarheid die de kans op succes over meerdere pogingen evalueert.

3. Belangrijkste Bijdragen

1. Eerste Industriële Benchmark: AssetOpsBench is de eerste benchmark die specifiek is ontworpen voor AI-agenten in fysieke industriële omgevingen, met een focus op multimodale data (tijdreeks + tekst) en complexe werkstroom-orkestratie.
2. Realistische Scenario's: In plaats van synthetische API-aanroepen, zijn de scenario's gebaseerd op echte operationele intenties en ISO-standaarden, wat zorgt voor hoge validiteit.
3. Systematische Foutanalyse: Het framework introduceert een procedure voor het automatisch ontdekken van falingsmodi (failure modes), waaronder "Overstatement of Task Completion" en "Ineffective Error Recovery".
4. Community Adoptie: Het platform is operationeel gemaakt als een live competitie op Codabench, wat heeft geleid tot meer dan 250 gebruikers en 500+ inzendingen, wat de reproduceerbaarheid en schaalbaarheid van het onderzoek onderstreept.

4. Resultaten

De auteurs hebben zeven state-of-the-art modellen (waaronder GPT-4.1, Llama-4-maverick, Mistral-large) geëvalueerd:

• Algemene Prestaties: Geen enkel model behaalde een voltooiingsgraad van meer dan 70%, wat aangeeft dat industriële taken nog steeds zeer uitdagend zijn voor huidige LLM's.
• Architectuurvergelijking:
  • Agent-As-Tool: Presteerde over het algemeen beter in taakvoltooiing (GPT-4.1: 65%). Dit paradigma bleek flexibeler in het omgaan met complexe, iteratieve queries.
  • Plan-Execute: Toonde een significante prestatiedaling (GPT-4.1 daalde naar 38%). Het "plan-ahead" patroon introduceerde cascade-fouten in industriële contexten, vooral bij modellen die gewend zijn aan iteratief denken.
• SLM-analyse (Small Language Models): Kleinere modellen (zoals Granite-3-8b) presteerden goed op gestructureerde sensortaken maar faalden bij complexe werkorder-coördinatie. Dit suggereert dat hybride architecturen (SLM voor sensoren + grote LLM voor planning) de meest effectieve aanpak zijn.
• Foutanalyse: De meest voorkomende fouten waren gerelateerd aan systeemontwerp en het niet vragen om verduidelijking. Door een functie toe te voegen waarmee agents verduidelijking konden vragen, steeg de prestatie van Llama-4-maverick van 59% naar 66%.
• Kosten en Efficiëntie: Hoewel Plan-Execute minder stappen vereiste, was de wall-clock tijd vaak hoger door overhead. Agent-As-Tool was soms sneller in uitvoeringstijd ondanks meer stappen, vanwege lagere per-stap overhead.

5. Betekenis en Toekomstperspectief

AssetOpsBench markeert een verschuiving van "synthetische benchmarks" naar "operationele realiteit" in het onderzoek naar AI-agenten.

• Validatie: Het bewijst dat bestaande benchmarks onvoldoende zijn voor fysieke industriële toepassingen en dat domeinspecifieke kennis (zoals FMEA en ISO-standaarden) essentieel is voor succesvolle automatisering.
• Richting voor de Industrie: De resultaten wijzen erop dat voor industriële automatisering niet alleen grote taalmodellen nodig zijn, maar ook een zorgvuldig ontworpen orkestratielaag die rekening houdt met de onzekerheid en complexiteit van fysieke systemen.
• Open Science: Door de volledige code, containers en datasets openbaar te maken, faciliteert AssetOpsBench reproduceerbaar onderzoek en stimuleert het de ontwikkeling van robuuste, schaalbare industriële AI-oplossingen.

Kortom, AssetOpsBench biedt de noodzakelijke infrastructuur om de kloof te overbruggen tussen generieke AI-vooruitgang en de hoge eisen van real-world industriële asset management.