Beyond Executable Models: The Pufibara Agent Harness and the Modelica Agent Workflow Benchmark for Physical System Modeling

In de wereld van engineering vereist het bouwen van een brug, een elektriciteitsnet of een verwarmingssysteem meer dan alleen het schrijven van code die de computer kan lezen. Het vereist dat het digitale model zich exact gedraagt als het echte fysieke object dat het vertegenwoordigt. Decennialang hebben ingenieurs een gespecialiseerde taal genaamd Modelica gebruikt om deze complexe systemen te beschrijven. In tegenstelling tot standaardprogrammering, waarbij een computer een strikte lijst met instructies van boven naar beneden volgt, werkt Modelica door relaties tussen grootheden vast te stellen, zoals hoe druk gerelateerd is aan doorstroming of hoe spanning gerelateerd is aan stroomsterkte. De computer bepaalt vervolgens de volgorde van operaties om deze relaties op te lossen. Deze flexibiliteit is krachtig, maar creëert een uniek probleem voor kunstmatige intelligentie. Een AI kan gemakkelijk Modelica-code schrijven die er correct uitziet en zelfs zonder fouten draait, maar nog steeds een fysiek systeem beschrijft dat de wetten van de natuurkunde schendt of niet voldoet aan de specifieke behoeften van het project. De machine heeft de syntactische regels gevolgd, maar heeft de essentie van het engineeringwerk gemist.

Deze kloof tussen een model dat simpelweg werkt en een model dat werkelijk correct is, vormt de centrale uitdaging die wordt geadresseerd door een nieuwe studie van onderzoekers aan de TU Dresden. Het team, onder leiding van Wang Zizhe, wilde onderzoeken of AI-agenten — programma's die kunnen denken, handelen en hulpmiddelen kunnen gebruiken — erop kunnen worden vertrouwd om deze fysieke systeemmodellen zelfstandig te repareren, te bouwen en af te stemmen. Ze ontdekten dat hoewel huidige AI-tools in staat zijn om code te genereren, ze vaak het overzicht verliezen over de oorspronkelijke engineeringdoelen terwijl ze wijzigingen aanbrengen, of dat ze vertrouwen op testresultaten van oude versies van het model die niet langer van toepassing zijn. Om dit op te lossen, bouwden de onderzoekers een nieuw systeem genaamd Pufibara. Dit systeem fungeert als een strikte toezichthouder die een permanent verslag bijhoudt van wat het project vereist, waardoor wordt gewaarborgd dat elke keer dat de AI het model wijzigt, de nieuwe versie opnieuw wordt getoetst aan de oorspronkelijke doelen. Ze testten dit systeem tegen een toonaangevende commerciële AI-coderingstool met een enorme collectie van 232 verschillende engineeringtaken. De resultaten toonden aan dat het nieuwe systeem niet alleen meer problemen oploste, maar dit ook deed met aanzienlijk minder rekenkracht, wat bewijst dat de manier waarop een AI wordt gestuurd even belangrijk is als de intelligentie die zij gebruikt.

De onderzoekers benaderden dit probleem door te erkennen dat fysieke engineering anders is dan het schrijven van een standaard computerprogramma. In een typisch softwareproject wordt een programma vaak als een succes beschouwd als het zonder fouten draait. Bij fysieke modellering kan een model perfect draaien en toch foutief zijn. Stel bijvoorbeeld dat een AI een model van een waterpomp genereert dat compileert en soepel simuleert, maar als het model voorspelt dat water bergopwaarts stroomt zonder pomp, dan is het de engineeringtest niet doorstaan. De kern van de moeilijkheid ligt in het iteratieve karakter van het werk. Wanneer een AI-agent probeert een model te repareren, kan het een parameter wijzigen, een simulatie draaien, een resultaat zien en vervolgens een andere parameter wijzigen. Zonder een zorgvuldig geheugensysteem kan de agent vergeten dat de eerste wijziging noodzakelijk was, of kan de agent ten onrechte geloven dat een simulatieresultaat van de oude versie van het model nog steeds van toepassing is op de nieuwe versie. Deze verwarring kan ertoe leiden dat de agent een definitief model indient dat er aan de oppervlakte goed uitziet, maar niet voldoet aan de specifieke fysieke eisen van de taak.

Om dit te voorkomen, ontwierpen het team Pufibara met een specifieke architectuur die engineeringvereisten behandelt als persistente verplichtingen. Stel je een projectmanager voor die een checklist bijhoudt van elke regel waaraan het gebouw moet voldoen, van de sterkte van het staal tot de luchtstroom. Elke keer dat de architect een wijziging aanbrengt, controleert de manager het nieuwe ontwerp tegen diezelfde checklist, waarbij oude testresultaten die niet meer overeenkomen met het huidige ontwerp, worden genegeerd. Pufibara doet precies dit voor AI-agenten. Het houdt een "grootboek" bij van engineeringvereisten dat gedurende het hele proces actief blijft. Het koppelt elk simulatieresultaat direct aan de specifieke versie van het model die het geproduceerd heeft. Als het model verandert, weet het systeem dat de oude resultaten niet langer geldig zijn en dwingt het de agent om de nieuwe versie opnieuw te evalueren. Cruciaal is dat het systeem van de agent vereist om een expliciete beslissing te nemen om een definitief antwoord in te dienen. De AI kan niet simpelweg stoppen omdat de tijd op is of omdat de code compileert; de AI moet actief verklaren dat het genoeg bewijs heeft verzameld om aan te tonen dat het model aan alle engineeringregels voldoet.

Om te testen of deze aanpak daadwerkelijk werkt, hadden de onderzoekers een eerlijke en realistische manier nodig om prestaties te meten. Ze konden niet simpelweg bestaande publieke modellen gebruiken, omdat een AI deze mogelijk al heeft gezien tijdens de training en de antwoorden simpelweg heeft gememoriseerd. In plaats daarvan creëerden ze een nieuwe benchmark genaamd de Modelica Agent Workflow Benchmark. Ze begonnen met echte, werkende engineeringmodellen en introduceerden vervolgens specifieke defecten, nieuwe ontwerpvereisten of afstemmingsdoelen om 232 unieke uitdagingen te creëren. Deze taken varieerden van het repareren van defecte modellen tot het bouwen van nieuwe modellen vanaf nul en het aanpassen van parameters om aan specifieke prestatiedoelen te voldoen. De benchmark bevatte een verborgen "evaluator" die fungeerde als een onafhankelijke rechter. Deze rechter zag het interne denkproces of de tussenstappen van de AI niet; hij keek alleen naar het door de agent ingediende definitieve model en controleerde of het een strikte set fysieke en gedragsmatieve tests doorstond. Dit zorgde ervoor dat de AI werd getest op zijn vermogen om het probleem op te lossen, en niet op zijn vermogen om te raden hoe de test eruitzag.

De studie vergeleek het nieuwe Pufibara-systeem met Claude Code, een bekende commerciële AI-coderingassistent, waarbij twee verschillende grote taalmodellen werden gebruikt als de "hersenen" achter de agent. De resultaten waren duidelijk en consistent. Over alle 232 taken heen voltooide Pufibara meer problemen dan de commerciële tool. Bij het gebruik van één specifieke AI-hersenen loste Pufibara 202 taken op, terwijl de andere tool er 185 oploste. Met een andere AI-hersenen loste Pufibara er opnieuw 202 op, vergeleken met 187 voor de concurrent. Het verschil was het meest uitgesproken bij taken die het bouwen van een model vanaf nul vereisten, waarbij Pufibara aanzienlijk meer problemen oploste dan het andere systeem. Naast het oplossen van meer problemen, was Pufibara ook veel efficiënter. Het gebruikte ongeveer 76% tot 82% minder computing tokens — de basiseenheden van informatie die de AI verwerkt — en voltooide de taken in aanzienlijk minder tijd, waarbij sommige runs tot wel 58% minder tijd in beslag namen dan de concurrent.

Misschien wel de belangrijkste bevinding was niet alleen dat Pufibara meer problemen oploste, maar dat het de juiste soort problemen oploste. De onderzoekers ontdekten dat de concurrerende tool vaak modellen produceerde die uitvoerbaar waren en basiscontroles doorstonden, maar faalden op de diepere fysieke vereisten. In een reeks moeilijke taken leverde de commerciële tool modellen aan die zonder fouten draaiden, maar die in 21 van de 38 gevallen niet correct gedroegen volgens de engineeringregels. Pufibara maakte deze fout slechts vier keer. Dit suggereert dat de commerciële tool vaak tevreden was met een model dat simpelweg werkte, terwijl de strikte eis van Pufibara om bewijslast te koppelen aan de huidige versie van het model en om expliciet alle engineeringverplichtingen te verifiëren, voorkwam dat het gebrekkige oplossingen indiende. De studie toont aan dat de structuur van de workflow van de AI — hoe het onthoudt, controleert en beslist — net zo cruciaal is als de intelligentie van het taalmodel zelf.

De implicaties van dit werk reiken verder dan slechts één type engineeringtaal. Het onderzoek laat zien dat voor AI werkelijk nuttig te zijn in complexe, echte velden zoals natuurkunde en engineering, het niet alleen een code-generator kan zijn. Het moet een agent zijn die het verschil begrijpt tussen een programma dat draait en een systeem dat fysiek correct is. Door een permanent verslag van vereisten bij te houden en de AI te dwingen het werk telkens opnieuw te verifiëren tegen die vereisten wanneer er een wijziging wordt aangebracht, zorgt het systeem ervoor dat de uiteindelijke output betrouwbaar is. De onderzoekers merken op dat hoewel hun resultaten sterk zijn, ze specifiek zijn voor de taken en condities die ze hebben getest. Ze beweren niet dat ze het probleem van AI in engineering voor altijd hebben opgelost, maar ze hebben een duidelijk blauwdruk geleverd voor hoe AI-systemen te bouwen die minder snel gevaarlijke fouten maken. Naarmate het veld vordert, zal de focus waarschijnlijk verschuiven naar het testen van deze methoden op nog complexere industriële problemen en het verkennen van hoe ze werken met verschillende soorten AI-modellen, om ervoor te zorgen dat de instrumenten van de toekomst even betrouwbaar zijn als de systemen die ze zijn ontworpen te bouwen.