Beyond Executable Models: The Pufibara Agent Harness and the Modelica Agent Workflow Benchmark for Physical System Modeling

In der Welt des Ingenieurwesens erfordert der Bau einer Brücke, eines Stromnetzes oder eines Heizungssystems mehr als nur das Schreiben von Code, den ein Computer lesen kann. Es erfordert, dass das digitale Modell exakt so reagiert wie das reale physische Objekt, das es repräsentiert. Seit Jahrzehnten verwenden Ingenieure eine spezialisierte Sprache namens Modelica, um diese komplexen Systeme zu beschreiben. Im Gegensatz zur Standardprogrammierung, bei der ein Computer einer strikten Liste von Anweisungen von oben nach unten folgt, arbeitet Modelica durch das Definieren von Beziehungen zwischen Größen, wie etwa wie Druck mit Durchfluss zusammenhängt oder wie Spannung mit Strom zusammenhängt. Der Computer ermittelt dann die Reihenfolge der Operationen, um diese Beziehungen zu lösen. Diese Flexibilität ist leistungsstark, schafft aber ein einzigartiges Problem für die künstliche Intelligenz. Eine KI kann problemlos Modelica-Code schreiben, der korrekt aussieht und sogar ohne Absturz läuft, aber dennoch ein physikalisches System beschreibt, das die Gesetze der Physik verletzt oder die spezifischen Anforderungen des Projekts nicht erfüllt. Die Maschine hat die syntaktischen Regeln befolgt, aber sie hat den Kern des Ingenieurwesens verfehlt.

Diese Lücke zwischen einem Modell, das einfach funktioniert, und einem Modell, das wirklich korrekt ist, ist die zentrale Herausforderung, die eine neue Studie von Forschern der TU Dresden adressiert. Das Team unter der Leitung von Wang Zizhe wollte untersuchen, ob KI-Agenten – Programme, die denken, handeln und Werkzeuge nutzen können – darauf vertraut werden können, diese Modelle physikalischer Systeme eigenständig zu reparieren, aufzubauen und abzustimmen. Sie fanden heraus, dass aktuelle KI-Werkzeuge zwar in der Lage sind, Code zu generieren, dabei aber oft das Ziel aus den Augen verlieren, wenn sie Änderungen vornehmen, oder sich auf Testergebnisse alter Modellversionen verlassen, die für die aktuelle Version nicht mehr gelten. Um dies zu lösen, entwickelten die Forscher ein neues System namens Pufibara. Dieses System fungt als strenger Aufseher, der eine dauerhafte Aufzeichnung dessen führt, was das Projekt erfordert, und sicherstellt, dass die KI bei jeder Änderung des Modells die neue Version erneut gegen die ursprünglichen Ziele prüft. Sie testeten dieses System gegen ein führendes kommerzielles KI-Coding-Tool anhand einer massiven Sammlung von 232 verschiedenen Ingenieursaufgaben. Die Ergebnisse zeigten, dass das neue System nicht nur mehr Probleme löste, sondern dies auch mit deutlich weniger Rechenressourcen tat, was beweist, dass die Art und Weise, wie eine KI geleitet wird, genauso wichtig ist wie die Intelligenz, die sie nutzt.

Die Forscher näherten sich diesem Problem durch die Erkenntnis, dass physikalisches Engineering sich vom Schreiben eines Standard-Computerprogramms unterscheidet. In einem typischen Softwareprojekt gilt ein Programm oft als Erfolg, wenn es ohne Fehler läuft. In der physikalischen Modellierung kann ein Modell perfekt laufen und dennoch falsch sein. Beispielsweise könnte eine KI ein Modell einer Wasserpumpe erstellen, das kompiliert und reibungslos simuliert, aber wenn das Modell vorhersagt, dass Wasser ohne Pumpe bergauf fließt, hat es den Ingenieurtest nicht bestanden. Die Kernschwierigkeit liegt in der iterativen Natur der Arbeit. Wenn ein KI-Agent versucht, ein Modell zu reparieren, verändert er möglicherweise einen Parameter, führt eine Simulation aus, sieht ein Ergebnis und ändert dann einen anderen Parameter. Ohnt ein sorgfältiges Gedächtnissystem könnte der Agent vergessen, dass die erste Änderung notwendig war, oder er könnte fälschlicherweise glauben, dass ein Simulationsergebnis der alten Modellversion noch auf die neue Version zutrifft. Diese Verwirrung kann dazu führen, dass der Agent ein finales Modell einreicht, das oberflächlich betrachtet gut aussieht, aber die spezifischen physikalischen Anforderungen der Aufgabe nicht erfüllt.

Um dies zu verhindern, entwarf das Team Pufibara mit einer spezifischen Architektur, die technische Anforderungen als dauerhafte Verpflichtungen behandelt. Stellen Sie sich einen Projektleiter vor, der eine Checkliste führt, welche Regeln das Gebäude erfüllen muss, von der Stärke des Stahls bis hin zum Luftstrom. Jedes Mal, wenn der Architekt eine Änderung vornimmt, gleicht der Manager den neuen Entwurf mit derselben Checkliste ab und ignoriert dabei alte Testergebnisse, die nicht mehr zum aktuellen Design passen. Pufibara macht genau das für KI-Agenten. Es pflegt ein „Hauptbuch“ der technischen Anforderungen, das während des gesamten Prozesses aktiv bleibt. Es verknüpft jedes Simulationsergebnis direkt mit der spezifischen Version des Modells, die es erzeugt hat. Wenn sich das Modell ändert, weiß das System, dass die alten Ergebnisse nicht mehr gültig sind, und zwingt den Agenten, die neue Version neu zu bewerten. Entscheidend ist, dass das System vom Agenten verlangt, eine explizite Entscheidung zur Abgabe einer finalen Antwort zu treffen. Die KI kann nicht einfach aufhören, weil die Zeit abgelaufen ist oder weil der Code kompiliert; sie muss aktiv erklären, dass sie genügend Beweise gesammelt hat, um zu belegen, dass das Modell alle technischen Regeln erfüllt.

Um zu testen, ob dieser Ansatz tatsächlich funktioniert, benötigten die Forscher eine faire und realistische Methode zur Leistungsmessung. Sie konnten nicht einfach bestehende öffentliche Modelle verwenden, da eine KI diese während ihres Trainings bereits gesehen haben und die Antworten schlichtweg auswendig gelernt haben könnte. Stattdessen erstellten sie einen neuen Benchmark namens Modelica Agent Workflow Benchmark. Sie begannen mit echten, funktionierenden Ingenieursmodellen und führten dann spezifische Fehler, neue Designanforderungen oder Tuning-Ziele ein, um 232 einzigartige Herausforderungen zu schaffen. Diese Aufgaben reichten von der Reparatur defekter Modelle bis hin zum Aufbau neuer Modelle von Grund auf sowie der Anpassung von Parametern, um spezifische Leistungsziele zu erreichen. Der Benchmark enthielt einen verborgenen „Evaluator“, der als unabhängiger Richter fungierte. Dieser Richter sah weder den internen Denkprozess der KI noch deren Zwischenschritte; er betrachtete lediglich das vom Agenten eingereichte finale Modell und prüfte, ob es einen strengen Satz physikalischer und verhaltensbezogener Tests bestand. Dies stellte sicher, dass die KI nach ihrer Fähigkeit getestet wurde, das Problem zu lösen, und nicht nach ihrer Fähigkeit, zu erraten, wie der Test aussieht.

Die Studie verglich das neue Pufibara-System mit Claude Code, einem bekannten kommerziellen KI-Coding-Assistenten, wobei zwei verschiedene Large Language Models als „Gehirn“ hinter dem Agenten eingesetzt wurden. Die Ergebnisse waren klar und konsistent. Über alle 232 Aufgaben hinweg schloss Pufibara erfolgreich mehr Probleme ab als das kommerzielle Tool. Bei Verwendung eines spezifischen KI-Gehirns löste Pufibara 202 Aufgaben, während das andere Tool 185 Aufgaben löste. Mit einem anderen KI-Gehirn löste Pufibara wiederum 202 Aufgaben im Vergleich zu 187 beim Wettbewerber. Der Unterschied war am deutlichsten bei Aufgaben, die den Aufbau eines Modells von Grund auf erforderten, wo Pufibara signifikant mehr Probleme löste als das andere System. Über das Lösen von mehr Problemen hinaus war Pufibara auch wesentlich effizienter. Es verbrauchte etwa 76 % bis 82 % weniger Rechen-Token – die Basiseinheiten der Information, die die KI verarbeitet – und schloss die Aufgaben in signifikant weniger Zeit ab, wobei einige Durchläufe bis zu 58 % schneller waren als die des Konkurrenten.

Die vielleicht wichtigste Erkenntnis war nicht nur, dass Pufibara mehr Probleme löste, sondern dass es die richtigen Arten von Problemen löste. Die Forscher stellten fest, dass das konkurrierende Tool oft Modelle produzierte, die ausführbar waren und grundlegende Prüfungen bestanden, aber die tieferen physikalischen Anforderungen nicht erfüllten. In einer Reihe schwieriger Aufgaben reichte das kommerzielle Tool Modelle ein, die zwar ohne Fehler liefen, sich aber in 21 von 38 Fällen nicht korrekt gemäß den technischen Regeln verhielten. Pufibara machte diesen Fehler nur viermal. Dies deutet darauf hin, dass das kommerzielle Tool oft mit einem Modell zufrieden war, das einfach nur funktionierte, während die strikte Anforderung von Pufibra, die Beweise an die aktuelle Version des Modells zu binden und alle technischen Verpflichtungen explizit zu verifizieren, verhinderte, dass fehlerhafte Lösungen eingereicht wurden. Die Studie zeigt, dass die Struktur des KI-Workflows – wie sie erinnert, prüft und entscheidet – genauso entscheidend ist wie die Intelligenz des Sprachmodells selbst.

Die Auswirkungen dieser Arbeit erstrecken sich über nur eine Art von Ingenieurssprache hinaus. Die Forschung zeigt, dass eine KI, um in komplexen, realen Bereichen wie Physik und Ingenieurwesen wirklich nützlich zu sein, nicht nur ein Codegenerator sein darf. Sie muss ein Agent sein, der den Unterschied zwischen einem Programm, das läuft, und einem System, das physikalisch korrekt ist, versteht. Indem sie eine dauerhafte Aufzeichnung der Anforderungen führt und die KI zwingt, ihre Arbeit bei jeder Änderung erneut gegen diese Anforderungen zu verifizieren, stellt das System sicher, dass das Endergebnis vertrauenswürdig ist. Die Forscher merken an, dass ihre Ergebnisse zwar stark sind, sich jedoch auf die getesteten Aufgaben und Bedingungen beziehen. Sie behaupten nicht, das Problem der KI im Ingenieurwesen für immer gelöst zu haben, aber sie haben einen klaren Bauplan geliefert, wie man KI-Systeme baut, die weniger wahrscheinlich gefährliche Fehler machen. Während das Feld voranschreitet, wird sich der Fokus wahrscheinlich auf das Testen dieser Methoden bei noch komplexeren industriellen Problemen und die Untersuchung ihrer Funktionsweise mit verschiedenen Arten von KI-Modellen verlagern, um sicherzustellen, dass die Werkzeuge der Zukunft so zuverlässig sind wie die Systeme, die sie entworfen haben.