Gates Instead of Prompts: Development and Methods of a Large-Language-Model Expert System for Root- Cause Analysis in a Steel Foundry

In der Schwerindustrie des Stahlgusses, wo geschmolzenes Metall in Sandformen gegossen wird, um massive Bauteile zu erzeugen, kommt es bei der Differenz zwischen einem perfekten Teil und einem defekten Teil oft auf die unsichtbare Physik an. Wenn ein Guss fehlschlägt, müssen Ingenieure eine Ursachenanalyse durchführen – eine akribische Untersuchung, die Hinweise aus Maschinenprotokollen, Labortests und komplexen Computersimulationen darüber, wie das Metall abkühlt und erstarrt, zusammensetzt. Jahrzehntelang basierte diese Arbeit auf menschlichen Experten, die in der Lage waren, tausende Seiten von Handbüchern zu lesen und subtile Muster in Daten zu interpretieren. Vor Kurzem ist ein neues Werkzeug in das Gespräch eingetreten: Large Language Models (große Sprachmodelle). Diese sind leistungsfähige Computerprogramme, die in der Lage sind, riesige Mengen an Text zu lesen und Fragen mit bemerkenswerter Flüssigkeit zu beantworten. Sie tragen jedoch einen erheblichen Makel in sich: Sie sprechen mit absoluter Zuversicht, selbst wenn sie falsch liegen. In einem hochsensiblen Umfeld wie einer Stahlgießerei könnte eine selbstbewusste, aber falsche Antwort zu gefährlichen Fehlern oder kostspieligen Produktionsfehlern führen. Die Herausforderung besteht daher nicht nur darin, diese intelligenten Computer zu nutzen, sondern ein System zu bauen, das sie zwingt, ehrlich, fundiert und verifizierbar zu sein.

Dieses Papier beschreibt die Entwicklung eines solchen Systems, das von einem unabhängigen Forscher für eine Stahlgießerei in der Tschechischen Republik entwickelt wurde. Das Projekt mit dem Namen Digital Foundry PRO war nicht darauf ausgelegt, menschliche Ingenieure zu ersetzen, sondern als forensischer Assistent zu fungieren, der offline mit historischen Daten arbeitet. Die zentrale Erkenntnis der Arbeit ist, dass man einem Large Language Model nicht einfach sagen kann, es solle „vorsichtig sein“ oder „seine Fakten prüfen“. Stattdessen mussten die Forscher ein starres Rahmenwerk aus digitalen Toren aufbauen, die den Computer physisch daran hindern, ungestützte Behauptungen aufzustellen. Das System wurde mit realen Daten aus einer Gießerei getestet, die Stahlguss unter Verwendung von grünen Sandformen produziert. Über sechs Monate entwickelte sich das System von einem einfachen Prototyp zu einem hochentwickelten Werkzeug, das Gussfehler und Geräteausfälle analysieren konnte. Die wichtigste Erkenntnis war, dass die Fähigkeit des Systems, die wahre Ursache eines Problems zu finden, nicht daraus resultierte, dem Computer mehr Werkzeuge oder mehr Daten zu geben, sondern aus der Änderung der spezifischen Anweisungen, die er erhielt. Indem man den Computer zwang, genau an dem Moment und an dem Ort zu suchen, an dem ein Defekt entsteht, anstatt die gesamte Simulation nach irgendwelchen Unregelmäßigkeiten zu scannen, verbesserte sich die Genauigkeit des Systems dramatisch. Es ist jedoch wichtig anzumerken, dass die Referenzanalyse, gegen die das System getestet wurde, nicht von einem unabhängigen menschlichen Experten stammte, sondern von einem Large Language Model, das unter Anleitung des Autors erstellt wurde.

Der Entwicklungsprozess begann mit einer ernüchternden Erkenntnis über die Grenzen der aktuellen Technologie. In einem frühen Test wurde ein Standard-Chatbot gefragt, warum eine Gießstation ihren Zyklus unterbrach. Die Maschine betrachtete die Temperaturdaten, nahm an, dass das Metall Aluminium sei, und erklärte, dass die aufgezeichneten Temperaturen von über 1.300 Grad Celsius physikalisch unmöglich seien. Sie empfahl daraufhin, den Sensor auszutauschen und die Alarmeinstellungen zu senken. Der Rat klang selbstbewusst und vernünftig, war aber völlig falsch, da in der Gießerei Stahl und nicht Aluminium gegossen wurde. Dieser Fehler verdeutlichte die Gefahr eines Systems, das autoritär klingt, aber keinen Mechanismus besitzt, um seine eigenen Fakten zu verifizieren. Um dies zu lösen, baute der Forscher eine Serie von „Toren“ in die Software ein. Dies sind keine Vorschläge, denen der Computer folgen soll; es sind hartcodierte Regeln, die den Prozess stoppen, wenn bestimmte Bedingungen nicht erfüllt sind. Beispielsweise beginnt das System die Analyse nicht, sofern der spezifische Metalltyp nicht durch ein Dokument in seiner Bibliothek bestätigt wurde. Wenn der Computer versucht, eine Seite aus einem Handbuch zu zitieren, prüft die Software den tatsächlichen Text dieser Seite, um sicherzustellen, dass das Zitat wortgetreu vorhanden ist. Wenn der Computer versucht, auf ein Simulationsbild zu verweisen, überprüft die Software, ob die Bilddatei tatsächlich existiert und der Beschreibung entspricht. Diese Tore fungieren als Sicherheitsnetz und stellen sicher, dass der Computer keine Fakten erfindet oder Beweise halluziniert.

Das System führte auch eine neue Art des Lesens von Computersimulationen des Kühlprozesses ein. Normalerweise scannt ein Computer vielleicht ein gesamtes Simulationsvideo nach jeglichem Anzeichen von Problemen, wie etwa einem Hot Spot oder einem schnell fließenden Metallstrom. Dieser Ansatz führt oft zu Fehlalarmen, da hohe Temperaturen oder schnelle Flüsse manchmal normale Teile des Prozesses sind. Das neue System änderte die Regeln: Es schaut nur an der exakten Stelle, zum exakten Zeitpunkt und oberhalb des exakten Schwellenwerts hin, an dem ein spezifischer Defekt bekanntlich entsteht. Wenn ein Defekt beispielsweise eine Art von Schrumpfung ist, die in der Nähe des Kerns des Gusses auftritt, ignoriert das System den Rest der Form und konzentriert sich nur auf diesen spezifischen Bereich während der spezifischen Zeit, in der das Metall erstarrt. Diese Methode verhindert, dass der Computer durch irrelevante Daten abgelenkt wird. Darüber hinaus behandelt das System die Handbücher der Maschinen mit äußerster Vorsicht. Ein Handbuch für ein Stück Ausrüstung beschreibt oft jede mögliche Funktion, die die Maschine haben könnte, nicht nur die Funktionen, die die spezifische Maschine in der Fabrik tatsächlich besitzt. Das System wurde so programmiert, dass es jedem Anspruch an die Ausrüstung ein „Vertrauensniveau“ zuweist. Nur Ansprüche, die gegen die tatsächlichen Betriebsdaten der Maschine verifiziert wurden, durften in offiziellen Verfahren verwendet werden. Ansprüche, die ausschließlich auf dem Handbuch basierten, wurden als unverifiziert markiert, um zu verhindern, dass das System Maßnahmen empfiehlt, die die spezifische Maschine gar nicht ausführen kann.

Der bedeutendste Durchbruch gelang, als die Forscher testeten, wie man das System tiefer denken lässt. Anfänglich konnte der Computer die Daten lesen und einen Bericht erstellen, aber die Berichte waren oberflächlich und übersahen oft das eigentliche Problem. Die Forscher versuchten, mehr Werkzeuge und mehr Daten hinzuzufügen, aber die Ergebnisse verbesserten sich nicht. Dann änderten sie die Aufgabe selbst. Sie gaben dem Computer fünf spezifische Anweisungen, oder „Mandate“, die ihn zwangen, das Problem anders zu betrachten. Diese Anweisungen wiesen den Computer an, den Bereich um die Kerne des Gusses zu untersuchen, den zentralen Hot Spot von den umliegenden Zonen zu trennen und aktiv zu versuchen, einfache Erklärungen zu widerlegen. Mit diesen neuen Anweisungen und ohne zusätzliche neue Werkzeuge transformierte sich die Leistung des Systems. In einer Reihe von Tests an einem spezifischen Stahlguss stieg die Fähigkeit des Systems, den tatsächlichen Ort des Defekts korrekt zu identifizieren, um etwa das Fünffache an Nennungen im selben Bericht. Der Computer begann, das wahre Problem zu finden, welches eine subtile Art von Porosität in einem Ring um die Kerne war, anstatt der offensichtlichen Lehrbuchantwort eines großen Schrumpfloch-Defekts. Dies bewies, dass die Tiefe der Analyse von der Qualität der gestellten Frage abhing, nicht von der Quantität der bereitgestellten Daten. Es ist jedoch wichtig anzumerken, dass die Referenzanalyse, gegen die das System getestet wurde, nicht von einem unabhängigen menschlichen Experten stammte, sondern von einem Large Language Model, das unter Anleitung des Autors erstellt wurde.

Im Laufe des Projekts dokumentierten die Forscher auch, was nicht funktionierte, was ebenso wichtig war wie die Erfolge. Sie bauten einen „Digitalen Zwilling“, ein virtuelles Modell der gesamten Produktionslinie, mit dem Ziel, Ausfälle in Echtzeit vorherzusagen. Sie entdeckten jedoch, dass die Daten, die dieses Modell speisten, fehlerhaft waren. Das System verwendete Grenzwerte und Werte, die geraten oder von einer anderen Maschine übernommen worden waren, was dazu führte, dass es fast jede Messung als Fehler markierte. Die Forscher erkannten, dass das System nicht die Fehler in der Fabrik fand, sondern die Fehler in seinem eigenen Verständnis der Fabrik. Sie demontierten den Digitalen Zwilling bewusst, entfernten die Schnittstelle und das Maschinenmodell, da er noch nicht bereit für die reale Welt war. Sie fanden auch heraus, dass eine statistische Verbindung zwischen höheren Temperaturen und mehr Gasdefekten in Wirklichkeit eine Illusion war, die durch einen fehlerhaften Sensorwert verursacht wurde. Als sie die Datenquelle überprüften, sahen sie, dass die Temperaturmessungen nicht zuverlässig waren, und widerriefen die Erkenntnis. Diese Bereitschaft, die eigene Arbeit niederzureißen und zuzugeben, wenn ein Ergebnis ein Fehler war, wurde zu einem zentralen Bestandteil der Zuverlässigkeit des Systems.

Das Endergebnis ist ein System, das nach einem einfachen, aber kraftvollen Prinzip arbeitet: Der Computer schlägt vor, und der Mensch unterzeichnet. Das System ist so konzipiert, dass es offline arbeitet und historische Daten analysiert, die bereits aus der Fabrik exportiert wurden. Es verbindet sich nicht mit den Live-Steuerungssystemen der Maschinen und trifft keine Entscheidungen von selbst. Stattdessen fungiert es als hochdisziplinierter Assistent, der Beweise sammelt, seine Fakten gegen strenge Regeln prüft und einem menschlichen Ingenieur einen Bericht vorlegt. Der Mensch überprüft dann die Ergebnisse, verifiziert die Beweise und übernimmt die Verantwortung für die endgültige Entscheidung. Die Forscher fanden heraus, dass das System chronische Fehler identifizieren konnte, wie etwa eine dezentrierte Achse an einer Gießstation, die seit Monaten Ausfälle verursacht hatte, und zwischen echten Defekten und Datenfehlern unterscheiden konnte. Sie merkten jedoch auch an, dass das System nicht perfekt ist. Es hat immer noch Schwierigkeiten, die genaue Schwere einiger Defekte zu quantifizieren, und es hängt stark von der Qualität der Daten ab, die es erhält. Wenn die Daten fehlen oder falsch sind, kann das System dies nicht korrigieren.

Das Papier schließt mit einer klaren Empfehlung für die Zukunft dieser Technologie in der Industrie. Die Forscher schlagen vor, dass das höchste Autonomielevel, das ein System wie dieses jemals erreichen sollte, ein „vorbereitendes“ Niveau ist. Auf diesem Niveau kann das System einen Wert oder eine Empfehlung vorbereiten, diese gegen Sicherheitsgrenzwerte prüfen und auf eine Bestätigung durch einen Menschen warten, bevor eine Aktion unternommen wird. Sie raten ausdrücklich davon ab, dem System zu erlauben, direkt in die Steuerungssysteme der Fabrik zu schreiben, selbst wenn es vollständig validiert ist. Die Verantwortung für das Endprodukt liegt beim menschlichen Ingenieur, und diese Verantwortung sollte niemals an eine Software übertragen werden. Das Projekt zeigt, dass Large Language Models zwar leistungsstarke Werkzeuge zum Lesen und Verarbeiten von Informationen sind, sie aber in eine Schicht aus deterministischen, durch Code erzwungenen Regeln eingebettet werden müssen, um in kritischen industriellen Umgebungen nützlich zu sein. Der Erfolg des Systems lag nicht darin, den Computer intelligenter zu machen, sondern die Regeln um ihn herum strenger zu gestalten. Indem sie den Computer zwangen, seine Behauptungen zu beweisen, an den richtigen Ort zur richtigen Zeit zu schauen und zuzugeben, wenn er die Antwort nicht weiß, schufen die Forscher ein Werkzeug, das Experten bei der Lösung komplexer Probleme im Stahlguss tatsächlich unterstützen kann. Die Arbeit steht als praktischer Leitfaden dafür, wie man zuverlässige KI-Systeme in der realen Welt baut, in der die Kosten eines Fehlers nicht nur eine falsche Antwort, sondern eine kaputte Maschine oder ein fehlerhaftes Produkt sind.