Gates Instead of Prompts: Development and Methods of a Large-Language-Model Expert System for Root- Cause Analysis in a Steel Foundry

In de zware industrie van de staalgietery, waar gesmolten metaal in zandvormen wordt gegoten om massieve componenten te creëren, komt het verschil tussen een perfect onderdeel en een defect onderdeel vaak voort uit onzichtbare fysica. Wanneer een gietsel faalt, moeten ingenieurs een oorzaakanalyse uitvoeren, een grondig onderzoek dat aanwijzingen samenvoegt uit machine-logs, laboratoriumtests en complexe computersimulaties van hoe het metaal afkoelt en stolt. Decennialang heeft dit werk vertrouwd op menselijke experts die duizenden pagina's aan handleidingen kunnen lezen en subtiele patronen in data kunnen interpreteren. Onlangs is er een nieuw instrument in het gesprek gekomen: large language models. Dit zijn krachtige computerprogramma's die in staat zijn om enorme hoeveelheden tekst te lezen en vragen te beantwoorden met opmerkelijke vloeiendheid. Ze hebben echter een aanzienlijk gebrek: ze spreken met absolute zelfverzekerdheid, zelfs wanneer ze ongelijk hebben. In een omgeving met hoge inzet, zoals een staalfonderij, kan een zelfverzekerd maar onjuist antwoord leiden tot gevaarlijke fouten of kostbare productiefouten. De uitdaging is daarom niet alleen om deze slimme computers te gebruiken, maar om een systeem te bouwen dat hen dwingt eerlijk, gegrond en verifieerbaar te zijn.

Dit artikel beschrijft de creatie van een dergelijk systeem, ontwikkeld door een onafhankelijk onderzoeker voor een staalfonderij in Tsjechië. Het project, genaamd Digital Foundry PRO, was niet ontworpen om menselijke ingenieurs te vervangen, maar om te fungeren als een forensische assistent die offline werkt op historische gegevens. De kernontdekking van het werk is dat je een large language model niet simpelweg kunt vertellen om "voorzichtig te zijn" of "je feiten te controleren". In plaats daarvan moesten de onderzoekers een rigide kader van digitale poorten bouwen die de computer fysiek tegenhouden om ongefundeerde claims te maken. Het systeem werd getest op real-world data van een gieterij die staalgietstukken produceert met groen zandvormen. Gedurende zes maanden evolueerde het systeem van een eenvoudig prototype naar een geavanceerd instrument dat gietdefecten en apparatuurdefecten kon analyseren. De belangrijkste bevinding was dat het vermogen van het systeem om de werkelijke oorzaak van een probleem te vinden niet voortkwam uit het geven van meer tools of meer data aan de computer, maar uit het veranderen van de specifieke instructies die eraan werden gegeven. Door de computer te dwingen te kijken naar het exacte moment en de exacte plaats waar een defect ontstaat, in plaats van de hele simulatie te scannen op alles wat ongewoon is, verbeterde de nauwkeurigheid van het systeem drastisch.

Het ontwikkelingsproces begon met een scherp besef over de beperkingen van de huidige technologie. In een vroege test werd een standaard chatbot gevraagd waarom een gieteenheid zijn cyclus stopte. De machine keek naar de temperatuurdata, nam aan dat het metaal aluminium was, en verklaarde dat de geregistreerde temperaturen van boven de 1.300 graden Celsius fysiek onmogelijk waren. Vervolgens adviseerde het om de sensor te vervangen en de alarminstellingen te verlagen. Het advies was zelfverzekerd en klonk redelijk, maar het was volkomen fout omdat de gieterij staal giet, geen aluminium. Deze fout benadrukte het gevaar van een systeem dat autoritair klinkt maar geen mechanisme heeft om zijn eigen feiten te verifiëren. Om dit op te lossen, bouwde de onderzoeker een reeks "poorten" in de software. Dit zijn geen suggesties voor de computer om te volgen; het zijn hard-coded regels die het proces stoppen als aan bepaalde voorwaarden niet wordt voldaan. Bijvoorbeeld, het systeem zal een analyse niet starten tenzij het specifieke type metaal is bevestigd door een document in de bibliotheek. Als de computer probeert een pagina uit een handleiding aan te citeren, controleert de software de werkelijke tekst van die pagina om te verzekeren dat de quote woord voor woord aanwezig is. Als de computer probeert een simulatie-afbeelding te refereren, controleert de software of het afbeeldingsbestand daadwerkelijk bestaat en overeenkomt met de beschrijving. Deze poorten fungeren als een vangnet, waardoor de computer geen feiten kan verzinnen of bewijs kan hallucineren.

Het systeem introduceerde ook een nieuwe manier om computersimulaties van het afkoelingsproces te lezen. Normaal gesproken scant een computer misschien een hele simulatievideo op zoek naar elk teken van problemen, zoals een hot spot of een snel bewegende stroom metaal. Deze aanpak leidt vaak tot valse alarmen, aangezien hoge temperaturen of snelle stromingen soms normale delen van het proces zijn. Het nieuwe systeem veranderde de regels: het kijkt alleen naar de simulatiegegevens op de exacte locatie, op het exacte moment en boven de exacte drempelwaarde waar een specifiek defect bekend is om te ontstaan. Bijvoorbeeld, als een defect een type krimp is die nabij de kern van het gietsel plaatsvindt, negeert het systeem de rest van de mal en focust het alleen op dat specifieke gebied tijdens de specifieke tijd dat het metaal stolt. Deze methode voorkomt dat de computer wordt afgeleid door irrelevante data. Bovendien behandelt het systeem de handleidingen voor de machines met extreme voorzichtigheid. Een handleiding voor een stuk apparatuur beschrijft vaak alle mogelijke functies die de machine zou kunnen hebben, niet alleen de functies die de specifieke machine in de fabriek daadwerkelijk bezit. Het systeem werd geprogrammeerd om een "vertrouwensniveau" toe te kennen aan elke claim over de apparatuur. Alleen claims die geverifieerd waren tegen de werkelijke operationele data van de machine, mochten worden gebruikt in officiële procedures. Claims die uitsluitend gebaseerd waren op de handleiding, werden gemarkeerd als ongeverifieerd, waardoor het systeem geen handelingen kon aanbevelen die de specifieke machine niet kon uitvoeren.

De meest significante doorbraak kwam toen de onderzoekers testten hoe ze het systeem dieper kon laten nadenken. Aanvankelijk kon de computer de data lezen en een rapport produceren, maar de rapporten waren oppervlakkig en misten vaak het werkelijke probleem. De onderzoekers probeerden meer tools en meer data toe te voegen, maar de resultaten verbeterden niet. Vervolgens veranderden ze de taak zelf. Ze gaven de computer vijf specifieke instructies, of "mandaten", die de computer dwongen het probleem anders te bekijken. Deze instructies vertelden de computer om het gebied rond de kernen van het gietsel te onderzoeken, om de centrale hot spot te scheiden van de omliggende zones, en om actief te proberen eenvoudige verklaringen te weerleggen. Met deze nieuwe instructies, en zonder nieuwe tools toe te voegen, transformeerde de prestaties van het systeem. In een reeks tests op een specifiek staalgietstuk steeg het aantal keren dat het systeem de werkelijke locatie van het defect correct identificeerde van nul naar tussen de drie en zestien vermeldingen in hetzelfde rapport, wat een verbetering van ongeveer vijf keer betekende. De computer begon het echte probleem te vinden, wat een subtiel type porositeit was in een ring rond de kernen, in plaats van het voor de hand liggende tekstboekantwoord van een grote krimpopening. Belangrijk is hierbij dat de referentieanalyse waartegen het systeem werd getest, niet afkomstig was van een onafhankelijk menselijk expert, maar werd geschreven door een LLM onder begeleiding van de auteur. Dit betekent dat de verbetering is gemeten ten opzien van een door een AI gegenereerd benchmark-rapport en niet tegenover een onafhankelijke menselijke expert. Dit bewees echter wel dat de diepgang van de analyse afhing van de kwaliteit van de gestelde vraag, niet van de hoeveelheid verstrekte data.

Gedurende het hele project documenteerden de onderzoekers ook wat niet werkte, wat even belangrijk was als de successen. Ze bouwden een "digital twin", een virtueel model van de gehele productielijn bedoeld om defecten in realtime te voorspellen. Echter, ze ontdekten dat de data die dit model voedde, gebrekkig was. Het systeem gebruikte limieten en waarden die waren geraden of overgenomen van een andere machine, wat ertoe leidde dat het bijna elke meting als een fout markeerde. De onderzoekers realiseerden zich dat het systeem niet de fouten in de fabriek vond, maar de fouten in zijn eigen begrip van de fabriek vond. Ze sloopten dit digitale tweelingmodel doelbewust af, waarbij ze de interface en het machinemodel verwijderden, omdat het niet klaar was voor de echte wereld. Ze ontdekten ook dat een statistische link tussen hogere temperaturen en meer gasdefecten eigenlijk een illusie was, veroorzaakt door een defecte sensorwaarde. Toen ze de bron van de data controleerden, zagen ze dat de temperatuurmetingen niet betrouwbaar waren, en trokken ze de bevinding terug. Deze bereidheid om hun eigen werk af te breken en toe te geven wanneer een resultaat een fout was, werd een centraal onderdeel van de betrouwbaarheid van het systeem.

Het eindresultaat is een systeem dat werkt volgens een simpel maar krachtig principe: de computer stelt voor, en de mens tekent. Het systeem is ontworpen om offline te werken, waarbij historische data die al uit de fabriek is geëxporteerd, wordt geanalyseerd. Het maakt geen verbinding met de live controlesystemen van de machines en neemt niet zelfstandig beslissingen. In plaats daarvan fungeert het als een zeer gedisciplineerde assistent die bewijs verzamelt, zijn eigen feiten controleert tegen strikte regels en een rapport aan een menselijke ingenieur presenteert. De mens beoordeelt vervolgens de bevindingen, verifieert het bewijs en draagt de verantwoordelijkheid voor de uiteindelijke beslissing. De onderzoekers ontdekten dat het systeem chronische defecten kon identificeren, zoals een scheve as op een gieteenheid die al maanden voor uitval had gezorgd, en het onderscheid kon maken tussen echte defecten en datafouten. Ze merkten echter ook op dat het systeem niet perfect is. Het heeft nog steeds moeite met het kwantificeren van de exacte ernst van sommige defecten, en het is sterk afhankelijk van de kwaliteit van de data die het krijgt. Als de data ontbreekt of onjuist is, kan het systeem dit niet oplossen.

Het artikel concludeert met een duidelijke aanbeveling voor de toekomst van deze technologie in de industrie. De onderzoekers suggereren dat het hoogste niveau van autonomie dat een systeem als dit ooit zou mogen bereiken, een "voorbereidend" niveau is. Op dit niveau kan het systeem een waarde of een aanbeveling voorbereiden, deze controleren tegen veiligheidslimieten en wachten op een menselijke bevestiging voordat er enige actie wordt ondernomen. Ze adviseren expliciet om het systeem niet direct naar de controlesystemen van de fabriek te laten schrijven, zelfs niet als het volledig gevalideerd is. De verantwoordelijkheid voor het eindproduct ligt bij de menselijke ingenieur, en die verantwoordelijkheid mag nooit worden overgedragen aan software. Het project demonstreert dat hoewel large language models krachtige instrumenten zijn voor het lezen en verwerken van informatie, ze ingepakt moeten worden in een laag van deterministische, door code afgedwongen regels om nuttig te zijn in kritieke industriële omgevingen. Het succes van het systeem kwam niet door de computer slimmer te maken, maar door de regels eromheen strenger te maken. Door de computer te dwingen zijn claims te bewijzen, naar de juiste plek op het juiste moment te kijken en toe te geven wanneer hij het antwoord niet weet, creëerden de onderzoekers een instrument dat experts echt kan bijstaan bij het oplossen van de complexe problemen van de staalgietery. Het werk dient als een praktische gids voor hoe men betrouwbare AI-systemen bouwt in de echte wereld, waar de kosten van een fout niet alleen een verkeerd antwoord zijn, maar een kapotte machine of een mislukt product.