Recovering Engineering-Change Traceability from Legacy CNC Work Orders: A Pydantic Schema and Few-Shot LLM Extraction Baseline

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar de aanwijzingen staan niet netjes op indexkaarten. In plaats daarvan zijn ze gekrabbeld in de marges van oude, gekreukte bonnetjes, geschreven in een mix van twee talen, en is een deel van het papier eraf geknaagd door een hongerige hond. Dit is de wereld van Engineering Change Management (ECM). In het hoogstakenlijke spel van het bouwen van machines gaat het zelden precies volgens plan. Een onderdeel kan breken, een regel kan veranderen, of een materiaal moet worden vervangen. In grote, chique fabrieken worden deze wijzigingen bijgehouden in enorme, digitale databases die fungeren als perfect georganiseerde archiefkasten. Maar in kleinere werkplaatsen leeft de "geschiedenis" van deze wijzigingen vaak in kleine, rommelige aantekeningen die werknemers hebben achtergelaten in oude computersystemen. Deze aantekeningen zijn de "vrije tekst" van de productiewereld: kort, chaotisch en vaak afgebroken midden in een zin omdat de oude software waarin ze werden geschreven een zeer beperkt geheugen had.

De uitdaging voor wetenschappers is om deze rommelige, tweetalige krabbels (een mix van Traditioneel Chinees en Engels) om te zetten in een schone, gestructureerde lijst die een computer daadwerkelijk kan lezen en gebruiken. Dit wordt Information Extraction genoemd. Het is alsof je een robot probeert te leren om de chaotische sms-berichten van een tiener te lezen en daar een formeel rapport van te maken. Het doel is om te ontdekken wat er veranderde, wanneer het veranderde, en hoe één order verbonden is met een andere, zonder dat het verhaal onderweg verloren gaat. Als we dit niet kunnen doen, verliezen bedrijven het vermogen om hun fouten of verbeteringen te traceren, wat is alsof je een auto probeert te besturen zonder te weten waar de weg heen gaat.

---

Het Mysterie van de 255-Tekenslimiet

In dit onderzoek pakten onderzoekers uit Taiwan een heel specifiek, zeer rommelig probleem aan. Ze gingen naar een CNC-machinalab (een plek waar precieze metalen onderdelen worden vervaardigd) en bekeken hun oude werkorders. Ze vonden 399 van deze orders, maar slechts 217 bevatten aantekeningen. De aantekeningen waren een chaotische mix van Traditioneel Chinees en Engels, vol met industrieel jargon, en — hier komt de crux — 125 van hen waren letterlijk afgehakt bij precies 255 tekens.

Waarom 255? Het blijkt dat het bedrijf een oud databasesysteem gebruikte genaamd Microsoft Access, dat de regel had dat een tekstvak slechts 255 letters kon bevatten. Als een werknemer een langere aantekening schreef, sneed de computer deze er simpelweg af, vaak midden in een zin of een cruciaal detail. Het is alsof je een recept probeert te lezen waarbij de instructies voor "voeg de eieren toe" zijn afgebroken, waardoor je alleen overhoudt: "voeg de..." en dan niets meer.

Het team wilde kijken of ze een Small Language Model (SLM) konden gebruiken — een type AI dat slim genoeg is om taal te begrijpen, maar klein genoeg om op een gewone computer te draaien zonder internetverbinding — om deze puinhoop op te lossen. Ze wilden de geheime gegevens van het bedrijf niet naar een gigantische cloudserver sturen; ze wilden het lokaal en privé houden.

De Gereedschapskist van de Detective: Pydantic en de "Grounding" Test

Om dit op te lossen, bouwden de onderzoekers een speciaal "sjabloon" genaamd een Pydantic schema. Denk aan dit als een zeer strikte, digitale koekjesvorm. Hoe rommelig het deeg (de tekst) ook is, de vorm dwingt het in een perfecte vorm. De AI werd getraind om naar de rommelige aantekeningen te kijken en de informatie in deze specifieke vorm te dwingen, waarbij zaken als "Component" (welk onderdeel veranderde), "Substitution" (waarvoor het werd vervangen) en "Traceability Links" (hoe deze order verbonden is met een vorige) werden geïdentificeerd.

Ze gebruikten een model met 3 miljard parameters (een "kleine" AI in de wereld van Large Language Models) en leerden het om deze koekjesvorm in te vullen. Maar er was een addertje onder het gras: de AI is een beetje een dagdromer. Wanneer de AI een aantekening ziet over een machineonderdeel, wordt hij soms zo enthousiast over wat er zou kunnen zijn, dat hij details verzint die er eigenlijk niet zijn. Dit wordt hallucinatie genoemd. Het is als een student die, wanneer gevraagd wordt een verhaal samen te vatten, een personage verzint dat niet in het boek voorkomt omdat de student denkt dat het het verhaal beter maakt.

De Resultaten: Goed in Vinden, Slecht in Filteren

De resultaten waren een mix van succes en een heel specifiek soort falen.

Eerst het goede nieuws: de AI was ongelooflijk goed in het volgen van de regels. In 96,9% van de gevallen produceerde het een perfect geformatificeerd antwoord dat in de koekjesvorm paste. Het slaagde erin om de meeste wijzigingen te vinden en kon zelfs herkennen wanneer een aantekening was afgebroken.

Echter, de AI had een grote persoonlijkheidsdefect: hij was overdadig gul.

• Voor het vinden van zaken (Recall): Het was erg goed. Het vond 80% van de werkelijke verbindingen tussen werkorders.
• Voor de nauwkeurigheid (Precision): Het was verschrikkelijk. Slechts 10% van de verbindingen die de AI claimde te hebben gevonden, waren daadwerkelijk echt.

In gewone mensentaal: de AI riep: "Ik heb een link gevonden! Ik heb een link gevonden!" en hij had het slechts 1 keer op de 10 bij het rechte eind. Hij riep "Ik heb een link gevonden!" wanneer er helemaal geen link was, in 9 van de 10 gevallen. Hij verzon verbindingen om behulpzaam te zijn, wat gevaarlijk is in een fabriek waar je precies moet weten wat er is gebeurd.

De Twee Oplossingen: Een Waarschuwing versus een Filter

De onderzoekers probeerden twee verschillende manieren om de AI te stoen om dingen te verzinnen.

Poging 1: De "Alleen de Feiten" Prompt
Ze probeerden tegen de AI te praten door een speciale instructie aan de prompt toe te voegen: "Schrijf alleen dingen op die je in de tekst kunt zien. Als je het niet zeker weet, laat het dan leeg."

• Het resultaat: Dit werkte averechts. De AI stopte niet alleen met het verzinnen van dingen, maar stopte ook met het schrijven van enige nuttige informatie. Hij werd zo bang om een fout te maken dat hij ook echte informatie verwijderde. Het aantal correcte links daalde van 80% naar 40%. De instructie "Alleen de Feiten" maakte de AI te timide om zijn werk te doen.

Poging 2: De "Waarheidsfilter"
In plaats van de AI te vragen voorzichtig te zijn, bouwden de onderzoekers een aparte, automatische filter die draaide nadat de AI zijn werk had voltooid. Deze filter had een simpele regel: "Als de AI een woord of een getal schrijft, controleer dan of dat exacte woord of getal in de originele tekst voorkomt. Als dat niet zo is, verwijder het dan."

• Het resultaat: Dit was een enorme verbetering, maar geen wondermiddel. De filter veranderde niets aan hoeveel zaken de AI vond (Recall bleef op 80%) en het veegde alle nep-woorden weg die niet in de tekst stonden, waardoor het aantal hallucinaties van verzonnen woorden naar nul ging. Echter, de nauwkeurigheid (Precision) van de AI steeg slechts van 10% naar 13,3%.

Waarom kwam het niet tot 100%? Omdat de AI nog steeds een ander soort fout maakte. Zelfs wanneer de woorden die hij gebruikte echt waren en aanwezig waren in de tekst, koppelde hij ze soms aan de verkeerde relatie. Bijvoorbeeld, hij zag misschien twee werkordernummers in een aantekening en gokte dat ze verbonden waren, terwijl ze eigenlijk alleen maar naast elkaar werden genoemd om een andere reden. De filter kan dit niet opvangen, omdat de woorden er wel zijn; de fout zit in de logica van de verbinding, niet in de woorden zelf.

De Conclusie

Het artikel concludeert dat voor dit specifieke, rommelige type data, je een AI niet simpelweg kunt vertellen om "eerlijk te zijn". Op deze schaal begrijpt de AI het verschil tussen "wat in de tekst staat" en "wat ik denk dat in de tekst staat" niet echt. Het heeft een deterministische filter nodig — een rigide, gevoelloze regelcontroleur — om de troep op te ruimen.

De studie laat zien dat we de geschiedenis van engineeringwijzigingen wel degelijk kunnen herstellen uit deze oude, afgebroken aantekeningen, maar dat we moeten accepteren dat de AI zelfs nadat we de fouten in het verzinnen van woorden hebben gecorrigeerd, nog steeds logische fouten zal maken. De "grounding" instructie (de AI vertellen voorzichtig te zijn) maakt het slechter, maar een "post-hoc filter" (het werk achteraf controleren) verwijdert succesvol de verzonnen woorden en verbetert de nauwkeurigheid, hoewel het de verwarring van de AI over hoe dingen met elkaar verbonden zijn, niet kan oplossen. Het is een herinnering dat de beste manier om met een dagdromende robot om te gaan soms niet is om hem een lesje te leren, maar om hem een factchecker te geven die de leugens kan opsporen, zelfs als de robot de plotwendingen nog steeds verkeerd begrijpt.