🤖 AI

Constructing Dynamic Master Logic Models as Knowledge Graphs for Complex System Diagnostics Using Retrieval-Augmented Large Language Models

Dit artikel presenteert een framework dat Retrieval-Augmented Generation en Large Language Models inzet om automatisch schaalbare, graafgebaseerde dynamische Master Logic-modellen te construeren vanuit technische documentatie, waardoor automatische diagnostische redenering en betrouwbaarheidsanalyse voor complexe systemen zoals veiligheidssystemen van kernreactoren mogelijk worden gemaakt.

Oorspronkelijke auteurs: Saman Marandi, Yu-Shu Hu, Mohammad Modarres

Gepubliceerd 2026-08-13

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Saman Marandi, Yu-Shu Hu, Mohammad Modarres

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een enorme, complexe machine werkt, zoals een ruimteschip of een kerncentrale. Meestal moeten ingenieurs enorme, ingewikkelde kaarten tekenen die "Fault Trees" (foutbomen) worden genoemd om uit te zoeken wat er gebeurt als er iets kapot gaat. Deze kaarten zijn als het kijken naar een bos en proberen het hele ecosysteem te begrijpen door alleen individuele gevallen bladeren en gebroken takken te bestuderen. Ze zijn geweldig voor bekende problemen, maar als er een gloednieuwe, vreemde fout optreedt waar niemand rekening mee heeft gehouden, falen deze kaarten vaak omdat ze alleen zoeken naar specifieke, vooraf geschreven rampenscenario's.

Om dit op te lossen, gebruiken wetenschappers iets dat "Functionele Modellering" wordt genoemd. In plaats van alleen kapotte onderdelen op te sommen, breng je in kaart wat de machine behoort te doen. Het is also[f] begrijpen van een auto niet door elke mogelijke kapotte bout op te sommen, maar door te begrijpen dat de motor de taak heeft om brandstof in beweging om te zetten en de wielen de taak hebben om die beweging om te zetten in verplaatsing. Als je de taken kent, kun je achterhalen wat er gebeurt als de brandstof stopt, zelfs als je die exacte situatie nog nooit hebt gezien. Tot nu toe vereiste het bouwen van deze "takenkaarten" menselijke experts die duizenden pagina's technische handleidingen moesten lezen en handmatig de verbindingen moesten tekenen, een proces dat maanden duurt en moeilijk op te schalen is voor gigantische systemen.

Het Grote Idee van het Papier: AI Leren de Blauwdruk Tekenen

Dit papier introduceert een slimme nieuwe manier om deze "takenkaarten" (Dynamic Master Logic of DML-modellen genoemd) te bouwen met behulp van Kunstmatige Intelligentie, specifiek Large Language Models (LLM's) en een techniek genaamd Retrieval-Augmented Generation (RAG). Denk aan de LLM als een superintelligente, snellezende stagiair die de hele bibliotheek aan technische handleidingen heeft gelezen. Deze stagiair heeft echter een slechte gewoonte: soms verzint hij dingen of raakt hij in de war wanneer het verhaal te lang wordt. Om dit op te lossen, gaven de auteurs de stagiair een strikte set regels en een "zoekmachine" (RAG) die hem dwingt om naar de specifieke pagina van de handleiding te kijken die relevant is voor de taak voordat hij iets opschrijft.

Het resultaat is een systeem dat automatisch technische documentatie leest en een "Knowledge Graph" (een digitale web van verbindingen) bouwt die er precies uitziet als de door experts getekende kaarten. De auteurs testten dit op het Low-Pressure Coolant Injection (LPCI) systeem van een buiten gebruik gestelde kerncentrale. Dit systeem is een veiligheidsnet dat ontworast is om de reactor met water te overstromen als deze te heet wordt. Het is complex, met pompen, kleppen en leidingen die op specifieke manieren samenwerken.

Hoe de Magie Gebeurt: De Chef Laag-voor-Laag

De auteurs vroegen de AI niet simpelweg: "Teken de hele kaart." Dat zou zijn als een chef vragen om een gang met tien gerechten te koken in één zin. In plaats daarvan braken ze de taak op in lagen, zoals het bouwen van een huis van het dak naar de fundering toe.

De Zoekopdracht: Het systeem begint met een hoog niveau doel, zoals "Houd de reactor koel." Het zoekt in de handleidingen naar de specifieke secties die over dit doel gaan.
De Extractie: De AI leest deze secties en vraagt: "Welke functies zijn nodig om dit doel te bereiken?" Het vindt antwoorden zoals "Water pompen" of "Kleppen openen."
De Verbinding: Vervolgens neemt het deze nieuwe functies en zoekt opnieuw in de handleidingen om de specifieke onderdelen (componenten) te vinden die het werk doen.
De Grafiek: Ten slotte voegt het al deze stukjes samen tot een digitale grafiek (een Knowledge Graph) waarbij elke node een onderdeel of een functie is, en elke lijn een logische regel is (zoals "EN" of "OF") die hen verbindt.

Het papier laat zien dat deze methode verrassend goed werkt. Wanneer ze het systeem vijf keer draaiden op dezelfde documentatie van een kerncentrale, bouwde het de kaart met ongelooflijke consistentie. Voor de hoofddoelen en de belangrijkste functies kreeg de AI het elke keer 100% goed. Zelfs op het gedetailleerde niveau van specifieke componenten (zoals individuele kleppen) was het 98% van de tijd correct.

De "Integriteitsscore": Hoe Goed is de Kaart?

Om er zeker van te zijn dat de AI niet gewoon gokte, creëerden de auteurs een speciaal scoresysteem genaamd een "Integrity Score" (integriteitsscore). Stel je voor dat je het huiswerk van een leerling nakijkt. Je controleert niet alleen of de antwoorden juist zijn; je controleert of het hele verhaal logisch is. Als de leerling een cruciale stap in het midden mist, valt het hele antwoord uit elkaar.

De auteurs ontdekten dat de manier waarop informatie aan de AI werd gevoerd, uitmaakte. Als ze de AI vroegen om te veel onderdelen tegelijk te verwerken (een grote "batch size"), daalde de kwaliteit van de kaart lichtjes. Het was alsof je de chef vroeg om alle groenten voor de hele maaltijd in één keer te snijden; hij zou er misschien een paar missen. Wanneer ze de AI vrozen om één kleine stap tegelijk te doen (een batch size van 1), was de kaart het meest accuraat, hoewel het langer duurde om de kaart te bouwen. De beste balans die ze vonden, was het verwerken van vijf stappen tegelijk, wat de kaart zeer accuraat hield (een score van rond de 89 van de 100) zonder dat het eeuwig duurde.

Wat de Kaart Kan Doen: De Detective en de Planner

Zodra de kaart is gebouwd, wordt het een krachtig hulpmiddel voor twee hoofdzaken:

Upward Propagation (De Detective): Als een specifieke klep kapot gaat, kun je het systeem vragen: "Wat gebeurt er met de hele centrale?" Het systeem volgt de fout omhoog via de ladder. Het kan zeggen: "Als deze klep faalt, kan de pomp niet werken, wat betekent dat de koelfunctie faalt en de reactor oververhit kan raken." Het doet dit door de logische regels te volgen die de AI in de kaart heeft gebouwd.
Downward Propagation (De Planner): Je kunt ook vragen: "Hoe houden we de reactor koel?" Het systeem kijkt omlaag via de ladder en zegt: "Je hebt de pomp nodig om te werken, wat vereist dat de klep open staat EN de stroom aan staat." Het vindt alle verschillende manieren om een doel te bereiken, en laat zien welke back-upplannen (redundantie) het systeem heeft.

De Kanttekening: Wat het Papier Wel en Niet Zegt

De auteurs zijn voorzichtig om niet te beweren dat dit een perfect, afgewerkt product is. Ze stellen expliciet dat hoewel de AI erg goed is in het lezen van de handleidingen en het leggen van de verbindingen, de AI de natuurkunde niet "begrijpt" zoals een menselijke expert dat doet. De kaart is een representatie van de tekst, niet noodzakelijkerwijs een perfecte simulatie van de werkelijkheid.

De auteurs merken bijvoorbeeld op dat het systeem een klein beetje moeite heeft met de meest drukke, complexe delen van de kaart (waar veel kleppen en leidingen samenkomen). Het kan één of twee verbindingen van de honderden missen. Ook weet het systeem niet automatisch dat er sprake is van "Common Cause Failures" (gemeenschappelijke oorzaak-fouten)—situaties waarin twee verschillende onderdelen tegelijkertijd falen omdat ze een verborgen gemeenschappelijke oorzaak delen, zoals een slechte productierun of een gedeelde stroompiek. De AI kan deze tijdens een gesprek wel als mogelijkheid signaleren, maar bouwt ze niet in de kernlogica van de kaart.

Het papier sluit ook de gedachte uit dat dit de menselijke expert vervangt. In plaats daarvan suggereren ze dat dit hulpmiddel een "force multiplier" (krachtversterker) is. Het neemt een taak die normaal gesproken maanden aan lezen en tekenen van menselijke experts vereist en krimpt dit terug naar enkele dagen. De menselijke expert stapt dan in om het werk van de AI te beoordelen, vangt die paar ontbrekende schakels op en zorgt ervoor dat de kaart echt veilig is.

De Kern van het Verhaal

Dit papier suggereert dat we nu AI kunnen gebruiken om stapels saaie, complexe technische handleidingen om te zetten in interactieve, logische kaarten die ons helpen begrijpen hoe gigantische machines werken en wat er gebeurt als ze kapot gaan. Het is geen toverstaf die elk technisch probleem direct oplost, maar het is een krachtig nieuw instrument dat de taak om onze complexe wereld veilig te houden veel sneller en consistenter maakt. De auteurs laten zien dat we, met de juiste "zoek- en verifieerstrategie", AI kunnen leren de taal van de technische logica te spreken, waardoor tekst wordt omgezet in een levende, ademende blauwdruk voor veiligheid.

Technische Samenvatting: Geautomatiseerde Constructie van Dynamische Master Logica Modellen als Knowledge Graphs

Probleemstelling
Moderne technische systemen worden steeds complexer, wat diagnostische modellen vereist die interacties en afhankelijkheden over meerdere abstractieniveaus nauwkeurig vastleggen. Traditionele gebeurtenisgestuurde benaderingen, zoals Fault Tree Analysis (FTA) en Event Tree Analysis (ETA), vertrouwen op vooraf gedefinieerde foutsequenties. Hoewel deze methoden effectief zijn voor bekende defecten, zijn ze inherent incompleet wanneer foutsequenties onvoorzien zijn en onmogelijk te traceren worden naarmate de systeemcomplexiteit toeneemt.

Functionele modellering biedt een alternatief door zich te richten op systeemdoelstellingen en hoe deze worden gerealiseerd door componentinteracties. Dynamic Master Logic (DML) is een hiërarchisch kader dat functionele doelstellingen koppelt aan structurele elementen (hardware, software, menselijke handelingen) met behulp van expliciete logische relaties. Het construeren van DML-modellen heeft echter historisch gezien vertrouwd op handmatige, door experts gestuurde interpretatie van uitgebreide technische documentatie. Dit proces beperkt de schaalbaarheid en belemmert de toepassing van functionele representaties op grote, documentintensieve systemen. Bovendien tonen Large Language Models (LLMs) veelbelovende resultaten op het gebied van semantische interpretatie, maar lijden ze aan hallucinaties, inconsistente redeneringen en een gebrek aan persistente structuur, waardoor ze onbetrouwbaar zijn voor het genereren van de expliciete, gestructureerde representaties die vereist zijn voor rigoureuze technische diagnostiek zonder augmentatie.

Methodologie
De studie stelt een raamwerk voor voor de geautomatiseerde constructie van DML-modellen vanuit systeemdocumentatie, waarbij deze worden gerepresenteerd als Knowledge Graphs (KG-DML). De aanpak maakt gebruik van Retrieval-Augmented Generation (RAG) en LLMs om de kloof tussen ongestructureerde tekst en gestructureerde functionele logica te overbruggen.

Document Preprocessing en Embedding: Systeemdocumentatie wordt gestandaardiseerd om componentidentificatoren te normaliseren en ambiguïteiten op te lossen. De tekst wordt gesegmenteerd in overlappende chunks (1.500 tekens) en ingebed in een vector store om similarity-gebaseerde retrieval te ondersteunen.
Laag-voor-laag Constructie: Het model wordt sequentieel geconstrueerd door de DML-hiërarchie (Doelen $\rightarrow$ $\to$ Functies $\rightarrow$ $\to$ Subfuncties $\rightarrow$ $\to$ Componenten $\rightarrow$ $\to$ Succescondities).
- Per laag wordt een retrieval query geconstrueerd met behulp van de semantische definitie van de huidige laag en de parent-elementen die in de vorige fase zijn geïdentificeerd.
- De top $K$ relevante document chunks worden opgehaald en aan de LLM verstrekt, samen met een vooraf gedefinieerd JSON-schema.
- De LLM genereert kandidaat-elementen en logische relaties (AND/OR gates), beperkt door het schema.
- Gevalideerde elementen worden toegevoegd aan een master JSON-representatie, die dient als context voor de retrieval van de volgende laag.
Knowledge Graph Synthese: De gevalideerde JSON wordt omgezet in Cypher-queries om een Neo4j graph database te populeren. Dit proces behandelt expliciet geneste Boolean gate-structuren door tussenliggende gate-nodes te creëren om multi-level logische afhankelijkheden te behouden zonder de hiërarchie af te vlaken.
Evaluatiekader: Een multi-level validatiemethodologie wordt geïntroduceerd om de geconstrueerde KG-DML te beoordelen:
- Element-niveau Metrieken: Precisie, recall en $F_2$ -scores worden berekend voor elke hiërarchische laag, waarbij $F_2$ de nadruk legt op recall om ontbrekende elementen te bestraffen.
- Structurele Consistentie: Link-nauwkeurigheid en gate-correctheid (AND/OR logica) worden geëvalueerd.
- Integriteitsscore: Een geaggregeerde metriek combineert gewogen laag-specifieke $F_2$ -scores met een exponentiële straf voor structurele reconstructiefouten (ontbrekende nodes, links, gate-mismatches of orphan nodes). Deze score weerspiegelt zowel de elementnauwkeurigheid als de volledigheid van functionele paden.
Interactiemechanisme: De resulterende KG-DML ondersteunt diagnostische redenering via een LLM-agent die fungeert als een coördinatielaag. De agent interpreteert gebruikersqueries en roept deterministische, op grafen gebaseerde tools aan voor:
- Upward Propagation: Het traceren van de gevolgen van defecten van componenten naar systeemdoelen.
- Downward Propagation: Het identificeren van minimale succespaden van doelen naar componenten.
- Explanatory Queries: Het ophalen van structurele relaties via Graph-RAG.

Belangrijkste Bijdragen

Geautomatiseerd Constructieraamwerk: Introduceert een schaalbare methode voor het extraheren van functionele modellen uit ongestructureerde technische documentatie met behulp van RAG en LLMs, waarmee de stap wordt gezet voorbij de handmatige expertprocessen die voorheen vereist waren voor DML.
Extensie naar Complexe Systemen: Breidt eerder kleinschalig onderzoek uit naar aanzienlijk grotere, documentintensieve systemen (gedemonstreerd op een veiligheidssysteem van een Boiling Water Reactor), waarbij de uitdaging van hiërarchische consistentie bij grootschalige extractie wordt aangepakt.
Gestructureerde Evaluatie: Ontwikkelt een rigoureus, multi-level evaluatiekader dat laag-specifieke nauwkeurigheid combineert met een geaggregeerde integriteitsscore om structurele volledigheid en logische consistentie te beoordelen, waarmee gaten in eerdere evaluatiemethodologieën worden gedicht.
Uitvoerbare KG-DML Representatie: Levert een machine-leesbare Knowledge Graph die de strikte hiërarchische decompositie en succeslogica van DML behoudt, wat deterministische diagnostische redenering mogelijk maakt in plaats van enkel te vertrouwen op gegeneraliseerde LLM-kennis.

Resultaten
Het raamwerk werd toegepast op het Low-Pressure Coolant Injection (LPCI) systeem van een gedecommissioneerde Boiling Water Reactor.

Consistentie: Het model vertoonde een consistente reconstructie over vijf onafhankelijke runs. Hogere lagen (Doelen, Functies, Subfuncties) behaalden een perfecte precisie en recall ( $F_2 = 1.0$ ).
Granulariteit: Kleine afwijkingen traden op bij de Component- en Success Condition-lagen, waar de recall licht daalde ( $F_2$ variërend van 0.978 tot 0.993), wat resulteerde in ongeveer 1–6 gemiste nodes per run.
Structurele Integriteit: De link-nauwkeurigheid was hoog voor top-level relaties, maar vertoonde variabiliteit bij de Subfunction-Component laag vanwege de hogere structurele dichtheid. De gate-nauwkeurigheid varieerde van 0.889 tot 0.963 bij deze laag.
Batching Trade-off: Een analyse van de integriteitsscore onthulde een trade-off tussen batchgrootte en structurele stabiliteit. Een batchgrootte van 1 (het verwerken van één parent-element per keer) leverde de hoogste gemiddelde integriteitsscore op (90.38), terwijl grotere batches (tot 15) een geleidelijke daling in prestaties lieten zien, wat suggereert dat het isoleren van expansiestappen de structurele stabiliteit verbetert.
Diagnostische Capaciteiten: Het systeem voerde succesvol upward propagation uit om de impact van defecten op systeemdoelen te traceren, en downward propagation om succespaden te enumereren, inclusief kwalitatieve annotaties voor potentiële Common Cause Failures (CCF) tussen redundante componenten.

Betekenis en Claims
Het artikel claimt dat het voorgestelde raamwerk technische documentatie transformeert in uitvoerbare functionele modellen, waardoor de handmatige inspanning voor DML-constructie (van maanden naar dagen) aanzienlijk wordt verminderd terwijl een hoge structurele nauwkeurigheid behouden blijft. De betekenis ligt niet in het individuele gebruik van RAG, LLMs of grafendatabases, maar in hun integratie in een coherent, door schema beperkt raamwerk dat gegronde diagnostische redenering mogelijk maakt.

De auteurs benadrukken dat het raamwerk is ontworken om de expertmodellering te ondersteunen in plaats van te vervangen. De resulterende KG-DML biedt een expliciete kennisrepresentatie die LLM-agents in staat stelt om over functionele afhankelijkheden en foutpropagatie te redeneren met traceerbaarheid, waarmee de beperkingen van ongestructureerde LLM-redenering worden overwonnen. De studie erkent dat hoewel de aanpak robuust is voor het geteste systeem, verdere validatie nodig is voor grotere systemen, en dat de huidige implementatie Common Cause Failures kwalitatief behandelt in plaats van ze expliciet binnen de grafic-logica te modelleren. Het werk legt een fundament voor schaalbare, geautomatiseerde functionele modellering in reliability engineering.