🤖 AI

Constructing Dynamic Master Logic Models as Knowledge Graphs for Complex System Diagnostics Using Retrieval-Augmented Large Language Models

Dieses Paper präsentiert ein Framework, das Retrieval-Augmented Generation und Large Language Models nutzt, um automatisch skalierbare, graphbasierte dynamische Master-Logik-Modelle aus technischer Dokumentation zu konstruieren und dadurch automatisiertes diagnostisches Schließen sowie Zuverlässigkeitsanalysen für komplexe Systeme wie etwa Sicherheitssysteme von Kernreaktoren zu ermöglichen.

Ursprüngliche Autoren: Saman Marandi, Yu-Shu Hu, Mohammad Modarres

Veröffentlicht 2026-08-13

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Saman Marandi, Yu-Shu Hu, Mohammad Modarres

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine riesige, komplexe Maschine funktioniert, wie etwa ein Raumschiff oder eine Kernkraftanlage. Normalerweise müssen Ingenieure gewaltige, komplizierte Karten namens „Fehlerbäume“ zeichnen, um herauszufinden, was passiert, wenn etwas kaputtgeht. Diese Karten sind so, als würde man versuchen, ein ganzes Ökosystem zu verstehen, indem man nur einzelne gefallene Blätter und abgebrochene Zweige untersucht. Sie sind großartig für bekannte Probleme, aber wenn ein brandneues, seltsames Versagen auftritt, das niemand vorhergesehen hat, versagen diese Karten oft, weil sie nur nach spezifischen, vordefinierten Katastheitsszenarien suchen.

Um dies zu beheben, nutzen Wissenschaftler etwas, das man „Funktionale Modellierung“ nennt. Anstatt nur defekte Teile aufzulisten, bildet man ab, was die Maschine tun soll. Es ist so, als würde man ein Auto nicht dadurch verstehen, dass man jede mögliche kaputte Schraube auflistet, sondern indem man versteht, dass der Job des Motors darin besteht, Kraftstoff in Bewegung umzuwandeln, und der Job der Räder darin, diese Bewegung in Fortbewegung zu verwandeln. Wenn man die Aufgaben kennt, kann man auch dann herausfinden, was passiert, wenn der Kraftstoff ausbleibt, selbst wenn man genau dieses Problem noch nie zuvor gesehen hat. Bisher war das Erstellen dieser „Job-Karten“ jedoch eine enorme Herausforderung.

Die große Idee des Papers: Einer KI das Zeichnen des Bauplans beibringen

Dieses Paper stellt einen cleveren neuen Weg vor, um diese „Job-Karten“ (genannt Dynamic Master Logic oder DML-Modelle) mithilfe von Künstlicher Intelligenz zu erstellen, speziell durch Large Language Models (LLMs) und eine Technik namens Retrieval-Augmented Generation (RAG). Stellen Sie sich das LLM wie einen superintelligenten, schnell lesenden Praktikanten vor, der die gesamte Bibliothek der technischen Handbücher gelesen hat. Dieser Praktikant hat jedoch eine schlechte Angewohnheit: Manchmal erfindet er Dinge dazu oder wird verwirrt, wenn die Geschichte zu lang wird. Um dies zu beheben, gaben die Autoren dem Praktikanten eine strikte Regel und eine „Suchmaschine“ (RAG), die ihn zwingt, vor dem Schreiben etwas auch tatsächlich auf der relevanten Seite des Handbuchs nachzuschlagen.

Das Ergebnis ist ein System, das automatisch technische Dokumentationen liest und einen „Knowledge Graph“ (ein digitales Netz aus Verbindungen) erstellt, der exakt wie die von Experten gezeichneten Karten aussieht. Die Autoren testeten dies am Low-Pressure Coolant Injection (LPCI)-System einer stillgelegten Kernkraftanlage. Dieses System ist ein Sicherheitsnetz, das darauf ausgelegt ist, den Reaktor mit Wasser zu fluten, falls er zu heiß wird. Es ist komplex, mit Pumpen, Ventilen und Rohren, die auf spezifische Weise zusammenarbeiten.

Wie die Magie geschieht: Der Schicht-für-Schicht-Koch

Die Autoren haben die KI nicht einfach gefragt: „Zeichne die ganze Karte.“ Das wäre so, als würde man einen Koch bitten, ein Zehn-Gänge-Menü in einem einzigen Satz zu kochen. Stattdessen haben sie die Aufgabe in Schichten unterteilt, ähnlich wie beim Bau eines Hauses, von dem Dach bis zum Fundament.

Die Suche: Das System beginnt mit einem übergeordneten Ziel, wie zum Beispiel „Den Reaktor kühl halten“. Es sucht in den Handbüchern nach den spezifischen Abschnitten, die über dieses Ziel sprechen.
Die Extraktion: Die KI liest diese Abschnitte und fragt: „Welche Funktionen sind nötig, um dies zu erreichen?“ Sie findet Antworten wie „Wasser pumpen“ oder „Ventile öffnen“.
Die Verbindung: Sie nimmt dann diese neuen Funktionen und sucht erneut in den Handbüchern nach den spezifischen Teilen (Komponenten), die die Arbeit verrichten.
Der Graph: Schließlich fügt sie all diese Teile zu einem digitalen Graphen (einem Knowledge Graph) zusammen, bei dem jeder Knoten ein Teil oder eine Funktion ist und jede Linie eine logische Regel (wie „UND“ oder „ODER“) darstellt, die sie verbindet.

Das Paper zeigt, dass diese Methode überraschend gut funktioniert. Als die Autoren das System fünfmal mit der Dokumentation derselben Kernkraftanlage laufen ließen, erstellte es die Karte mit unglaublicher Konsistenz. Bei den übergeordneten Zielen und Hauptfunktionen lag die KI jedes Mal bei 100 % richtig. Selbst auf der detaillierten Ebene spezifischer Komponenten (wie einzelnen Ventilen) war sie in 98 % der Fälle korrekt.

Der „Integrity Score“: Wie gut ist die Karte?

Um sicherzustellen, dass die KI nicht einfach nur geraten hat, entwickelten die Autoren ein spezielles Bewertungssystem namens „Integrity Score“. Stellen Sie sich vor, Sie bewerten die Hausaufgaben eines Schülers. Sie prüfen nicht nur, ob die Antworten richtig sind; Sie prüfen, ob die gesamte Geschichte Sinn ergibt. Wenn der Schüler einen entscheidenden Schritt in der Mitte auslässt, bricht die gesamte Antwort zusammen.

Die Autoren fanden heraus, dass die Art und Weise, wie sie die Informationen an die KI lieferten, entscheidend war. Wenn sie die KI baten, zu viele Teile auf einmal zu verarbeiten (eine große „Batch Size“), sank die Qualität der Karte leicht. Es war, als würde man den Koch bitten, das gesamte Gemüse für die ganze Mahlzeit auf einmal zu schneiden; dabei könnte er etwas übersehen. Wenn sie die KI beten, einen kleinen Schritt nach dem anderen zu machen (eine Batch Size von 1), war die Karte am genauesten, auch wenn die Erstellung etwas länger dauerte. Das beste Gleichgewicht fanden sie bei der Verarbeitung von fünf Schritten gleichzeitig, was die Karte sehr genau hielt (mit einem Score von etwa 89 von 100), ohne dass es zu lange dauerte.

Was die Karte kann: Der Detektiv und der Planer

Sobin die Karte erstellt ist, wird sie zu einem mächtigen Werkzeug für zwei Hauptaufgaben:

Upward Propagation (Der Detektiv): Wenn ein bestimmtes Ventil kaputtgeht, können Sie das System fragen: „Was passiert mit der gesamten Anlage?“ Das System verfolgt den Ausfall die Leiter hinauf. Es könnte sagen: „Wenn dieses Ventil ausfällt, kann die Pumpe nicht arbeiten, was bedeutet, dass die Kühlfunktion versagt und der Reaktor überhitzen könnte.“ Dies geschieht, indem das System den logischen Regeln folgt, die die KI in die Karte eingebaut hat.
Downward Propagation (Der Planer): Sie können auch fragen: „Wie halten wir den Reaktor kühl?“ Das System blickt die Leiter hinunter und sagt: „Sie benötigen die Pumpe, damit sie arbeitet, wofür das Ventil offen sein MUSS UND die Stromversorgung aktiv sein muss.“ Es findet alle verschiedenen Wege, um ein Ziel zu erreichen, und zeigt Ihnen die Rückfallpläne (Redundanz), die das System besitzt.

Die Einschränkungen: Was das Paper sagt und was nicht

Die Autoren sind vorsichtig damit, dies als ein perfektes, fertiges Produkt darzustellen. Sie stellen explizit klar, dass die KI zwar hervorragend darin ist, die Handbücher zu lesen und die Verbindungen zu zeichnen, aber die Physik nicht so „versteht“, wie es ein menschlicher Experte tut. Die Karte ist eine Repräsentation des Textes, nicht unbedingt eine perfekte Simulation der Realität.

Beispielsweise merkt das Paper an, dass das System bei den am dichtesten besiedelten, komplexesten Teilen der Karte (wo viele Ventile und Rohre zusammenkommen) ein wenig Schwierigkeiten hat. Es könnte eine oder zwei Verbindungen von Hunderten übersehen. Außerdem weiß das System nicht automatisch etwas über „Common Cause Failures“ – Situationen, in denen zwei verschiedene Teile gleichzeitig ausfallen, weil sie eine gemeinsame Ursache haben, wie etwa eine fehlerhafte Charge bei der Herstellung oder eine gemeinsame Stromspitze. Die KI kann diese als Möglichkeiten während eines Gesprächs markieren, baut sie aber nicht in die Kernlogik der Karte ein.

Das Paper schließt zudem die Vorstellung aus, dass dies den menschlichen Experten ersetzt. Stattdessen deutet es an, dass dieses Werkzeug ein „Kraftverstärker“ (Force Multiplier) ist. Es nimmt eine Aufgabe, die normalerweise Monate an Lese- und Zeichenarbeit von Experten erfordert, und verkürzt sie auf wenige Tage. Der menschliche Experte tritt dann ein, um die Arbeit der KI zu überprüfen, fängt jene wenigen fehlenden Verbindungen ab und stellt sicher, dass die Karte wirklich sicher ist.

Das Fazische Fazit

Dieses Paper legt nahe, dass wir nun in der Lage sind, KI einzusetzen, um Stapel von trockenen, komplexen technischen Handbüchern in interaktive, logische Karten zu verwandeln, die uns helfen zu verstehen, wie riesige Maschinen funktionieren und was passiert, wenn sie ausfallen. Es ist kein Zauberstab, der jedes technische Problem sofort löst, aber es ist ein mächtiges neues Werkzeug, das die Aufgabe, unsere komplexe Welt sicher zu halten, wesentlich schneller und konsistenter macht. Die Autoren zeigen, dass wir mit der richtigen „Suche-und-Verifiziere“-Strategie die KI dazu bringen können, die Sprache der Ingenieurslogik zu sprechen und Text in einen lebendigen, atmenden Bauplan für Sicherheit zu verwandeln.

Technische Zusammenfassung: Automatisierte Konstruktion dynamischer Master-Logikmodelle als Wissensgraphen

Problemstellung
Moderne technische Systeme werden zunehmend komplexer und erfordern Diagnosemodelle, die Interaktionen und Abhängigkeiten über mehrere Abstraktionsebenen hinweg präzise erfassen. Traditionelle ereignisgesteuerte Ansätze, wie die Fehlermöglichkeits- und Ereignisbaumanalyse (FTA) und die Ereignisbaumanalyse (ETA), stützen sich auf vordefinierte Fehlersequenzen. Während diese Methoden für bekannte Fehler effektiv sind, sind sie inhärent unvollständig, wenn Fehlersequenzen unvorhergesehen auftreten und mit wachsender Systemkomplexität nicht mehr nachvollziehbar werden.

Die funktionale Modellierung bietet eine Alternative, indem sie sich auf Systemziele und deren Realisierung durch Komponenteninteraktionen konzentriert. Das Dynamische Master-Logikmodell (DML) ist ein hierarchisches Framework, das funktionale Ziele über explizite logische Beziehungen mit strukturellen Elementen (Hardware, Software, menschliche Handlungen) verknüpft. Die Konstruktion von DML-Modellen beruhte jedoch historisch auf der manuellen, expertengesteuerten Interpretation umfangreicher technischer Dokumentationen. Dieser Prozess begrenzt die Skalierbarkeit und behindert die Anwendung funktionaler Repräsentationen auf große, dokumentationsintensive Systeme. Darüber hinaus zeigen Large Language Models (LLMs) zwar Potenzial in der semantischen Interpretation, leiden aber unter Halluzinationen, inkonsistenter Argumentation und einem Mangel an persistenter Struktur, was sie ohne Augmentierung für die Generierung der für eine rigorose technische Diagnose erforderlichen expliziten, strukturierten Repräsentationen unzuverlässig macht.

Methodik
Die Studie schlägt ein Framework für die automatisierte Konstruktion von DML-Modellen aus Systemdokumentationen vor, die als Wissensgraphen (KG-DML) dargestellt werden. Der Ansatz nutzt Retrieval-Augmented Generation (RAG) und LLMs, um die Lücke zwischen unstrukturiertem Text und strukturierter funktionaler Logik zu schließen.

Dokumenten-Preprocessing und Embedding: Die Systemdokumentation wird standardisiert, um Komponentenkennungen zu normalisieren und Mehrdeutigkeiten aufzulösen. Der Text wird in überlappende Chunks (1.500 Zeichen) segmentiert und in einem Vector Store eingebettet, um eine ähnlichkeitsbasierte Abfrage zu unterstützen.
Schichtweise Konstruktion: Das Modell wird sequenziell durch die DML-Hierarchie konstruiert (Ziele $\rightarrow$ $\to$ Funktionen $\rightarrow$ $\to$ Teilfunktionen $\rightarrow$ $\to$ Komponenten $\rightarrow$ $\to$ Erfolgsbedingungen).
- In jeder Schicht wird eine Retrieval-Abfrage erstellt, die die semantische Definition der aktuellen Schicht und die in der vorherigen Stufe identifizierten Elternelemente nutzt.
- Die Top- $K$ relevanten Dokumenten-Chunks werden abgerufen und dem LLM zusammen mit einem vordefinierten JSON-Schema zur Verfügung gestellt.
- Das LLM generiert Kandidatenelemente und logische Beziehungen (AND/OR-Gatter), die durch das Schema beschränkt sind.
- Validierte Elemente werden an eine Master-JSON-Repräsentation angehängt, die als Kontext für die Abfrage der nächsten Schicht dient.
Synthese des Wissensgraphen: Das validierte JSON wird in Cypher-Abfragen konvertiert, um eine Neo4j-Graphdatenbank zu befüllen. Dieser Prozess behandelt explizit verschachtelte Boolesche Gatterstrukturen, indem Zwischengatter-Knoten erstellt werden, um mehrstufige logische Abhängigkeiten zu bewahren, ohne die Hierarchie zu flachzuklopfen.
Evaluations-Framework: Eine mehrstufige Validierungsmethodik wird eingeführt, um den konstruierten KG-DML zu bewerten:
- Element-Ebene Metriken: Präzision, Recall und $F_2$ -Scores werden für jede hierarchische Schicht berechnet, wobei $F_2$ den Recall betont, um fehlende Elemente zu sanktionieren.
- Strukturelle Konsistenz: Die Genauigkeit der Verknüpfungen (Link Accuracy) und der Gatter (AND/OR-Logik) werden bewertet.
- Integritäts-Score: Ein aggregierter Metrik kombiniert gewichtete Schicht- $F_2$ -Scores mit einer exponentiellen Strafe für strukturelle Rekonstruktionsfehler (fehlende Knoten, Verknüpfungen, Gatter-Fehlpaarungen oder einsame Knoten). Dieser Score spiegelt sowohl die Genauigkeit der Elemente als auch die Vollständigkeit der funktionalen Pfade wider.
Interaktionsmechanismus: Der resultierende KG-DML unterstützt die diagnostische Argumentation über einen LLM-Agenten, der als Koordinationsebene fungiert. Der Agent interpretiert Benutzeranfragen und ruft deterministische graphbasierte Werkzeuge auf für:
- Aufwärts-Propagation (Upward Propagation): Rückverfolgung der Auswirkungen von Fehlern von den Komponenten zu den Systemzielen.
- Abwärts-Propagation (Downward Propagation): Identifizierung minimaler Erfolgs-Pfade von den Zielen zu den Komponenten.
- Erklärungs-Abfragen (Explanatory Queries): Abruf struktureller Beziehungen via Graph-RAG.

Wesentliche Beiträge

Automatisierte Konstruktions-Framework: Einführung einer skalierbaren Methode zur Extraktion funktionaler Modelle aus unstrukturierten technischen Dokumentationen mittels RAG und LLMs, womit der bisher erforderliche manuelle Expertenprozess für DML überwunden wird.
Erweiterung auf komplexe Systeme: Erweiterung der bisherigen kleinteiligen Forschung auf wesentlich größere, dokumentationsintensive Systeme (demonstriert an einem Sicherheitssystem eines Boiling Water Reactors), um die Herausforderung der hierarchischen Konsistenz bei der großskaligen Extraktion zu adressieren.
Strukturierte Evaluation: Entwicklung eines rigorosen, mehrstufigen Evaluations-Frameworks, das schichtspezifische Genauigkeit mit einem aggregierten Integritäts-Score kombiniert, um die strukturelle Vollständigkeit und logische Konsistenz zu bewerten und damit Lücken in bisherigen Evaluierungsmethoden zu schließen.
Ausführbare KG-DML-Repräsentation: Bereitstellung einer maschinenlesbaren Wissensgraph-Repräsentation, welche die strikte hierarchische Dekomposition und die Erfolgslogik des DML bewahrt und somit eine deterministische diagnostische Argumentation ermöglicht, statt sich rein auf generalisiertes LLM-Wissen zu verlassen.

Ergebnisse
Das Framework wurde auf das Low-Pressure Coolant Injection (LPCI)-System eines stillgelegten Boiling Water Reactors angewendet.

Konsistenz: Das Modell zeigte eine konsistente Rekonstruktion über fünf unabhängige Durchläufe hinweg. Höhere Schichten (Ziele, Funktionen, Teilfunktionen) erreichten eine perfekte Präzision und einen perfekten Recall ( $F_2 = 1,0$ ).
Granularität: Geringfügige Abweichungen traten in den Schichten Komponenten und Erfolgsbedingungen auf, wo der Recall leicht sank ( $F_2$ zwischen 0,978 und 0,993), was etwa 1–6 fehlende Knoten pro Durchlauf zur Folge hatte.
Strukturelle Integrität: Die Genauigkeit der Verknüpfungen war für obere Beziehungen hoch, zeigte jedoch auf der Ebene Teilfunktion-Komponente aufgrund der höheren strukturellen Dichte Variabilität. Die Gatter-Genauigkeit lag in dieser Schicht zwischen 0,889 und 0,963.
Batching-Trade-off: Eine Analyse des Integritäts-Scores zeigte einen Zielkonflikt zwischen Batch-Größe und struktureller Stabilität. Eine Batch-Größe von 1 (Verarbeitung eines Eltern-Elements pro Schritt) lieferte den höchsten mittleren Integritäts-Score (90,38), während größere Batches (bis zu 15) eine graduelle Abnahme der Leistung zeigten, was darauf hindeutet, dass die Isolierung von Expansionsschritten die strukturelle Stabilität verbessert.
Diagnostische Fähigkeiten: Das System führte die Aufwärts-Propagation erfolgreich durch, um die Auswirkungen von Fehlern auf die Systemziele zurückzuverfolgen, sowie die Abwärts-Propagation, um Erfolgs-Pfade aufzuführen, einschließlich qualitativer Annotationen für potenzielle Common Cause Failures (CCF) unter redundanten Komponenten.

Bedeutung und Ansprüche
Das Paper behauptet, dass das vorgeschlagene Framework technische Dokumentationen in ausführbare Funktionsmodelle transformiert und dadurch den manuellen Aufwand für die DML-Konstruktion signifikant reduziert (von Monaten auf Tage), während es eine hohe strukturelle Genauigkeit beibehält. Die Bedeutung liegt nicht im individuellen Einsatz von RAG, LLMs oder Graphdatenbanken, sondern in deren Integration in ein kohärentes, schema-beschränktes Framework, das eine fundierte diagnostische Argumentation ermöglicht.

Die Autoren betonen, dass das Framework darauf ausgelegt ist, die Expertenmodellierung zu unterstützen statt sie zu ersetzen. Die resultierende KG-DML bietet eine explizite Wissensrepräsentation, die es LLM-Agenten ermöglicht, über funktionale Abhängigkeiten und Fehlerfortpflanzung mit Rückverfolgbarkeit zu argumentieren, wodurch die Einschränkungen unstrukturierter LLM-Argumentation überwunden werden. Die Studie räumt ein, dass der Ansatz zwar für das getestete System robust ist, jedoch weitere Validierungen für größere Systeme erforderlich sind und die aktuelle Implementierung Common Cause Failures eher qualitativ als durch explizite Modellierung innerhalb der Graphlogik behandelt. Die Arbeit etabliert eine Grundlage für die skalierbare, automatisierte funktionale Modellierung in der Zuverlässigkeitstechnik.