Technische Zusammenfassung: Wissensgraphen als fehlende Datenschicht für LLM-basierte Betriebsabläufe industrieller Anlagen

Problemstellung

Aktuelle Large Language Model (LLM)-Agenten für Betriebsabläufe industrieller Anlagen weisen bei der Schlussfolgerung über flache Dokumentenspeicher (z. B. CouchDB, YAML, CSV) eine begrenzte Genauigkeit auf. Der Benchmark AssetOpsBench (Patel et al., 2026) zeigte, dass selbst führende Modelle wie GPT-4 und GPT-4.1 bei 139 industriellen Wartungsszenarien eine maximale Aufgabenabschlussrate von etwa 65 % erreichen. Die Studie identifizierte, dass Ausfälle oft nicht auf mangelnde Schlussfolgerungsfähigkeit, sondern vielmehr auf „Versagen beim Datenzugriff" zurückzuführen sind. Insbesondere haben LLMs Schwierigkeiten mit Operationen, die strukturierte Abfrage-Engines deterministisch bewältigen, wie zum Beispiel:

• Zählen von Ereignissen über mehrere unstrukturierte Dokumente hinweg.
• Korrelieren von Daten aus unterschiedlichen Quellen ohne explizite Verknüpfungen.
• Durchlaufen impliziter Geräteabhängigkeiten.
• Vermeiden von Halluzinationen bei Gerätebezeichnern oder Sensorwerten.

Die zentrale Hypothese dieses Papiers ist, dass für strukturierte operative Domänen das Datenmodell hinter den Werkzeugen die primäre Engstelle darstellt und nicht das Paradigma der LLM-Orchestrierung.

Methodik

Die Autoren bewerteten drei verschiedene Architekturen unter Verwendung derselben 139 AssetOpsBench-Szenarien, wobei sie ausschließlich die Datenschicht und die Rolle des LLM variierten:

1. Architektur A (Basislinie – Tool-erweiterter LLM):

   • Mechanismus: Der LLM analysiert die Absicht, wählt Werkzeuge aus, formuliert Argumente, ruft Rohdaten aus Dokumentenspeichern ab, interpretiert Ergebnisse und synthetisiert eine Antwort.
   • Datenschicht: Flache Dokumentenspeicher (CouchDB, YAML, CSV).
   • LLM-Rolle: Führt alle Schlussfolgerungen, Datendurchläufe und Aggregationen durch.

2. Architektur B (NLQ + Graph):

   • Mechanismus: Der LLM ist darauf beschränkt, strukturierte Cypher-Abfragen basierend auf einem typisierten Schema zu generieren. Die Graph-Engine führt die Abfrage deterministisch aus, und der LLM synthetisiert die endgültige Antwort aus den strukturierten Ergebnissen.
   • Datenschicht: Ein typisierter Wissensgraph (KG) mit 781 Knoten, 955 Kanten und 16 Beziehungstypen (im vollständigen Pipeline auf 1.360 Knoten und 2.500 Kanten erweitert).
   • LLM-Rolle: Code-Generierung (Natürliche Sprache zu Cypher).

3. Architektur C (Deterministische Handler):

   • Mechanismus: Vorprogrammierte Handler passen Fragemuster direkt an Cypher-Abfragen an.
   • Datenschicht: Derselbe Wissensgraph.
   • LLM-Rolle: Keine.

Konstruktion des Wissensgraphen:
Die Autoren entwickelten eine ETL-Pipeline, die AssetOpsBench-Datenquellen in ein Graphenschema transformiert, das 14 Knotenbeschriftungen (z. B. Site, Equipment, Sensor, FailureMode) und 21 Kantentypen (z. B. contains_equipment, monitors, depends_on) enthält. Der Graph umfasst:

• Gerätehierarchien mit ISA-95- und ISO-14224-Klassifikationen.
• Sensormetadaten, die mit Geräten verknüpft sind.
• Ausfallmodi mit 384-dimensionalen Sentence-BERT-Einbettungen für die Vektorähnlichkeitssuche.
• Ereignisprotokolle mit zeitlichen Fähigkeiten.
• Eine Abhängigkeitstopologie, die thermische/elektrische Abhängigkeiten und gemeinsame Infrastruktur modelliert.

Die Implementierung verwendet Samyama, eine eingebettete Graphdatenbank, die OpenCypher, HNSW-Vektorindizierung und Graphalgorithmen (PageRank, NSGA-II) unterstützt.

Hauptergebnisse

Leistung bei 139 Szenarien

Die Studie zeigt eine signifikante Leistungssteigerung durch die Änderung der Datenschicht, selbst wenn das LLM-Modell konstant gehalten wird:

• Architektur A (Basislinie): 65 % Bestehensquote (91/139), entsprechend der Obergrenze der AssetOpsBench-Leaderboard.
• Architektur B (NLQ + Graph): 82–83 % Bestehensquote (114–116/139) unter Verwendung von GPT-4, GPT-4o und GPT-4.1. Dies stellt eine Verbesserung von ca. 17 Prozentpunkten gegenüber der Basislinie unter Verwendung derselben Modellfamilie dar.
• Architektur C (Deterministisch): 99 % Bestehensquote (137/139). Die zwei Ausfälle wurden auf Nichtübereinstimmungen im Antwortformat bei der Bündelung von Arbeitsaufträgen zurückgeführt, nicht auf Wissenslücken.

Erweiterte Evaluation (467 Szenarien)

Bei der Bewertung gegen die erweiterte AssetOpsBench-Veröffentlichung auf HuggingFace (467 Szenarien in 6 Domänen):

• Deterministische Handler: Erreichten eine 100 %ige Bestehensquote (467/467) mit einer durchschnittlichen Punktzahl von 0,848.
• Graph-native Fähigkeiten: Die Autoren führten 40 neue Szenarien ein, die Multi-Hop-Abhängigkeiten, Vektorähnlichkeit und PageRank-Kritikalität erfordern. Auf diesen erreichte der Wissensgraph-Ansatz eine 100 %ige Bestehensquote und eine durchschnittliche Punktzahl von 0,927, verglichen mit 85 % und 0,602 für ein GPT-4o-Basismodell ohne Graph.

Latenz und Kosten

• Latenz: Deterministische Graphabfragen lagen durchschnittlich bei 63 ms, verglichen mit 5–11 Sekunden für LLM-basierte Architekturen.
• Kosten: Für 10.000 tägliche Abfragen kostet eine vollständig LLM-gesteuerte Architektur 300–500 USD, während deterministische Graphabfragen nach der initialen ETL 0 USD kosten.

Bedeutung und Behauptungen

Das Papier vertritt die These, dass die Datenschicht die primäre Engstelle in strukturierten operativen Domänen darstellt und als ein stärkerer Hebel für Leistungsverbesserungen wirkt als Paradigmen der LLM-Orchestrierung (Agent-as-Tool vs. Plan-Execute).

Die Autoren führen das Konzept der „Invertierten LLM-Nutzung" ein:

• Anstatt den LLM zu bitten, über Rohdaten zu schlussfolgern (eine breite, fehleranfällige Aufgabe), bittet das System den LLM, strukturierte Abfragen aus einem typisierten Schema zu generieren (eine schmale Code-Generierungsaufgabe, bei der LLMs hervorragend sind).
• Die Graph-Engine übernimmt dann die „harten" Teile: Durchlaufen, Zählen, Verbinden und algorithmische Ausführung.
• Diese Trennung der Zuständigkeiten ermöglicht dem System, bei bekannten Abfragemustern eine nahezu perfekte Genauigkeit zu erreichen, während gleichzeitig die Flexibilität natürlicher Sprachschnittstellen für neue Abfragen erhalten bleibt.

Das Papier schließt, dass für strukturierte Industriepdaten Wissensgraphen als essentielle Integrationsschicht zwischen Rohdaten und LLM-basierter Schlussfolgerung dienen. Die Ergebnisse legen nahe, dass schema-bewusste Abfragegenerierung die freie Daten-Schlussfolgerung für jede strukturierte Domäne übertrifft und dass deterministische Handler für bekannte operative Muster eine nahezu perfekte Zuverlässigkeit erreichen können.

Einschränkungen und Vorbehalte

Die Autoren weisen ausdrücklich auf mehrere Einschränkungen hin:

• Annahme sauberer Daten: Der Benchmark verwendet saubere, strukturierte Daten. Reale industrielle Umgebungen beinhalten verrauschte Sensoren, gescannte PDFs und inkonsistente Benennungen, die LLMs auf der Datenerfassungsebene (Entitätsextraktion und -auflösung) erfordern, nicht nur auf der Abfrageebene.
• Deterministisch vs. Autonom: Die 99 % Erfolgsrate von Architektur C spiegelt eine vorprogrammierte Lösung wider, nicht die Fähigkeit eines autonomen Agenten, Antworten unabhängig zu ermitteln.
• Strukturelle Einschränkungen: Szenarien, die ML-Inferenz erfordern (z. B. Zeitreihenvorhersage, RUL-Prognose), können nicht allein durch Abfragen gespeicherter Daten gelöst werden; sie erfordern externe analytische Modelle.
• Nichtdeterminismus: Die NLQ-Ergebnisse beruhen auf stochastischer LLM-Generierung; die Charakterisierung der Varianz über mehrere Seeds wird zukünftigen Arbeiten vorbehalten.