Link Prediction for Event Logs in the Process Industry

Diese Arbeit stellt ein Record-Linking-Modell vor, das durch die Kombination von Cross-Document Coreference Resolution, Natural Language Inference und Semantic Text Similarity die Fragmentierung von Schichtbuch-Ereignisprotokollen in der deutschen Prozessindustrie überwindet und die Datenqualität für graphbasierte Retrieval-Augmented-Generation-Anwendungen signifikant verbessert.

Das Wesentliche

Titel: Wie man aus verstreuten Puzzleteilen ein vollständiges Bild macht – Ein neuer Weg für die Industrie

Stell dir vor, du arbeitest in einer riesigen Fabrik. Jeden Tag passieren dort hunderte Dinge: Eine Maschine macht ein komisches Geräusch, ein Arbeiter repariert sie, und zwei Tage später läuft sie wieder perfekt.

Das Problem? Diese Geschichten werden oft in einem riesigen, chaotischen Tagebuch (dem „Schichtbuch") aufgeschrieben. Aber hier ist der Haken: Die Einträge sind wie verstreute Puzzleteile.

• Ein Eintrag sagt: „Motor A macht Lärm."
• Ein anderer Eintrag drei Tage später sagt: „Motor A wurde repariert."
• Ein dritter Eintrag sagt: „Motor A läuft jetzt ruhig."

Für einen Computer (oder eine moderne KI) sind das drei völlig verschiedene, unverbundene Sätze. Aber für einen Menschen ist es klar: Das ist eine Geschichte. Wenn die KI diese Verbindung nicht erkennt, kann sie dem neuen Schichtleiter nicht sagen: „Hey, das haben wir schon einmal erlebt! Hier ist die Lösung!"

Die Forscher aus Göttingen und eschbach GmbH haben eine Lösung dafür entwickelt. Hier ist die Erklärung, wie sie das gemacht haben, ganz einfach erklärt:

1. Das Problem: Der verlorene Faden

In der Prozessindustrie (Chemie, Pharma etc.) ist Wissen Gold wert. Wenn eine Maschine ausfällt, wollen die Mitarbeiter sofort wissen: „Wie haben wir das damals gelöst?"
Aber die Daten sind fragmentiert. Die KI sieht nur einzelne Sätze, nicht die ganze Geschichte. Das ist, als würdest du versuchen, einen Film zu verstehen, indem du nur zufällige, einzelne Bilder aus dem Film siehst, ohne zu wissen, in welcher Reihenfolge sie kamen.

2. Die Lösung: Ein neuer Detektiv namens „Record Linking"

Die Forscher haben einen neuen „Detektiv" (ein Computermodell) gebaut, der diese verstreuten Einträge wieder zusammenfügt. Sie nennen das Record Linking (Datensatz-Verknüpfung).

Stell dir vor, dieser Detektiv nutzt drei verschiedene Werkzeuge, um zu entscheiden, ob zwei Einträge zusammengehören:

• Werkzeug 1: Der Logik-Detektiv (NLI)
  Dieser prüft: „Passt das, was hier steht, logisch zu dem, was dort steht?"
  Beispiel: Eintrag A sagt „Die Pumpe ist heiß". Eintrag B sagt „Wir haben die Pumpe gekühlt". Der Logik-Detektiv sagt: „Ja, das ergibt Sinn! B ist die Antwort auf A."

• Werkzeug 2: Der Ähnlichkeits-Spürhund (STS)
  Dieser sucht nach ähnlichen Wörtern und Bedeutungen.
  Beispiel: Eintrag A sagt „Motor defekt". Eintrag B sagt „Maschine kaputt". Der Spürhund riecht: „Hey, das ist fast dasselbe!"

• Werkzeug 3: Der Spezialist für Maschinen (FL-Feature)
  Das ist das Genie der Sache. In Fabriken haben alle Maschinen einen Code (z. B. AAAA-CABA-B018). Der Detektiv schaut nicht nur auf die Wörter, sondern auch auf diese Codes. Wenn beide Einträge denselben Maschinen-Code erwähnen, ist die Wahrscheinlichkeit, dass sie zusammengehören, riesig.

3. Die Zeit-Regel: Der „Zeit-Filter"

Ein ganz wichtiger Trick: Der Detektiv weiß, dass Zeit eine Rolle spielt.
Wenn Eintrag A heute geschrieben wurde und Eintrag B erst in 5 Jahren, dann gehören sie sicher nicht zusammen. Der Detektiv nutzt eine Zeit-Schranke. Er sucht nur nach Verbindungen, die innerhalb eines sinnvollen Zeitfensters (z. B. ein paar Tage oder Wochen) passiert sind. Das verhindert, dass er völlig falsche Dinge zusammenklebt.

4. Der große Gewinn

Die Forscher haben ihr Modell mit anderen Methoden verglichen. Das Ergebnis war beeindruckend:
Ihr neuer „Detektiv" war 28 % besser als die alten Standard-Methoden.

Warum ist das so wichtig?
Stell dir vor, die Fabrik ist ein riesiges Netzwerk (ein Graph). Wenn die Einträge nicht verbunden sind, ist das Netzwerk kaputt. Wenn der Detektiv die Verbindungen herstellt, wird das Netzwerk intakt.
Dadurch kann eine moderne KI (die sogenannte RAG, die wie ein super-intelligenter Assistent arbeitet) viel schneller und genauer antworten. Sie kann sagen: „Ah, du hast ein Problem mit der Pumpe? Hier ist die Lösung, die wir vor drei Monaten bei genau derselben Pumpe angewendet haben."

Zusammenfassung in einem Bild

Stell dir vor, du hast einen Haufen loser Briefe auf dem Boden liegen. Jeder Brief ist ein Teil einer Geschichte, aber sie sind durcheinander geworfen.

• Die alten Methoden haben versucht, die Briefe nur nach dem Wortlaut zu sortieren. Das hat oft nicht geklappt.
• Die neue Methode schaut sich den Inhalt, die Logik, den Maschinen-Code und die Zeit an. Sie legt die Briefe in die richtige Reihenfolge und heftet sie zusammen.

Am Ende hast du nicht mehr einen Haufen Chaos, sondern eine klare, lesbare Geschichte. Das spart Zeit, verhindert Fehler und macht die Fabrik sicherer. Das ist der Kern dieser Forschung: Aus Chaos Ordnung machen, damit die KI uns wirklich helfen kann.

Technische Zusammenfassung

1. Problemstellung

In der Prozessindustrie (z. B. Chemie und Pharmazie) ist das Wissensmanagement (KM) entscheidend für die Optimierung von Abläufen, die Sicherheit und die kontinuierliche Verbesserung. Moderne KM-Anwendungen nutzen zunehmend Retrieval-Augmented Generation (RAG)-Systeme, die auf Graphen basieren, um Lösungen für Produktionsprobleme zu empfehlen.

Ein zentrales Problem stellt jedoch die Fragmentierung von Ereignisprotokollen (Shift-Books) dar:

• Zusammenhängende Informationen zu einem einzelnen Vorfall oder Prozess werden oft als separate Einträge über die Zeit verteilt erfasst (z. B. erst die Meldung eines Problems, später die Lösung).
• Diese getrennten Einträge sind im Wissensgraphen nicht verknüpft, was die Qualität der Daten und die Fähigkeit des RAG-Systems beeinträchtigt, relevante historische Lösungen zu finden.
• Herkömmliche Methoden zur Relationsextraktion (Relation Extraction, RE) sind oft auf Entitäten (z. B. Person-Ort) ausgelegt und nicht auf die Verknüpfung ganzer Ereignisprotokolle (Events).

2. Methodik

Die Autoren definieren das Problem des Record Linking (RL) als eine spezielle Form der Cross-Document Coreference Resolution (CDCR). Das Ziel ist es, Texteinträge (Records) zu verknüpfen, die sich auf dasselbe zugrundeliegende Ereignis beziehen, auch wenn sie in verschiedenen Schichtbüchern oder zu verschiedenen Zeiten stehen.

Das vorgeschlagene RL-Modell kombiniert Prinzipien aus drei NLP-Aufgaben: CDCR, Natural Language Inference (NLI) und Semantic Text Similarity (STS). Der Ansatz besteht aus zwei Hauptphasen:

A. Record-Pair Scoring (Bewertung von Eintragspaaren)

Das Modell bewertet die Ähnlichkeit zwischen zwei Einträgen, um zu bestimmen, ob sie zum selben Ereignis gehören.

• Architektur: Es basiert auf dem CDLM-Modell (Cross-Document Language Modeling) von Caciularu et al. (2021).
• Encoding: Zwei Einträge werden zu einer Sequenz [CLS] <Record 1> [SEP] <Record 2> [SEP] verkettet und durch einen Transformer-Encoder verarbeitet.
• Merkmalsvektor: Der finale Vektor setzt sich zusammen aus:
  1. Der [CLS]-Token-Repräsentation (joint encoding).
  2. Aufmerksamkeits-gewichteten Durchschnittsvektoren der einzelnen Einträge.
  3. Elementweiser Multiplikation der Vektoren.
  4. Domänenspezifisches Feature: Ein Vektor basierend auf der Ähnlichkeit von Functional Location (FL) Codes. Diese Codes identifizieren Maschinen hierarchisch. Die Ähnlichkeit wird durch den Overlap der Codes berechnet (z. B. teilen sich AAAA-CABA-B018 und AAAA-CABA-A123 den Elternknoten AAAA).
• Sprachmodell: Es wird ein daGBERT-Modell verwendet, ein auf die Prozessindustrie adaptiertes GBERT-Modell (Domain-Adapted), das durch kontinuierliches Pre-Training (Continual Pretraining) auf Fachdaten feinabgestimmt wurde.

B. Mention Clustering (Gruppierung)

Anstelle der herkömmlichen hierarchischen Clustering-Verfahren (wie Average Linkage) wird eine zeitabhängige Tiefensuche (tDFS) verwendet.

• Zeitliche Einschränkung: Einträge werden nur dann gruppiert, wenn sie innerhalb eines bestimmten Zeitfensters liegen (definiert durch das 3. Quartil der Zeitdifferenzen pro Thema).
• Logik: Die Suche beginnt mit dem ersten Eintrag in der Zeitreihe und sucht gierig nach nachfolgenden, verknüpften Einträgen. Dies berücksichtigt die zeitliche und logische Abhängigkeit von Ereignissen in Produktionsprozessen besser als reine Ähnlichkeitsclustering-Verfahren.

3. Wichtige Beiträge

1. Neue Aufgabenformulierung: Die Definition von Record Linking in der Prozessindustrie als Schnittmenge von CDCR, NLI und STS.
2. Domänenanpassung: Entwicklung und Einsatz von daGBERT, einem speziell für deutsche Prozessdaten trainierten Sprachmodell, das terminologische Nuancen besser erfasst als generische Modelle.
3. Hybride Architektur: Die Kombination von Joint-Encoding (NLI-ähnlich) mit attributbasierten Features (FL-Codes) und einem zeitbasierten Clustering-Algorithmus (tDFS).
4. Datenbasis: Erstellung und Nutzung eines proprietären Datensatzes aus sieben deutschen Produktionsanlagen, der eine hohe Variabilität in zeitlichen Abständen und Berichtsstilen aufweist.

4. Ergebnisse

Die Evaluation erfolgte auf einem Testset aus sieben Anlagen mit Metriken für Coreference Resolution (MUC, B3, CEAF_e) und dem aggregierten F1 CoNLL Score.

• Leistungssteigerung: Das vorgeschlagene RL-Modell (daGBERT + FL-Features + tDFS) übertraf die besten Baseline-Modelle signifikant:
  • +28 % (11,43 Punkte) gegenüber der besten NLI-basierten Baseline.
  • +27,4 % (11,21 Punkte) gegenüber der besten STS-basierten Baseline.
• Einfluss der Komponenten:
  • daGBERT zeigte konsistent bessere Ergebnisse als das generische GBERT-Modell.
  • tDFS war dem hierarchischen Clustering (HC) überlegen, da es die zeitliche Ordnung der Ereignisse besser berücksichtigt.
  • Die FL-Features (Maschinen-Codes) verbesserten die Leistung, insbesondere in Kombination mit tDFS, indem sie strukturelle Metadaten einbrachten.
• Generalisierung: Das Modell zeigte starke Transferfähigkeit auf Themenbereiche (Anlagen), die im Training nur begrenzt oder gar nicht vertreten waren.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass etablierte NLP-Aufgaben (CDCR, NLI, STS) erfolgreich an spezifische industrielle Domänen angepasst werden können, um die Datenqualität in Shift-Logs zu verbessern.

• Praktischer Nutzen: Durch die korrekte Verknüpfung fragmentierter Protokolle wird die Basis für RAG-basierte Lösungsempfehlungssysteme massiv verbessert. Dies ermöglicht eine schnellere und genauere Problemlösung in laufenden Produktionsanlagen.
• Effizienz: Trotz des Zeitalters großer Sprachmodelle (LLMs) wählen die Autoren BERT-basierte Architekturen, da diese bei geringeren Rechenkosten und schnellerer Inferenz (wichtig für Echtzeit-Indexierung) eine hohe Genauigkeit bieten.
• Zukunft: Die Studie legt den Grundstein für robustere Wissensgraphen in der Prozessindustrie und zeigt, wie strukturierte Metadaten (wie FL-Codes) in Kombination mit semantischen Modellen die Leistung von Link-Prediction-Systemen steigern können.