Technische Zusammenfassung: BLINKG – Ein Benchmark für die LLM-integrierte Generierung von Wissensgraphen

Problemstellung

Der Aufbau von Wissensgraphen (KGs) aus heterogenen Datenquellen bleibt ein arbeitsintensiver Prozess für Wissensingenieure, hauptsächlich aufgrund der Schwierigkeit, semantische Korrespondenzen zwischen Eingabedatenschemata und Ontologiebegriffen herzustellen. Während deklarative Lösungen (z. B. RML, SPARQL-Anything) Teile dieses Prozesses generalisiert haben, erfordert die Ausrichtung von Schemaelementen auf Ontologiekonzepte nach wie vor komplexe Transformationen und erheblichen manuellen Aufwand.

Obwohl Large Language Models (LLMs) zunehmend zur Automatisierung des KG-Aufbaus und der semantischen Ausrichtung eingesetzt werden, fehlt es dem Feld an einem standardisierten Rahmen, um ihre Wirksamkeit zu bewerten. Bestehende Studien nutzen diverse Szenarien, Parameter und Metriken, was faire Vergleiche erschwert. Darüber hinaus konzentrieren sich bestehende Benchmarks wie RODI primär auf relationale Datenbanken und Schematausrichtung auf Ebene der Schemata, während Herausforderungen wie SemTab sich auf die Annotation von Tabellen gegenüber bereits bestehenden KGs konzentrieren, anstatt auf die Abbildung auf nicht-populierte Ontologien. Es besteht ein dringender Bedarf an einem Benchmark, der die expliziten, deklarativen Abbildungsfähigkeiten von LLMs über diverse Datenformate und unterschiedliche Grade der Schemaausrichtung hinweg bewertet.

Methodik

Die Arbeit stellt BLINKG vor, einen Benchmark, der entwickelt wurde, um die Abbildungsfähigkeiten von LLMs beim Aufbau von KGs zu bewerten. Die Methodik ist um drei zunehmend komplexe Szenarien, eine Reihe definierter Aufbauaufgaben und ein rigoroses Bewertungsprotokoll strukturiert.

1. Benchmarkszenarien

BLINKG definiert drei Szenarien basierend auf dem Grad der Ausrichtung zwischen Eingabedaten und der Zielontologie:

• Szenario 1 (Basic): Umfasst acht atomare Fälle mit einfachen Eingaben (CSV, JSON, XML) und einer minimalen Ontologie. Diese Fälle isolieren Kernaufgaben wie Klassifizierung, Subjektgenerierung und einfache Joins, um grundlegende Abbildungsverhalten zu testen.
• Szenario 2 (Schema-Aligned): Konzentriert sich auf den Transportbereich unter Verwendung von GTFS-Madrid-Bench. Die Ontologie wird bottom-up aus der GTFS-Spezifikation aufgebaut, was zu einer hohen lexikalischen und strukturellen Ausrichtung führt. Dieses Szenario testet die Fähigkeit von LLMs, ontologiespezifische Modellierungsstrukturen (z. B. Klassenhierarchien, kontrollierte Vokabulare/SKOS) und Transformationsfunktionen in einer realistischen Umgebung zu handhaben.
• Szenario 3 (Schema-Distant): Konzentriert sich auf die öffentliche Beschaffung unter Verwendung der e-Procurement-Ontologie (ePO) und Daten von der spanischen CODICE-Plattform. Die Eingabedaten (tief verschachteltes XML) und die Ontologie sind semantisch verwandt, aber strukturell und lexikalisch weit voneinander entfernt. Dieses Szenario fordert LLMs heraus, tiefes Domänenwissen anzuwenden, um Abbildungen ohne direkte Schemaausrichtung herzustellen.

2. Definierte Aufgaben

Der Benchmark zerlegt den KG-Aufbau in spezifische Teilaufgaben und geht über eine End-zu-End-Bewertung als Blackbox hinaus:

• Ontologie-Klassenidentifikation: Abbildung von Eingabefeldern auf Ontologieklassen.
• Subjektgenerierung: Erstellen eindeutiger URIs für Instanzen (einfache vs. komplexe/komposite Schlüssel).
• Ontologie-Eigenschaftsidentifikation: Verknüpfung von Datenfeldern mit Ontologieeigenschaften.
• Datenreferenzidentifikation: Festlegung, wie auf Eingabedaten zugegriffen wird (z. B. Spaltennamen, XPath).
• Verwandte Entitätsklasse und Joins: Definition von Bedingungen für Objekteigenschaften und Verknüpfung mehrerer Quellen.
• Sprach- und Datentyp-Annotation: Zuweisung korrekter Sprachtags und XSD-Datentypen.
• Transformationsfunktionen: Anwendung von Logik zur Normalisierung von Daten (z. B. Datumsformatierung, Abbildung von Enums auf Taxonomien).

3. Bewertungsprotokoll

• Bewertete Modelle: Sechs state-of-the-art LLMs wurden getestet, darunter DeepSeek-R1, Gemini 2.5 Pro, GPT-4 Omni, OpenAI o3, LLaMa 3.3 70B Instruct und Mixtral 8x22B Instruct.
• Ausgabeformat: Die Modelle werden aufgefordert, strukturierte tabellarische Ausgaben zu generieren, die Abbildungen für jede Aufgabe auflisten, anstatt rohen Code oder natürliche Sprachbeschreibungen.
• Metriken: Die Leistung wird mittels Präzision, Recall und F-Score gemessen. Um die Einschränkungen des strengen String-Matchings zu adressieren, wenden die Autoren eine Ähnlichkeitsbasierte Bewertung an, die Levenshtein-Distanz, Cosine-Ähnlichkeit roher Text-Embeddings und Cosine-Ähnlichkeit ontologie-verbalisierter Embeddings kombiniert.
• Bewertungsarten: Die Ergebnisse werden durch Expertenbewertung (manuelle Validierung), Rohbewertung (direkte Anwendung der Metriken) und nachbearbeitete Bewertung (heuristische Bereinigung der Ausgaben) analysiert.

Hauptbeiträge

Die Arbeit skizziert fünf primäre Beiträge:

1. C1: Ein umfassendes, domänenagnostisches Framework mit mehreren Szenarien, Goldstandards und Metriken, das entwickelt wurde, um das Verhalten von LLMs beim KG-Aufbau zu bewerten.
2. C2: Drei zunehmend komplexe Szenarien, die reale Herausforderungen widerspiegeln und einen repräsentativen Satz typischer Abbildungsaufgaben abdecken.
3. C3: Offene und wiederverwendbare Ressourcen (Ontologien, Datensätze, Goldstandards), um Reproduzierbarkeit und Community-Adoption zu fördern.
4. C4: Eine umfassende Bewertung von sechs state-of-the-art LLMs, die deren Leistung und Generalisierungsfähigkeiten analysiert, mit Fokus auf Nachverfolgbarkeit und Transparenz.
5. C5: Praktische Empfehlungen und identifizierte Forschungsrichtungen zur Weiterentwicklung der (semi-)automatisierten, LLM-gesteuerten KG-Erstellung.

Ergebnisse

Die experimentelle Bewertung zeigt deutliche Leistungsunterschiede über die Szenarien hinweg:

• Szenario 1 (Basic): LLMs schneiden bei einfachen, lexikalisch ausgerichteten Aufgaben gut ab. Die Identifikation von Entitätsklassen und Ontologieeigenschaften erzielt hohe Ähnlichkeitswerte (oft >0,95). Die Generierung von Join-Bedingungen bleibt jedoch herausfordernd (Werte im Bereich 0,37–0,69), und die Sprachannotation zeigt erhebliche Varianz zwischen den Modellen.
• Szenario 2 (Schema-Aligned): Modelle handhaben die Ausrichtung von Entitäten und Datenreferenzen gut (Ähnlichkeit >0,90). Die Leistung sinkt jedoch signifikant bei Aufgaben des strukturellen Denkens. Join-Bedingungen bleiben schwierig (kein Modell überschreitet 0,60), und funktionsbezogene Aufgaben (Benennung und Ausgabeerzeugung) schneiden schlecht ab (oft <0,20), was auf Schwierigkeiten mit Abstraktion und domänenspezifischer Logik hinweist. Nachbearbeitung verbessert die Werte für syntaktische Fehler erheblich, löst jedoch keine semantischen Lücken.
• Szenario 3 (Schema-Distant): Die Leistung verschlechtert sich bei allen Aufgaben drastisch. Keine Aufgabe überschreitet eine mittlere Ähnlichkeit von 0,53. Während die Identifikation von Entitätsklassen die stärkste Aufgabe bleibt, erzielen strukturell komplexe Aufgaben wie Joins, Datentypen und Funktionen Werte unter 0,40. Prompt-Engineering (Zero-Shot vs. Few-Shot) verbessert die Leistung bei „lokalen" Aufgaben (z. B. Auswahl von Klassen), löst jedoch nicht das komplexe Denken aus, das für Joins und Transformationen erforderlich ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BLINKG einen notwendigen standardisierten Rahmen bietet, um über fragmentierte Bewertungen von LLMs beim KG-Aufbau hinauszugehen. Der Benchmark zeigt, dass, obwohl aktuelle LLMs vielversprechende Lösungen für gut ausgerichtete, kontrollierte Szenarien bieten, ihre Leistung in komplexen, schemafernen Umgebungen begrenzt ist, die tiefes Domänenwissen und strukturelle Logik erfordern.

Wichtige Erkenntnisse, die von den Autoren hervorgehoben werden, umfassen:

• Hybride Ansätze sind unerlässlich: Allgemeine LLMs werden wahrscheinlich allein keine gültigen Lösungen in hochkomplexen semantischen Umgebungen produzieren. Die Autoren schlagen vor, LLMs mit symbolischem Denken (z. B. OWL-basierte Inferenz) oder Validierung durch den Menschen im Loop zu kombinieren.
• Nachverfolgbarkeit: Im Gegensatz zu End-zu-End-Pipelines bietet die aufgabenbezogene Bewertung von BLINKG Transparenz darüber, wo Systeme erfolgreich sind oder scheitern, und hebt hervor, dass Fehler bei komplexen Aufgaben (wie Joins) nicht lediglich Formatierungsprobleme, sondern fundamentale Denkdefizite sind.
• Grenzen bestehender Benchmarks: Die Autoren erkennen an, dass bestehende Benchmarks oft auf dem Auswendiglernen öffentlicher Datensätze beruhen. Sie schlagen vor, dass zukünftige Iterationen von BLINKG synthetische Ontologien und Daten nutzen sollten, um echte Denkfähigkeiten besser von Datenlecks zu isolieren.

Die Arbeit schließt damit, dass, obwohl LLMs initiale Abbildungsentwürfe generieren können, menschliche Expertise nach wie vor unerlässlich ist, um Abbildungen zu validieren und semantische Korrektheit sicherzustellen, insbesondere in komplexen, realweltlichen Anwendungen.