Large Language Models Assisting Ontology Evaluation

Die Studie stellt OE-Assist vor, ein Framework, das große Sprachmodelle zur automatisierten und halbautomatischen Überprüfung von Ontologien mittels kompetenter Fragen nutzt und dabei eine Leistung aufweist, die der durchschnittlicher menschlicher Experten entspricht.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würde man sie einem Freund beim Kaffee erzählen, mit ein paar kreativen Vergleichen.

Das große Problem: Der „Wörterbuch-Check"

Stellen Sie sich vor, Sie bauen ein riesiges, digitales Wörterbuch für eine ganz spezielle Welt (z. B. für Musik, Medizin oder Wasserwirtschaft). In der Fachsprache nennt man das eine Ontologie. Es ist wie ein Bauplan für Wissen.

Aber wie prüfen Sie, ob dieser Bauplan gut ist? Die Experten stellen sich eine einfache Frage: „Kann dieses Wörterbuch die Frage ‚Wer hat dieses Instrument gebaut?' beantworten?" (Das nennt man eine „Kompetenzfrage").

Das Problem: Diese Prüfung ist extrem mühsam. Ein Mensch muss das Wörterbuch durchsuchen, überlegen und dann manuell prüfen, ob die Antwort stimmt. Das ist wie der Versuch, einen riesigen Berg von Akten zu sichten, um zu sehen, ob ein bestimmter Name darin vorkommt. Es dauert lange, ist teuer und man macht leicht Fehler.

Die Lösung: Ein KI-Assistent namens „OE-Assist"

Die Autoren dieses Papers haben sich gedacht: „Was, wenn wir eine Super-KI (ein sogenanntes Large Language Model, wie ein sehr schlauer Chatbot) bitten, uns beim Prüfen zu helfen?"

Sie haben ein neues System namens OE-Assist entwickelt. Stellen Sie sich das wie einen coolen Praktikanten vor, der Ihnen bei der Prüfung hilft.

Wie funktioniert das?

1. Der Datensatz: Die Forscher haben 1.393 dieser „Wörterbücher" und die dazugehörigen Fragen gesammelt. Das ist wie eine riesige Bibliothek von Bauplänen.
2. Der Test: Sie haben verschiedene KI-Modelle (wie o1-preview, o3-mini) getestet. Diese KIs sollten die Fragen lesen und sagen: „Ja, das Wörterbuch kann das beantworten" oder „Nein, da fehlt etwas".
3. Das Ergebnis der KI: Die besten KIs waren fast so gut wie ein durchschnittlicher menschlicher Experte! Sie konnten die Fehler finden, ohne müde zu werden.

Der große Experiment: Mensch + KI vs. Mensch allein

Jetzt kam der spannende Teil. Die Forscher haben 19 echte Experten (Wörterbuch-Bauer) gebeten, ihre Arbeit zu machen. Aber sie haben es in zwei Modi getestet:

• Modus A (Alleine): Der Experte prüft die Fragen ganz allein.
• Modus B (Mit Assistent): Der Experte bekommt eine Tipp-Karte von der KI. Die KI sagt: „Ich denke, die Antwort ist JA, und hier ist der Beweis (eine Art Suchcode)."

Was ist passiert? (Die überraschende Erkenntnis)

Stellen Sie sich vor, Sie spielen ein Quiz, und ein Freund gibt Ihnen Tipps.

1. Wenn der Freund recht hat: Wenn die KI einen guten Tipp gab, waren die Experten 13 % besser und hatten das Gefühl, die Aufgabe sei viel leichter. Sie waren schneller und sicherer.
2. Wenn der Freund falsch liegt: Aber wenn die KI einen schlechten Tipp gab, passierte etwas Schlimmes: Die Experten wurden 28 % schlechter! Sie vertrauten dem falschen Tipp und machten Fehler, die sie ohne Hilfe gar nicht gemacht hätten.

Das Fazit:
Die KI ist wie ein unzuverlässiger Navigator.

• Wenn er die richtige Route zeigt, kommen Sie super schnell ans Ziel.
• Wenn er in die Irre führt, fahren Sie direkt in den Graben – und zwar schneller als wenn Sie ohne ihn gefahren wären, weil Sie ihm blind vertraut haben.

Insgesamt war das Ergebnis am Ende fast gleich: Die guten Tipps und die schlechten Tipps haben sich gegenseitig aufgehoben. Aber das Gefühl war anders: Die Leute fühlten sich mit der KI entspannter, auch wenn sie nicht immer besser waren.

Warum ist das wichtig?

Die Forscher sagen: „Wir müssen vorsichtig sein."
Die KI ist ein mächtiges Werkzeug, aber wir dürfen ihr nicht blind vertrauen.

• Gut: Sie kann uns helfen, die harte Arbeit zu erledigen und uns Tipps geben.
• Gefährlich: Wenn die KI falsch liegt, können wir uns zu sehr auf sie verlassen und unsere eigenen Fähigkeiten verlieren.

Die Moral der Geschichte:
Stellen Sie sich die KI nicht als den Chef vor, der die Entscheidungen trifft, sondern als einen sehr schnellen, aber manchmal verwirrten Assistenten. Wenn Sie ihn nutzen, müssen Sie immer noch selbst prüfen, ob er recht hat. Wenn er es richtig macht, sparen Sie Zeit und Nerven. Wenn er es falsch macht, müssen Sie aufpassen, dass Sie nicht mit ihm in die Irre gehen.

Die Zukunft sieht vielversprechend aus: Je besser die KIs werden, desto mehr werden sie uns helfen, diese riesigen digitalen Wissensschätze zu prüfen – solange wir nicht aufhören, selbst nachzudenken.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Large Language Models Assisting Ontology Evaluation" auf Deutsch:

Titel: Large Language Models Assisting Ontology Evaluation (OE-Assist)

Autoren: Anna Sofia Lippolis et al. (Universität Bologna, ISTC-CNR, Linköping University)

---

1. Problemstellung

Die Evaluierung von Ontologien mittels funktionaler Anforderungen, insbesondere durch die Überprüfung von Kompetenzfragen (Competency Questions, CQs), ist ein etablierter, aber extrem arbeitsintensiver, zeitaufwendiger und fehleranfälliger Prozess.

• Herausforderungen: Der manuelle Prozess erfordert spezialisiertes Fachwissen, ist stark von der Komplexität und Domain-spezifität der Begriffe abhängig und schwer zu standardisieren.
• Lücke: Bisherige Ansätze zur Automatisierung von Ontologie-Generierung oder -Strukturprüfung existieren, doch es fehlt an systematischen Untersuchungen, wie Large Language Models (LLMs) die funktionale Evaluierung (d.h. die direkte Verifikation, ob eine Ontologie eine CQ korrekt beantwortet) unterstützen oder übernehmen können, insbesondere in einem „Human-in-the-Loop"-Setting.

2. Methodik und Framework (OE-Assist)

Die Autoren stellen OE-Assist vor, ein Framework, das LLMs nutzt, um die Evaluierung von Ontologien durch CQ-Verifikation zu automatisieren und semi-automatisieren.

A. Der OntoEval-Datensatz

Für die Studie wurde ein neuer, umfangreicher Datensatz namens OntoEval erstellt:

• Umfang: 1.393 CQs, zugehörige Ontologien und „Ontology Stories" (User Stories).
• Quellen: Daten stammen aus europäischen Projekten (Polifonia, WHOW, Onto-DESIDE, IKS), einem Lehrprojekt und LLM-generierten Ontologien.
• Annotation: Jede CQ wurde von Ontologie-Ingenieuren manuell mit Labels versehen: „Yes" (modelliert), „No" (nicht modelliert) oder „No minor" (nur ein Property fehlt; im Experiment als „No" behandelt).
• Schwierigkeitsgrad: CQs wurden als „Simple" (max. 2 Klassen, 1 Eigenschaft) oder „Complex" klassifiziert.
• OntoEval-small: Eine ausgewogene Teilmenge (20 CQs) wurde für das Benutzer-Experiment erstellt, um Verzerrungen zu minimieren und verschiedene Domänen sowie LLM-Typen abzudecken.

B. Experimentelle Phasen

Die Studie besteht aus zwei Hauptphasen:

1. Automatische Evaluierung:

   • Ziel: Bewertung der Fähigkeit von LLMs, Ontologien eigenständig zu evaluieren.
   • Modelle: Getestet wurden o1-preview, GPT-4o-0513 und o3-mini.
   • Prompt-Strategie: Der LLM erhält eine CQ, eine User Story und die Ontologie. Er muss ein binäres Label (Yes/No) und eine motivierende SPARQL-Abfrage generieren, die die Antwort begründet.
   • Metrik: Macro-F1 und Accuracy im Vergleich zum Goldstandard.

2. Semi-automatische Evaluierung (User Study):

   • Teilnehmer: 19 Ontologie-Ingenieure (Experten vs. Nicht-Experten) aus 8 Institutionen.
   • Aufgabe: 20 Evaluierungsaufgaben pro Teilnehmer, aufgeteilt in zwei Bedingungen:
     • Assisted: Der Benutzer erhält LLM-Vorschläge (Label + SPARQL).
     • Unassisted: Der Benutzer arbeitet ohne Hilfe.
   • Interface: Ein Web-Interface parallel zu Protégé, das die CQ, die Story und (im assistierten Modus) die LLM-Empfehlungen anzeigt.
   • Messgrößen: Genauigkeit (Accuracy), wahrgenommene Schwierigkeit (Likert-Skala 1–5) und Lernkurveneffekte.

3. Wichtige Beiträge

1. Erster systematischer Ansatz: Dies ist die erste umfassende Untersuchung zur Unterstützung der funktionalen Ontologie-Evaluierung durch LLMs.
2. OntoEval-Datensatz: Bereitstellung eines großen, annotierten Benchmarks (1.393 CQs/Ontologien-Paare) für zukünftige Forschung.
3. OE-Assist Framework: Ein Prototyp, der LLMs direkt in den Evaluierungsworkflow (integriert mit Protégé) einbindet, um Vorschläge zu generieren.
4. Analyse des Trade-offs: Unterscheidung zwischen der reinen Automatisierung und der menschlichen Unterstützung, einschließlich der Auswirkungen von korrekten vs. falschen LLM-Empfehlungen.

4. Ergebnisse

Automatische Evaluierung

• Leistungsvergleich: Das Modell o1-preview schnitt am besten ab (Macro-F1: 0,66 auf dem gesamten Datensatz), gefolgt von o3-mini. GPT-4o lag nahe am Zufallsraten-Baseline.
• Fazit: State-of-the-Art-Reasoning-Modelle können Ontologien auf einem Niveau evaluieren, das dem eines durchschnittlichen menschlichen Nutzers entspricht.

Semi-automatische Evaluierung (User Study)

• Einfluss korrekter Vorschläge: Wenn die LLM-Empfehlungen korrekt waren, verbesserte sich die Genauigkeit der Benutzer signifikant um +13% (von ~70% auf ~83%).
• Einfluss falscher Vorschläge: Bei falschen LLM-Empfehlungen sank die Benutzerleistung drastisch um -28% (von ~72% auf ~44%).
• Netto-Effekt: Da korrekte Vorschläge häufiger waren, gab es insgesamt nur eine marginale, statistisch nicht signifikante Verbesserung der Gesamtgenauigkeit (+0,04%).
• Wahrgenommene Schwierigkeit: Die Aufgaben wurden mit LLM-Unterstützung als signifikant leichter empfunden (Durchschnittswert 2,52 vs. 2,75).
• Lerneffekt: Teilnehmer, die ohne Hilfe begannen, zeigten einen stärkeren Lernfortschritt als diejenigen, die sofort unterstützt wurden. Unterstützung scheint den Lernprozess zu verlangsamen, da die kognitive Anstrengung reduziert wird.
• Vertrauenswürdigkeit: Benutzer neigten dazu, falschen LLM-Empfehlungen zu folgen, was zu Fehlentscheidungen führte.

5. Bedeutung und Schlussfolgerungen

• Potenzial: LLMs haben das Potenzial, als erste Filterebene in der Ontologie-Entwicklung zu dienen, um potenzielle Fehler schnell zu identifizieren und die Arbeitslast zu reduzieren.
• Kritische Abwägung: Es besteht ein fundamentaler Zielkonflikt zwischen Effizienz (schnellere, leichtere Aufgaben) und Genauigkeit. Falsche LLM-Hinweise können die menschliche Expertise untergraben („Automation Bias").
• Empfehlungen für die Zukunft:
  • Die Genauigkeit der LLM-Vorschläge muss weiter gesteigert werden, damit der Netto-Nutzen positiv ist.
  • Implementierung von Sicherheitsmechanismen (z. B. Vorab-Validierung der generierten SPARQL-Queries gegen die Ontologie), bevor sie dem Benutzer angezeigt werden.
  • Entwicklung von adaptiven Schnittstellen, die sowohl „Code-First"- als auch „Concept-First"-Arbeitsweisen unterstützen.
  • Integration in etablierte Tools wie Protégé ist entscheidend für die Akzeptanz.

Zusammenfassend zeigt die Arbeit, dass LLMs zwar die wahrgenommene Schwierigkeit von Evaluierungsaufgaben senken und bei korrekten Vorschlägen die Genauigkeit steigern können, aber das Risiko von Fehlentscheidungen durch falsche KI-Hinweise ein kritisches Hindernis darstellt, das durch robuste Validierungsmechanismen und verbesserte Modellgenauigkeit adressiert werden muss.