A Comparative Study of Competency Question Elicitation Methods from Ontology Requirements
Diese Studie führt eine empirische Vergleichsanalyse von drei Methoden zur Formulierung von Kompetenzfragen (manuell, musterbasiert und mittels LLM) durch und stellt fest, dass zwar Large Language Models als Ausgangspunkt dienen können, diese jedoch modellabhängig sind und eine weitere Verfeinerung vor der Anwendung in der Anforderungsmodellierung erfordern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wollen ein riesiges, digitales Gedächtnis für ein Museum bauen – eine Art „intelligente Bibliothek", die nicht nur Bücher, sondern auch Musik, Bilder und Geschichten über Kulturerbe versteht. Um dieses System zu bauen, brauchen die Architekten (die sogenannten Ontologie-Ingenieure) eine klare Liste von Fragen, die das System beantworten können muss. Diese Fragen nennt man im Fachjargon „Competency Questions" (CQs).
Wenn das System diese Fragen nicht beantworten kann, ist es für die Nutzer wertlos.
Das Problem: Diese Fragen zu formulieren, ist schwierig, zeitaufwendig und oft verwirrend. Die Forscher dieses Papers haben sich gefragt: Wer ist der beste Fragesteller?
Sie haben drei verschiedene „Küchenchefs" getestet, um zu sehen, wer die besten Fragen für das Museum zubereitet:
- Der erfahrene Koch (Mensch): Ein erfahrener Ontologie-Ingenieur, der die Anforderungen liest und die Fragen von Hand schreibt.
- Der Koch mit Rezeptbuch (Muster-basiert): Ein Ingenieur, der festgelegte Bausteine und Schablonen (wie „Welches [Objekt] hat welche [Eigenschaft]?") verwendet, um die Fragen zu füllen.
- Der KI-Koch (Großes Sprachmodell): Eine künstliche Intelligenz (wie GPT oder Gemini), die die Anforderungen liest und automatisch Fragen generiert.
Was haben sie herausgefunden? (Die Geschichte der drei Köche)
Die Forscher haben alle drei Köche denselben Auftrag gegeben: „Erfinde Fragen für unser Musik-Archiv." Dann haben sie die Ergebnisse verglichen.
1. Der menschliche Koch (Der Gewinner)
Die von Menschen geschriebenen Fragen waren wie ein gut geölter, klarer Wegweiser.
- Vorteil: Sie waren leicht zu lesen, kurz und präzise. Ein normaler Mensch (selbst ohne Spezialwissen) konnte sie sofort verstehen.
- Besonderheit: Die menschlichen Köche konnten „zwischen den Zeilen" lesen. Sie stellten Fragen, die nicht explizit im Auftrag standen, aber logisch notwendig waren (z. B. „Wie ist die Familie des Instruments?" – eine Frage, die im Text nicht stand, aber für das Museum wichtig ist).
- Ergebnis: Die Experten mochten diese Fragen am meisten. Sie waren die „Goldstandard"-Fragen.
2. Der Koch mit dem Rezeptbuch (Der Mittelmäßige)
Dieser Ansatz war wie das Kochen nach einem strengen Kochbuch.
- Vorteil: Es war strukturiert.
- Nachteil: Die Fragen wirkten oft etwas steif und starr. Sie passten nicht immer perfekt in den Kontext, weil das Rezeptbuch zu starr war.
- Ergebnis: Die Fragen waren okay, aber nicht so gut wie die des menschlichen Experten.
3. Der KI-Koch (Der überambitionierte Genießer)
Die KI war wie ein Koch, der alle Zutaten der Welt in einen Topf wirft, um ein „Meisterwerk" zu schaffen.
- Vorteil: Die KI war kreativ und stellte viele Fragen.
- Nachteil: Die Fragen waren oft zu lang, zu kompliziert und schwer zu verstehen. Sie klangen wie ein akademischer Vortrag statt wie eine klare Frage.
- Analogie: Wenn Sie den menschlichen Koch fragen: „Wo ist der Eingang?", antwortet er: „Hier." Die KI antwortet: „Basierend auf der topografischen Analyse des Gebäudes und unter Berücksichtigung der architektonischen Historie des Eingangs, welcher sich im nördlichen Flügel befindet, ist der Zugang wie folgt zu lokalisieren..."
- Das Problem: Die KI verstand oft nicht, was wirklich wichtig war. Sie stellte Fragen, die zwar thematisch passten, aber zu komplex waren, um sie in der Datenbank abzufragen. Zudem waren die Fragen von zwei verschiedenen KIs (GPT und Gemini) untereinander so unterschiedlich, dass sie sich kaum überschnitten – als würden zwei verschiedene KI-Köche völlig verschiedene Gerichte für denselben Auftrag kochen.
Die große Erkenntnis
Die Studie zeigt, dass Künstliche Intelligenz aktuell noch nicht allein das Zepter führen kann.
- KI ist ein toller Assistent: Sie kann eine erste Liste von Ideen liefern (Brainstorming).
- Der Mensch ist unverzichtbar: Damit die Fragen wirklich nützlich, verständlich und präzise sind, muss ein menschlicher Experte die KI-Ergebnisse überprüfen, kürzen und verfeinern.
Zusammenfassend:
Stellen Sie sich vor, Sie bauen ein Haus.
- Der Mensch ist der Architekt, der genau weiß, wo die Fenster hinkommen müssen, damit das Licht passt.
- Die KI ist ein Roboter, der tausende Fensterentwürfe vorschlägt – manche sind riesig, manche zu klein, manche sind aus Glas, das man nicht öffnen kann.
- Ohne den Architekten, der die besten Ideen des Roboters auswählt und anpasst, würde das Haus nicht funktionieren.
Die Forscher haben zudem eine neue Datenbank namens „AskCQ" erstellt, in der sie alle diese Fragen gesammelt haben, damit andere Forscher in Zukunft besser lernen können, wie man KI und Menschen zusammenarbeiten lässt, um perfekte digitale Wissenssysteme zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.