A Comparative Study of Competency Question Elicitation Methods from Ontology Requirements

Probleemstelling

Competentievragen (Competency Questions - CQs) zijn fundamenteel in de levenscyclus van ontologie-engineering. Ze dienen als brug tussen domeinexperts en kennisengineers, helpen bij het definiëren van de reikwijdte van een ontologie, sturen het ontwerp en ondersteunen validatie en testen. Ondanks hun belang worden CQs in de praktijk vaak onderbenut omdat ze als tijdrovend en moeilijk te formuleren worden ervaren.

Er bestaat een gebrek aan gestandaardiseerde hulpmiddelen en objectieve criteria om de kwaliteit van gegenereerde CQs te beoordelen. Hoewel er diverse methoden zijn ontwikkeld voor (semi-)automatische generatie van CQs – variërend van handmatige formulering tot het gebruik van patronen en recentelijk Large Language Models (LLMs) – ontbreekt er een systematische, empirische vergelijking van deze methoden. Het is onduidelijk hoe de output van deze verschillende benaderingen zich verhoudt in termen van acceptatie, ambiguïteit, relevantie, leesbaarheid en complexiteit.

Methodologie

De auteurs hebben een empirische vergelijkende studie uitgevoerd met de volgende aanpak:

1. Datasets en Bronmateriaal:

   • Er is een nieuw dataset genaamd AskCQ gecreëerd, bestaande uit 204 CQs.
   • Alle CQs zijn gegenereerd op basis van dezelfde bron: een specifieke "user story" uit het domein van cultureel erfgoed (met persona's zoals een muziekarchivaris en een collectiebeheerder). Dit elimineert variatie in de input en isoleert het effect van de generatiemethode.
   • Drie verschillende benaderingen werden toegepast:
     • Handmatig (Manual): Twee ervaren ontologie-engineers (minimaal 5 jaar ervaring) formuleerden onafhankelijk CQs.
     • Patroon-gebaseerd (Pattern-based): Een engineer instantieerde vooraf gedefinieerde CQ-patronen (archetypen) gebaseerd op de entiteiten en relaties in de user story.
     • LLM-gebaseerd: Twee state-of-the-art modellen (GPT-4.1 en Gemini 2.5 Pro) genereerden CQs zonder specifieke instructies over het aantal of de stijl, om bias te minimaliseren.

2. Evaluatie Framework:
   De gegenereerde CQs werden geëvalueerd op drie onderzoeksvragen (RQs) via een mixed-methods aanpak:

   • RQ1 (Geschiktheid): Drie experts beoordeelden de geschiktheid van elke CQ voor het modelleren van de user story (score -3 tot +3).
   • RQ2 (Kenmerken):
     • Ambiguïteit: Gebaseerd op expertcommentaren.
     • Relevantie: Beoordeeld door een LLM (Gemini 2.5 Pro) op een Likert-schaal (4 punten) voor expliciete en inferentiële relevantie.
     • Leesbaarheid: Gemeten via Flesch-Kincaid Grade Level (FKGL) en Dale-Chall Readability Index (DCR).
     • Complexiteit: Gedefinieerd in vier dimensies: lengte (tekst), semantische vereisten (ontologische primitieven), linguïstische complexiteit en syntactische complexiteit (afhankelijkheidsbomen).
   • RQ3 (Semantische Overlap): Gebruikmaking van Sentence-BERT embeddings om de semantische overeenkomst en diversiteit tussen de verschillende sets CQs te meten (centroïde cosine similarity, dekking en nieuwheid).

Belangrijkste Bijdragen

1. AskCQ Dataset: De eerste multi-annotator dataset van CQs die uit dezelfde bronmateriaal is gegenereerd via drie verschillende methoden (handmatig, patroon, LLM). De dataset is publiek beschikbaar onder een CC-BY-licentie.
2. Systematische Vergelijking: Een uitgebreide analyse van de karakteristieken van CQs gegenereerd door menselijke experts versus geautomatiseerde methoden, inclusief kwantitatieve metrics voor complexiteit en semantische dekking.
3. Empirische Validatie: Een gedetailleerd inzicht in de voor- en nadelen van LLMs in de context van ontologie-engineering, wat bijdraagt aan het debat over de inzet van generatieve AI in kennisengineering.

Resultaten

De studie leverde de volgende kernbevindingen op:

• Geschiktheid en Expert Acceptatie:

  • Handmatig gegenereerde CQs (door experts) kregen de hoogste scores voor geschiktheid en de hoogste acceptatiepercentages (>90%). Ze hadden ook de minste commentaren van de beoordelaars.
  • LLM-gegenereerde CQs hadden gemiddelde tot lage scores (GPT: 85% acceptatie, Gemini: 67%).
  • Patroon-gebaseerde CQs hadden de laagste acceptatie (50%) en de hoogste variabiliteit in scores.

• Leesbaarheid en Complexiteit:

  • Handmatige CQs waren het meest leesbaar (laagste FKGL en DCR scores) en het minst complex.
  • LLM-gegenereerde CQs waren aanzienlijk complexer: ze waren bijna twee keer zo lang, bevatten meer ontologische primitieven (vereistencomplexiteit) en hadden ingewikkeldere syntactische structuren. Ze vereisten een hoger opleidingsniveau om te begrijpen.
  • Patroon-gebaseerde CQs lagen qua leesbaarheid en complexiteit tussen de handmatige en LLM-methoden in, maar waren minder geschikt.

• Relevantie en Inferentie:

  • Menselijke experts waren beter in het formuleren van inferentiële vragen (vragen die niet expliciet in de tekst stonden, maar wel functioneel noodzakelijk waren voor de doelen van de user story).
  • LLMs hielden zich strikter aan expliciet genoemde eisen en misten vaak deze impliciete, functionele nuances.

• Semantische Overlap:

  • Hoewel alle sets thematisch consistent waren met de user story (hoge centroïde similariteit), was de granulaire semantische overlap laag.
  • Er was een hoge mate van "nieuwheid": LLMs produceerden sets die weinig overlapten met elkaar en nauwelijks met de menselijke sets.
  • De twee menselijke annotatoren hadden de hoogste wederzijdse dekking (15,3%), wat suggereert dat experts convergeren naar een kernset van vereisten, terwijl LLMs zeer diverse (en soms afwijkende) sets produceren.

Betekenis en Conclusie

De studie concludeert dat, hoewel LLMs nuttig kunnen zijn voor het initiële brainstormen van CQs, ze momenteel niet kunnen vervangen voor menselijke expertise in de ontologie-engineering.

• Kwaliteit: Menselijk gegenereerde CQs zijn leesbaarder, minder complex en beter in staat om impliciete, functionele vereisten te vangen.
• Risico's: Het volledig vertrouwen op LLMs kan leiden tot CQs die moeilijk te begrijpen zijn, overmatig complex zijn en belangrijke domeinspecifieke nuances missen. De grote variabiliteit tussen verschillende LLM-modellen introduceert risico's op inconsistentie.
• Aanbeveling: Een hybride aanpak wordt aanbevolen. LLMs kunnen dienen als startpunt voor het genereren van een breed scala aan vragen, maar deze vereisen menselijke verfijning, validatie en augmentatie om de leesbaarheid te verbeteren, de complexiteit te reduceren en de relevantie voor de specifieke ontologie-doelen te waarborgen.

De auteurs benadrukken dat toekomstig werk zich moet richten op het verbeteren van prompt-engineering en het gebruik van menselijke CQs als "desiderata" om geautomatiseerde methoden beter af te stemmen op de behoeften van ontologie-engineers.