Large Language Models Assisting Ontology Evaluation

Dit paper introduceert OE-Assist, een nieuw kader dat grote taalmodellen inzet om de kostbare en arbeidsintensieve evaluatie van ontologieën via competentievragen te ondersteunen en vaststelt dat modellen zoals o1-preview en o3-mini hierbij vergelijkbaar presteren met de gemiddelde menselijke gebruiker.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van alledaagse vergelijkingen.

🏗️ De Bouwplaat van de Wereld: Wat is een Ontologie?

Stel je voor dat je een enorme, complexe bouwplaat hebt voor een stad. In deze stad wonen mensen, zijn er ziekenhuizen, musea en waterleidingen. Een ontologie is als het officiële reglement of de "blauwdruk" van deze stad. Het legt vast wat een "huis" is, hoe een "straat" verbonden is met een "gebouw", en welke regels gelden.

Maar hoe weet je of deze blauwdruk wel klopt? Als je vraagt: "Waar kan ik een arts vinden die ook een pianist is?", moet de blauwdruk dit antwoord kunnen geven. In de wereld van data noemen we deze vragen Competentie Vragen (CQ's).

🤖 Het Probleem: De Duur en Moeilijke Controle

Tot nu toe was het controleren van deze blauwdrukken (de ontologie) een zware klus. Het was als het handmatig controleren van elke steen in een muur.

• Tijdrovend: Het kostte experts uren.
• Foutgevoelig: Mensen maken fouten als ze moe zijn.
• Dure: Je had specialisten nodig die dit konden.

De onderzoekers van dit paper wilden weten: Kunnen slimme computers (Large Language Models of LLM's) ons hierbij helpen?

🧪 De Oplossing: OE-Assist (De Slimme Assistent)

De onderzoekers hebben een nieuw systeem bedacht, genaamd OE-Assist. Ze hebben twee dingen gedaan:

1. De "Examen-klas" (Automatisch testen):
   Ze hebben een gigantische verzameling van 1.393 blauwdrukken en vragen gemaakt (de OntoEval-dataset). Ze hebben gevraagd aan verschillende AI-modellen (zoals de slimme o1-preview en o3-mini) om deze zelf te controleren.

   • Het resultaat: De slimste AI's deden het bijna net zo goed als een gemiddelde menselijke expert. Ze konden goed zien of een vraag wel of niet beantwoord kon worden door de blauwdruk.

2. De "Hulp in de Werkplaats" (Semi-automatisch testen):
   Ze hebben een prototype gemaakt dat werkt als een GPS voor ontologie-experts.

   • Een menselijke expert werkt aan de blauwdruk.
   • De AI kijkt mee en zegt: "Hé, ik denk dat deze vraag wel beantwoord wordt. Hier is zelfs een bewijs (een SPARQL-query) dat het laat zien."
   • De expert moet dan beslissen: "Klopt dit?"

📉 De Belangrijkste Bevindingen: Een Tweesnijdend Zwaard

Hier wordt het interessant, en hier gebruiken we een metafoor:

De AI is als een zeer slimme, maar soms verwarde, stagiair.

• Wanneer de stagiair het goed heeft:
  Als de AI een correct advies geeft, wordt de menselijke expert 13% beter in zijn werk. Het voelt ook makkelijker aan (moeilijkheidsgraad daalt). De expert kan sneller werken omdat hij niet alles zelf hoeft te zoeken.

  • Vergelijking: Het is alsof je een GPS hebt die de perfecte route aangeeft. Je komt sneller aan en je voelt je minder gestrest.

• Wanneer de stagiair het fout heeft:
  Als de AI een verkeerd advies geeft, daalt de prestatie van de mens met 28%. De menselijke expert vertrouwt de AI te veel en maakt dan een fout die hij zonder hulp niet had gemaakt.

  • Vergelijking: Het is alsof je GPS je in een rivier stuurt. Omdat je de GPS vertrouwt, rijd je erin, terwijl je zonder GPS misschien gewoon had gestopt om te kijken.

De balans:
In het experiment was de AI vaak goed (70% van de tijd), maar niet altijd. Doordat de positieve en negatieve effecten elkaar deels opheffen, was de totale verbetering voor de groep als geheel klein. Maar het risico is groot: als de AI fouten maakt, kunnen mensen die fouten overnemen.

💡 Wat betekent dit voor de toekomst?

1. AI is een krachtige hulpmiddel, maar geen vervanger: AI kan de zware, saaie controlewerkzaamheden doen en suggesties geven. Maar de mens moet de "hoofdrol" blijven spelen en kritisch blijven kijken.
2. Vertrouwen is gevaarlijk: Mensen laten zich snel leiden door wat de computer zegt, zelfs als het fout is. We moeten leren om de AI te controleren, niet blindelings te volgen.
3. De toekomst ziet er goed uit: Omdat AI-modellen steeds slimmer worden (zoals de o1-preview die in dit onderzoek werd gebruikt), zullen ze in de toekomst waarschijnlijk nog betere suggesties geven. Als de AI 95% van de tijd goed zit, wordt het hulpmiddel onmisbaar.

Conclusie in één zin

Deze studie toont aan dat slimme AI ons kan helpen bij het controleren van complexe data-regels, maar we moeten oppassen dat we niet te veel vertrouwen op de AI, want als die een fout maakt, maken wij die fout ook mee. Het is een hulpmiddel, geen magische oplossing.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Large Language Models Assisting Ontology Evaluation" in het Nederlands.

Titel: Large Language Models Assisting Ontology Evaluation

Auteurs: Anna Sofia Lippolis et al. (Universiteit van Bologna, ISTC-CNR, Linköping University)

---

1. Het Probleem

De evaluatie van ontologieën via functionele vereisten, met name door middel van Competency Questions (CQs), is een gevestigde maar kostbare, arbeidsintensieve en foutgevoelige taak.

• Huidige uitdagingen: Het proces vereist vaak handmatige vertaling van natuurlijke taal (CQs) naar formele query's (zoals SPARQL) om te verifiëren of een ontologie de gestelde vragen kan beantwoorden. Dit is afhankelijk van de complexiteit en ambiguïteit van de domeinbegrippen.
• Gaten in het onderzoek: Hoewel Large Language Models (LLMs) al worden gebruikt voor het genereren van ontologieën of CQs, is er nog geen systematisch onderzoek gedaan naar het gebruik van LLMs voor de functionele evaluatie van ontologieën via directe CQ-verificatie, vooral niet in een semi-automatische setting met menselijke tussenkomst (human-in-the-loop).

2. Methodologie

De auteurs introduceren OE-Assist, een nieuw raamwerk dat LLMs inzet voor zowel automatische als semi-automatische CQ-verificatie.

A. Dataset: OntoEval

• Samenstelling: Een dataset van 1.393 CQs, gekoppeld aan bijbehorende ontologieën en "user stories".
• Bronnen: De data omvat zowel door mensen gecureerde ontologieën (uit Europese projecten zoals Polifonia, WHOW, Onto-DESIDE) als door LLMs gegenereerde ontologieën.
• Labeling: Elke CQ is gelabeld door twee ontologie-engineers als:
  • Yes: De CQ is correct gemodelleerd.
  • No: De CQ is niet correct gemodelleerd.
  • No minor: Er ontbreekt slechts één eigenschap (behandeld als 'No' in de automatische evaluatie).
• OntoEval-small: Een gebalanceerde subset van 20 complexe CQs, specifiek samengesteld voor het semi-automatische gebruikersonderzoek.

B. Experimenteel Opzet

Het onderzoek bestaat uit twee fasen:

1. Automatische Evaluatie:

   • Drie LLMs werden getest op de volledige OntoEval-dataset: o1-preview, GPT-4o-0513, en o3-mini.
   • Taak: Het model moet een binair label (Ja/Nee) voorspellen en een SPARQL-query genereren die dit label onderbouwt.
   • Doel: Bepalen in hoeverre LLMs ontologieën zelfstandig kunnen evalueren.

2. Semi-automatische Evaluatie (Gebruikersstudie):

   • Deelnemers: 19 ontologie-engineers (verdeeld in experts en niet-experts) van acht internationale instellingen.
   • Opzet: Deelnemers voerden 20 evaluatietaken uit in Protégé. De helft van de taken werd uitgevoerd met LLM-ondersteuning (suggesties voor label en SPARQL) en de andere helft zonder.
   • Interface: Een web-interface naast Protégé toonde de CQ, de story, en eventuele LLM-suggesties. Deelnemers moesten een definitief oordeel vellen en de moeilijkheidsgraad inschatten (Likert-schaal 1-5).

3. Belangrijkste Bijdragen

1. OE-Assist Framework: Het eerste systeem dat LLMs inzet voor semi-automatische CQ-verificatie met suggesties voor menselijke experts.
2. OntoEval Dataset: Een grote, geannoteerde benchmark (1.393 items) voor de evaluatie van ontologieën, inclusief een mix van mens- en machine-gemaakte ontologieën.
3. Systematisch Onderzoek: De eerste studie die de effectiviteit van LLMs voor functionele ontologie-evaluatie kwantificeert en de interactie tussen mens en machine in dit proces analyseert.

4. Resultaten

Automatische Evaluatie

• Prestaties: Het model o1-preview presteerde het beste met een Macro-F1-score van 0,66 op de volledige dataset, wat aanzienlijk hoger is dan de random-baseline (0,43) en beter dan GPT-4o.
• Vergelijking: o1-preview en o3-mini presteerden op een niveau dat vergelijkbaar is met de gemiddelde prestatie van menselijke gebruikers.

Semi-automatische Evaluatie (Gebruikersstudie)

• Invloed van Correcte Suggesties: Wanneer de LLM een correcte suggestie gaf, steeg de nauwkeurigheid van de gebruikers met 13% (van 70,46% naar 83,18%).
• Invloed van Foutieve Suggesties: Wanneer de LLM een foutieve suggestie gaf, daalde de nauwkeurigheid van de gebruikers drastisch met 28% (van 71,93% naar 43,86%).
• Totale Impact: Omdat correcte suggesties vaker voorkwamen dan foutieve, was de netto verbetering in totale nauwkeurigheid statistisch niet significant (+0,04%). Dit toont een kritieke afweging: LLMs kunnen helpen, maar fouten leiden tot een grotere negatieve impact dan de positieve impact van correcte hulp.
• Moeilijkheidsgevoel: Gebruikers vonden de taken met LLM-ondersteuning significant minder moeilijk (gemiddelde score 2,52 vs. 2,75 zonder hulp).
• Leercurve: Gebruikers die zonder hulp begonnen, leerden meer (verbetering van 40% in de tweede helft) dan diegenen die met hulp begonnen (15% verbetering). Hulp kan dus het leerproces vertragen.
• Expertise: Experts vonden taken over het algemeen makkelijker dan niet-experts, maar beiden profiteerden van de verlaagde perceptie van moeilijkheid.

5. Betekenis en Conclusie

• Potentieel: LLMs (vooral geavanceerde redeneringsmodellen zoals o1-preview) zijn capabel om ontologieën functioneel te evalueren en kunnen dienen als een eerste filterlaag om fouten te flaggen.
• Risico's: Er bestaat een groot risico op overbetrouwbaarheid. Gebruikers laten zich sterk beïnvloeden door LLM-suggesties, zelfs als deze fout zijn, wat hun eigen oordeel kan ondermijnen.
• Toekomstperspectief: Voor een succesvolle implementatie is het cruciaal dat de nauwkeurigheid van de LLM-suggesties zeer hoog is. Toekomstige systemen moeten mogelijk safeguards bevatten (zoals het vooraf controleren van SPARQL-query's) en mechanismen om de leercurve van gebruikers te behouden, zodat ze niet volledig afhankelijk worden van de AI.
• Conclusie: OE-Assist toont aan dat een hybride aanpak (mens + AI) veelbelovend is voor de efficiëntie en het verminderen van de cognitieve last, maar dat de kwaliteit van de AI-suggesties de doorslaggevende factor is voor de uiteindelijke nauwkeurigheid.

De code, data en supplementary material zijn beschikbaar via de GitHub-repository van de auteurs.