Development of Ontological Knowledge Bases by Leveraging Large Language Models

Dit artikel introduceert een gestructureerde, iteratieve methode die Large Language Models (LLMs) inzet om de ontwikkeling van ontologische kennisbasissen te automatiseren en te optimaliseren, wat leidt tot een aanzienlijke versnelling, verbeterde consistentie en schaalbaarheid, zoals geïllustreerd door een casestudy in de autoverkoopsector.

De kern

Titel: Hoe een Slimme Digitale Assistent Bouwmeesters helpt bij het Maken van Kennis-kaarten

Stel je voor dat je een enorme bibliotheek wilt bouwen, maar dan niet voor boeken, maar voor kennis. In deze bibliotheek wil je niet alleen weten wat er is, maar ook hoe dingen met elkaar samenhangen. Bijvoorbeeld: "Een auto heeft een motor" en "Een motor gebruikt brandstof". Dit soort gestructureerde kennis noemen experts een Ontologie. Het is als een heel gedetailleerde landkaart van een bepaald onderwerp (in dit geval: auto's en wat mensen daarvan vinden).

Maar hier is het probleem: deze landkaarten maken met de hand is net als het bouwen van een kathedraal met een lepeltje. Het duurt eeuwen, kost enorm veel geld, en als je één steen verkeerd zet, kan de hele constructie instorten.

De auteurs van dit papier hebben een nieuw idee: Wat als we een super-slimme robot (een 'Large Language Model' of LLM) inhuren om ons te helpen? Denk aan die slimme chatbots die je nu kent, maar dan ingezet als een bouwmeester-assistent.

Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: De Handmatige Bouw

Vroeger moesten experts (mensen die alles weten over auto's) en bouwers (die de landkaart tekenen) urenlang zitten praten om elke term te definiëren.

• Analogie: Het is alsof je een recept voor een taart schrijft, maar je moet elke keer met de hand de ingrediënten opschrijven, de maten omrekenen en controleren of er geen bloem in de suiker zit. Als je een nieuwe smaak (bijv. 'elektrisch') wilt toevoegen, moet je het hele recept opnieuw schrijven.

2. De Oplossing: De Slimme Assistent (LLM)

De auteurs hebben een stappenplan bedacht waarbij de slimme AI-assistent de zware klus doet, maar de mens de baas blijft. Ze gebruiken een methode die lijkt op Agile bouwen (waarbij je in kleine stukjes bouwt en steeds terugkijkt).

Hier zijn de 7 stappen, vergeleken met het bouwen van een huis:

• Stap 1: Het Scenario & Woordenboek (De Schets)
  De AI leest duizenden artikelen over auto's en mensen. Ze helpt een lijstje te maken van woorden die iedereen hetzelfde moet begrijpen.

  • Analogie: De AI zegt: "Oké, als we 'auto' zeggen, bedoelen we dan een fiets of een vrachtwagen? Laten we een woordenboek maken zodat we niet langs elkaar heen praten."

• Stap 2: De Vragenlijst (De Wensen)
  Wat wil de gebruiker weten? De AI bedenkt vragen die een klant zou stellen.

  • Analogie: "Wat voor auto wil je? Een snelle? Een goedkope? Een met veel ruimte voor de kinderen?" De AI schrijft deze vragen voor ons op.

• Stap 3: De Proefstukjes (Modelets)
  In plaats van het hele huis in één keer te bouwen, bouwen we eerst één kamer (bijv. de slaapkamer). De AI helpt om de basisstructuur van deze 'kamer' te tekenen.

  • Analogie: De AI zegt: "Voor de slaapkamer hebben we een bed en een kast nodig. Laten we die eerst tekenen."

• Stap 4: De Test (De Keuring)
  De AI zet de vragen uit stap 2 om in een taal die de computer begrijpt (SPARQL). Ze test of de 'kamer' wel werkt.

  • Analogie: De AI vraagt: "Als ik zoek naar een 'bed met 2 matrassen', werkt dat?" Als het antwoord 'nee' is, moet de tekening aangepast worden.

• Stap 5: Verbeteren (De Renovatie)
  Als de test faalt, helpt de AI om de tekening aan te passen. Misschien mist er een 'deur' of een 'raam'.

  • Analogie: "Oh, we vergeten dat mensen ook 's nachts slapen. Laten we een 'slaapgedeelte' toevoegen."

• Stap 6: Het Handleiding (De Documentatie)
  De AI schrijft automatisch de handleiding voor het huis.

  • Analogie: In plaats van dat een mens uren moet typen over hoe het huis werkt, schrijft de AI in één klap een duidelijke handleiding voor iedereen.

• Stap 7: Feedback (De Klanttevredenheid)
  Mensen geven commentaar. De AI leest dit commentaar en zegt: "Ah, de klant wil een grotere garage."

  • Analogie: De AI luistert naar de bewoners en past het huis aan hun wensen aan.

3. Het Resultaat: De Auto-Case Study

In dit papier testen ze dit idee met auto's. Ze wilden een systeem maken dat weet wie jij bent en wat je nodig hebt.

• Voorbeeld: Stel je bent Henri.
  • Voor je werk wil je een kleine, zuinige auto (omdat je veel rijdt).
  • Voor je gezin wil je een grote, veilige auto (voor de kinderen).
  • De slimme AI helpt om een landkaart te maken die deze twee 'Henri's' kan onderscheiden en de juiste auto's kan aanraden voor elke situatie.

4. Wat is de Grootste Les?

De AI is een krachtige gereedschapskist, maar geen vervanger voor de meesterbouwer.

• Voordelen: Het gaat 10x sneller, het kost minder geld, en de landkaarten worden completer.
• Risico's: De AI kan soms 'hallucineren' (dingen verzinnen die niet waar zijn) of fouten maken in de logica.
• De Oplossing: Mensen moeten altijd controleren wat de AI doet. Het is een samenwerking: de AI doet het zware werk van het verzamelen en schrijven, en de mens zorgt dat het klopt.

Kortom:
Dit papier zegt: "Laten we stoppen met het met de hand schrijven van kennis-landkaarten. Laten we een slimme robot inhuren die de basis doet, zodat wij mensen ons kunnen focussen op het controleren en verbeteren. Zo kunnen we veel sneller slimme systemen bouwen die echt begrijpen wat mensen nodig hebben."

Technische samenvatting

Probleemstelling

Ontologische Kennisbanken (OKB's) vormen de ruggengraat van effectieve kennisbeheersystemen door domeinspecifieke kennis gestructureerd en semantisch te ordenen. De traditionele ontwikkeling van deze ontologieën verloopt echter voornamelijk handmatig, wat leidt tot ernstige beperkingen:

• Schaalbaarheid en Tijdsinvestering: Het handmatig opstellen en onderhouden van ontologieën is uiterst tijdrovend en resource-intensief.
• Expertise-afhankelijkheid: Het vereist nauwe samenwerking tussen domeinexperts en ontologie-ingenieurs, wat vaak leidt tot knelpunten.
• Consistentie en Adaptiviteit: Handmatige methoden hebben moeite om snel te reageren op veranderende domeinen, wat resulteert in inconsistenties, omissies en een gebrek aan schaalbaarheid.
• Documentatie en Validatie: Taken zoals het genereren van testcases, documentatie en het afstemmen op competentievragen vragen veel menselijke inspanning.

De auteurs stellen dat de integratie van Large Language Models (LLM's) een oplossing biedt om deze processen te automatiseren, te versnellen en de kwaliteit te verhogen.

Methodologie: LLM-Versterkte Ontologie-engineering

De paper introduceert een gestructureerde, iteratieve methode die is gebaseerd op de SAMOD (Simplified Agile Methodology for Ontology Development) principes, maar significant verrijkt met de mogelijkheden van LLM's. De methode bestaat uit zeven kernstappen:

1. Scenario en Glossarium: LLM's analyseren domeinliteratuur en rapporten om representatieve scenario's te extraheren en een gestandaardiseerd glossarium van termen te genereren. Dit zorgt voor een gedeelde taal tussen stakeholders.
2. Informele Competentievragen (ICQ's): LLM's helpen bij het genereren, uitbreiden en verfijnen van natuurlijke taalvragen die de behoeften van eindgebruikers vertalen naar de scope van de ontologie.
3. Modelet-ontwikkeling: In plaats van de volledige ontologie direct te bouwen, worden "modelets" (kleine, zelfstandige modules) ontwikkeld. LLM's extraheren concepten, relaties en axioma's uit ongestructureerde data om een skelet van de ontologie te creëren.
4. Testcase-generatie: LLM's vertalen de ICQ's automatisch naar formele SPARQL-query's. Dit stelt ontwikkelaars in staat om de ontologie te valideren op consistentie en het beantwoorden van de gestelde vragen.
5. Modelverfijning: Op basis van testresultaten en feedback gebruiken LLM's de ontologie om ontbrekende elementen, semantische inconsistenties of logische fouten te identificeren en voorstellen te doen voor verbetering.
6. Documentatiegeneratie: LLM's genereren automatisch menselijke leesbare beschrijvingen, annotaties (zoals rdfs:comment) en technische rapporten, wat de onderhoudskosten verlaagt.
7. Feedback-loop: LLM's verwerken grote hoeveelheden kwalitatieve feedback van stakeholders om patronen te herkennen en prioriteiten te stellen voor verdere verfijning.

Technische Implementatie:
De auteurs gebruiken diverse prompting-technieken (Zero-shot, Few-shot, Chain-of-Thought, Retrieval Augmented Generation) via de GPT-4o API. De output wordt verwerkt met Python-bibliotheken zoals RDFLib en Owlready2 om direct naar OWL (Web Ontology Language) axioma's te mappen.

Case Study: User Context Profile Ontology (UCPO)

Om de methode te valideren, hebben de auteurs een case study uitgevoerd in het domein van voertuigverkoop. Het doel was het ontwikkelen van een UCPO die gebruikersprofielen koppelt aan contextuele informatie (bijv. locatie, tijd, doel van gebruik) om gepersonaliseerde aanbevelingen te doen.

• Opbouw: De ontologie is opgedeeld in twee modelets:
  1. Statische profielen: Demografische data (leeftijd, inkomen, gezinssituatie).
  2. Dynamische context: Voorkeuren, rijstijl, milieubewustzijn, en contextuele factoren (tijd, apparaat, sociale omgeving).
• LLM-bijdrage: LLM's stelden nieuwe concepten voor zoals DrivingStyle, TechSavviness en EnvironmentalConcerns, die vaak over het hoofd worden gezien in traditionele benaderingen.
• Validatie: De ontologie werd getest met SPARQL-query's gegenereerd door LLM's. Een voorbeeldscenario betrof een gebruiker "Henri" met twee profielen (professioneel en familiaal), waarbij de ontologie succesvol voertuigen selecteerde die aan beide contexten voldeden.

Resultaten en Evaluatie

De evaluatie van de UCPO toonde de volgende resultaten aan:

• Structuur: De ontologie bevatte 42 klassen, 31 objecteigenschappen, 16 data-eigenschappen en 159 individuele instanties.
• Expressiviteit: De logica is geclassificeerd als ALH(D), wat een goede balans biedt tussen expressiviteit en redeneerbaarheid.
• Rijkdomsmetrics:
  • Attribuutrijkdom (AR): 0,38
  • Erfenismrijkdom (IR): 0,26
  • Relatierijkdom (RR): 0,74
    Deze metrics suggereren een evenwicht tussen een "horizontale" (brede) en "verticale" (diepe) ontologie.
• Efficiëntie: Het gebruik van LLM's leidde tot een aanzienlijke versnelling in het genereren van glossaria, competentievragen, testcases en documentatie. Het verminderde de handmatige inspanning voor literatuurstudies en het opzetten van de initiële structuur.

Belangrijkste Bijdragen

1. Gestructureerde Methodologie: Een bewezen, iteratief raamwerk dat LLM's naadloos integreert in de SAMOD-ontologie-engineeringcyclus.
2. Automatisering van Artefacten: Demonstratie van hoe LLM's kunnen worden ingezet voor het genereren van glossaria, competentievragen, SPARQL-testcases en technische documentatie.
3. Verbeterde Kwaliteit en Dekking: LLM's helpen bij het identificeren van ontbrekende concepten en het waarborgen van semantische consistentie door continue validatie.
4. Praktische Validatie: Een volledig werkend voorbeeld (UCPO voor voertuigverkoop) dat de haalbaarheid en voordelen van de aanpak in een realistisch scenario aantoont.

Betekenis en Toekomstperspectief

De paper benadrukt dat de integratie van LLM's in de ontwikkeling van OKB's een transformatieve stap is voor kennismanagement. Het lost het probleem van schaalbaarheid op en maakt dynamische, adaptieve kennisbanken mogelijk.

Uitdagingen:
De auteurs waarschuwen echter voor de beperkingen van LLM's, zoals:

• Hallucinaties: LLM's kunnen onjuiste feiten genereren, wat menselijke validatie en post-processing essentieel maakt.
• Consistentie: Formele logische consistentie is niet gegarandeerd zonder strikte controle.
• Transparantie: De "black box"-aard van LLM's vereist zorgvuldige interpretatie.

Conclusie:
De auteurs pleiten voor een hybride aanpak: LLM's worden gebruikt als krachtige hulpmiddelen om de snelheid en dekking te vergroten, maar altijd in combinatie met domeinexperts en formele kennisengineeringprincipes om de integriteit van de kennisbank te waarborgen. Toekomstig onderzoek moet zich richten op het verbeteren van transparantie, het mitigeren van bias en het schalen van deze methoden voor grotere, multilinguale domeinen.