OntoExtend: A Framework for Requirement-driven and Scalable Ontology Extension with LLMs

Technische Samenvatting: OntoExtend: Een Framework voor Requirement-gestuurde en Schaalbare Ontologie-extensie met LLM's

Probleemstelling
Ontologie-extensie—het proces van het verrijken van een bestaande ontologie om aan nieuwe functionele vereisten te voldoen—is traditioneel een resource-intensieve en foutgevoelige taak. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken bij het genereren van ontologieën vanaf nul, koppelen huidige benaderingen de extensietaken zelden expliciet aan specifieke vereisten of herbruikbare kernmodellen. Bovendien missen bestaande methoden vaak een systematische evaluatie van LLM-outputs. Een aanzienlijke technische uitdaging ontstaat door de schaal van input-ontologieën; deze bevatten vaak honderden klassen en eigenschappen die de contextvensterbeperkingen van huidige LLM's overschrijden. Zelfs wanneer ontologieën binnen grote contextvensters passen, kunnen LLM's worden misleid door irrelevante details, wat leidt tot outputs die niet op het doel zijn gericht of inconsistent zijn. Er is een gat in de literatuur over hoe LLM's bestaande volwassen ontologieën kunnen uitbreiden door bestaande elementen te hergebruiken terwijl ze aanvullende vereisten modelleren die als Competency Questions (CQs) worden aangeleverd.

Methodologie: Het OntoExtend Framework
De auteurs stellen OntoExtend voor, een retrieval-augmented generation (RAG) framework dat is ontworpen om ontologieën uit te breiden op basis van nieuwe vereisten. Het systeem werkt via drie primaire subsystemen:

1. Ontology Retriever: Om de contextbeperkingen aan te pakken, construeert deze module een semantische index van de input-ontologie. Het parseert OWL-entiteiten (klassen, eigenschappen, annotaties) en serialiseert ze naar pipe-gescheiden strings die URI's, labels, commentaren en structurele relaties (bijv. domain/range) bevatten. Deze elementen worden geëmbed in dense vectoren met behulp van een configureerbaar sentence embedding model (specifiek text-embedding-ada-002 in de hoofdexperimenten) en opgeslagen in een FAISS-index. Wanneer een gebruiker een CQ verstrekt, wordt deze geëmbed in dezelfde vectorruimte, en de retriever geeft de top-k meest relevante ontologie-elementen terug. Dit zorgt ervoor dat de generatie geworteld is in de bestaande terminologie en modelleringspatronen.
2. Ontology Extender: Deze module stelt de prompt samen voor de LLM. Het groepeert de opgehaalde elementen per bron, rendert ze als Turtle-snippets, en construeert een uniforme prefix-block om namespace-conflicten op te lossen. Cruciaal is dat de prompt de CQ en de opgehaalde context bevat, samen met specifieke modelleringsrestricties (bijv. het vereisen van SHACL-shapes voor industrieel gebruik of OWL-restricties voor EU-projectgebruik). De LLM genereert een kandidaat TBox-fragment. Een twee-fasen validator controleert op syntactische correctheid (Turtle parser) en naleving van modelleringsconventies (bijv. expliciete domain/range declaraties).
3. Ontology Integrator: Deze module integreert het gevalideerde fragment in de input-ontologie. Het voert deduplicatie uit (verwijderen van herhaalde axioma's, klassen en prefixes) en concateneert het schoongemaakte fragment. Optioneel kunnen gegenereerde fragmenten opnieuw worden geïndexeerd om als context te dienen voor opeenvolgende CQs, hoewel dit tijdens de evaluatie werd uitgeschakeld om een onafhankelijke beoordeling te waarborgen.

Experimentele Opzet
Het framework werd geëvalueerd op twee real-world use cases:

• Onto-DESIDE: Een publieke EU-project ontologie netwerk gericht op circular economy data-interoperabiliteit (20 CQs).
• Bosch Industrial Ontology: Een interne ontologie die een manufacturing profile volgt (19 CQs).

De dataset werd systematisch gecreëerd door klassen en eigenschappen uit de originele ontologieën te verwijderen en CQs te formuleren om deze ontbrekende componenten te onderzoeken. De studie vergeleek retrieval-configuraties (embedding modellen en tekstseparatoren) en LLM's (o1-preview en GPT-5). De evaluatiemetrieken omvatten structurele validiteit (OOPS! pitfall scanner, Pellet reasoner, syntax checking), functionele adequaatheid (CQ verificatie via SPARQL, tellen van overbodige elementen) en een gebruikerssurvey door zes ontologie-engineers die Correctheid en Volledigheid beoordeelden op een 5-punts Likert-schaal.

Belangrijkste Resultaten

• Structurele Kwaliteit: Gegenereerde fragmenten vertoonden vrijwel geen syntactische fouten. Integratie met OOPS! toonde aan dat OntoExtend zeer weinig nieuwe modelleringspitfalls introduceerde vergeleken met bestaand werk, dat vaak kritieke of belangrijke pitfall rapporteert. Er werden kleine problemen waargenomen (bijv. ontbrekende annotaties in de industriële case door replicatie van de inputstijl), maar deze waren eenvoudig te herstellen.
• Functionele Adequaatheid: Beide LLM's bereikten 100% CQ-verificatie, wat betekent dat alle gegenereerde extensies de vereisten correct modelleerden. Het percentage overbodige elementen (onnodige klassen of eigenschappen) was extreem laag (<2%), een significante verbetering ten opzichte van eerdere studies die ~30% rapporteerden.
• Menselijke Evaluatie: Ontologie-engineers beoordeelden de fragmenten hoog. Voor de industriële ontologie vereisten fragmenten slechts minimale tot geen wijzigingen (Gemiddelde Volledigheid ~4.5). Voor het EU-project waren de scores iets lager (Gemiddelde Volledigheid ~3.1), toegeschreven aan de open-ended aard van de CQs die meer beslissingen over het modelleren vereisten van de tool. Engineers merkten op dat hoewel de output over het algemeen syntactisch en semantisch correct was, het soms een matige revisie vereiste met betrekking tot naamgevingsconventies, domain/range declaraties of koppelingen met bestaande elementen.

Betekenis en Claims
Het artikel claimt dat OntoExtend een praktisch bruikbaar niveau van automatisering biedt voor real-world ontologie-extensie. De primaire betekenis ligt in het verschuiven van de rol van de ontologie-engineer van handmatige axiom-auteurschap naar het beoordelen en licht bewerken van concepten, waardoor de drempel voor domeinexperts wordt verlaagd. De auteurs stellen dat OntoExtend effectief functioneert als een "drafting assistant" die gevoelig is voor de specificiteit van de input CQs en het modelleringsprofiel.

De studie suggereert verder dat LLM-prestaties als een proxy-indicator kunnen dienen voor de kwaliteit van de vereisten en ontologische artefacten; wanneer CQs precies en goed gestructureerd zijn, zijn de resulterende extensies van hogere kwaliteit met minder modelleringsfouten. Omgekeerd leidt ambiguïteit in de vereisten tot lagere scores, wat benadrukt dat het succes van het framework afhankelijk is van de kwaliteit van de input-specificaties. De auteurs concluderen dat hoewel het framework effectief is voor precieze vereisten, het gevoelig blijft voor de formulering van de input CQs en menselijk toezicht vereist voor integratie.