💻 computer science

OntoLearner: A Modular Python Library for Ontology Learning with Large Language Models

Het artikel introduceert OntoLearner, een modulair open-source framework dat ontologie-toegang, door LLM gestuurde leerpipelines en gestandaardiseerde benchmarking over 22 domeinen verenigt, waarbij wordt onthuld dat de primaire flessenhals in ontologie-leren een structurele mismatch is tussen de codering van modelkennis en de ontologische organisatie, in plaats van de capaciteit van het model zelf.

Oorspronkelijke auteurs: Hamed Babaei Giglou, Jennifer D’Souza, Andrei Aioanei, Nandana Mihindukulasooriya, Sören Auer

Gepubliceerd 2026-06-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hamed Babaei Giglou, Jennifer D’Souza, Andrei Aioanei, Nandana Mihindukulasooriya, Sören Auer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Bibliotheek van Babel"

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken, maar ze zijn allemaal geschreven in verschillende talen, sommige zijn gescheurd, sommige zijn slechts lijsten met woorden, en er is geen catalogus. Je wilt een slimme robot bouwen die deze boeken kan lezen en ze organiseert in een perfect, logisch systeem (een ontologie) zodat een computer de wereld kan begrijpen.

Decennialang hebben onderzoekers geprobeerd robots te bouwen om dit te doen. Sommige robots waren goed in het vinden van woorden, andere waren goed in het herkennen van patronen, en de nieuwste robots (genaamd Large Language Models of LLM's) zijn als superintelligente genieën die gedichten kunnen schrijven en raadsels kunnen oplossen.

Maar hier is het probleem: Niemand had een gedeelde testomgeving.

Eén onderzoeker testte zijn robot op een bibliotheek over wijn.
Een ander testte de zijne op een bibliotheek over geneeskunde.
Een derde testte op recht.

Omdat ze verschillende dingen testten, konden ze niet vergelijken wie er daadwerkelijk de beste was. Het was alsof je probeerde een Formule 1-auto, een tractor en een fiets te vergelijken door te kijken wie de race op drie verschillende circuits zou winnen. Het veld zat vast, was gefragmenteerd en bewoog te traag.

De Oplossing: OntoLearner (De "Universele Testbaan")

De auteurs van dit paper bouwten OntoLearner. Zie dit als een enorme, gestandaardiseerde testbaan die elk denkbaar terrein bevat (modder, ijs, zand, asfalt).

OntoLearner is een gratis, open-source softwaretool (een Python-bibliotheek) die drie hoofdzaken doet:

Het verzamelt de "Boeken": Het verzamelde 180 verschillende "bibliotheken" (ontologieën) die 22 verschillende onderwerpen beslaan (zoals biologie, financiën, materiaalkunde en voedsel). Het heeft ze opgeschoond en klaar gemaakt voor robots om te lezen.
Het stelt de "Races" vast: Het definieert drie specifieke uitdagingen die de robots moeten oplossen:
- Term Typing: "Is een 'cel' een 'biologisch proces' of een 'pathologische staat'?" (Woorden in de juiste hokjes sorteren).
- Taxonomy Discovery: "Hoort een 'hond' onder de categorie 'zoogdier'?" (Het stamboomstructuur bouwen).
- Relation Extraction: "Veroorzaakt 'water' roest?" (Verbindingen vinden die niet alleen familiebanden zijn).
Het voert de "Race" uit: Het laat onderzoekers verschillende robots (AI-modellen) erin pluggen om precies te zien hoe ze op elke enkele baan presteren.

De Grote Race: Wat Er Gebeurde

De auteurs gebruikten OntoLearner om een enorme experiment uit te voeren. Ze zetten 22 verschillende zoekmachines (retrievers) en 12 verschillende AI-genieën (LLM's) tegen elkaar op over al deze verschillende onderwerpen.

Dit is wat ze vonden, met behulp van eenvoudige analogieën:

1. De Verrassing: "Grootte Doet Er Niet Toe"

Je zou denken dat een grotere, duurdere AI (zoals een model met 80 miljard parameters) een kleiner model zou verpletteren.

De Realiteit: Voor eenvoudige taken (zoals het sorteren van woorden) waren grotere modellen iets beter. Maar voor de moeilijke taak van het bouwen van stambomen (Taxonomy Discovery), hielp een groter model niet veel. Een klein, goed afgestemd model deed het vaak net zo goed als een gigantisch model.
De Analogie: Het is alsof je een Formule 1-auto een modderige weg geeft. Hoe krachtig de motor ook is, als de weg modderig is, komt de auto vast te zitten. Het probleem was niet de motor van de auto; het was de weg.

2. De "Specialist"-valstrik

Sommige modellen waren specifiek getraind op medische boeken (BiomedBERT) of materiaalkundige boeken (MatSciBERT).

De Realiteit: Deze "specialistische" modellen waren verschrikkelijk in algemene taken. Ze wisten te veel over hun specifieke onderwerp en raakten in de war wanneer ze over iets anders werden gevraagd.
De Analogie: Een meesterkok die alleen sushi kan maken, kan moeite hebben met het bereiden van een biefstuk. Ze zijn te gespecialiseerd om een algemene kok te zijn.

3. De "Hybride" Winnaar

De beste resultaten kwamen voort uit het combineren van twee hulpmiddelen: een Retriever (een snelle bibliothecaris die een paar relevante boeken pakt) en een LLM (een slimme lezer die controleert of de boeken zinvol zijn).

De Realiteit: Wanneer de bibliothecaris de juiste boeken pakte en de slimme lezer ze controleerde, steeg de nauwkeurigheid aanzienlijk.
De Analogie: Het is als het hebben van een snelle assistent die de juiste pagina's in een tekstboek vindt, en dan een professor die die pagina's leest om het antwoord uit te leggen. Eén van de twee is niet genoeg; samen zijn ze onverslaanbaar.

De Diepe Ontdekking: Het Is Niet de Robot, Het Is de Kaart

De belangrijkste conclusie van het paper is een beetje een schok.

Jarenlang dachten mensen dat het probleem was dat onze AI-modellen niet slim genoeg waren. Ze dachten: "Als we de AI maar groter en slimmer maken, zal hij eindelijk kennis kunnen organiseren."

OntoLearner bewees dit ongelijk.

De auteurs ontdekten dat de fouten niet kwamen omdat de AI "dom" was. De fouten gebeurden omdat de manier waarop AI "denkt" (mathematisch) niet overeenkomt met de manier waarop mensen kennis organiseren (logisch).

De Analogie: Stel je voor dat je een vierkante pen in een rond gat probeert te passen. Je kunt de pen groter, sterker of sneller maken, maar hij zal nooit passen als het gat rond is.
De Bevinding: De "holte" is de structuur van de ontologie (de kenniskaart). De "pen" is de mathematische representatie van de AI. Het paper laat zien dat naarmate de kenniskaart complexer wordt (meer takken, diepere bomen), de AI vaker faalt, ongeacht hoe groot de AI ook is. De AI is goed in het zien van gelijkenis (deze twee dingen lijken op elkaar), maar slecht in het zien van hiërarchie (dit ding is een type van dat ding).

Samenvatting

OntoLearner is een nieuwe tool die onderzoekers eindelijk in staat stelt om AI-modellen eerlijk te vergelijken over vele verschillende onderwerpen.

De Tool: Een bibliotheek van 180 kenniskaarten en een testframework.
Het Resultaat: Grotere AI-modellen lossen het probleem van het organiseren van kennis niet automatisch op.
De Les: De bottleneck is niet de intelligentie van de AI; het is een fundamentele mismatch tussen hoe computers "gelijkenis" berekenen en hoe mensen "kennis" structureren. Om dit op te lossen, hebben we nieuwe manieren nodig om AI te bouwen die de vorm van kennis begrijpt, en niet alleen de woorden.

Het paper concludeert dat we moeten stoppen met het simpelweg groter maken van modellen en moeten beginnen met het bouwen van betere "bruggen" tussen hoe AI denkt en hoe kennis daadwerkelijk is georganiseerd.

Technische Samenvatting: OntoLearner

Probleemstelling

Ontologie-leren (Ontology Learning, OL) streeft naar het automatisch construeren van gestructureerde kennismodellen uit ongestructureerde tekst, op het snijvlak van symbolische en statistische AI. Ondanks decennia aan onderzoek lijdt het veld aan fragmentatie over methoden, domeinen en evaluatiepraktijken. Eerdere benaderingen zijn geëvolueerd via drie golven: lexico-syntactische patronen (vaak broos), grootschalig semi-gestuurd extractieproces (vaak zonder logische strengheid) en recente door Large Language Models (LLM's) gedreven methoden (vaak lijdend onder semantische drift en domeinspecifieke nauwheid).

Een kritische kloof die in de literatuur wordt geïdentificeerd, is het ontbreken van een gedeelde infrastructuur voor systematische evaluatie en toegang tot ontologieën. Bestaande ontologie-repositories (bijv. BioPortal, OLS) richten zich op hosting en ontdekbaarheid, maar missen de programmeerbare interfaces en gestandaardiseerde benchmarks die nodig zijn om learning-pipelines te evalueren. Daarentegen opereren AI-gebaseerde leer-systemen vaak in isolatie zonder gestandaardiseerde datasets of cross-domein vergelijkingen. Dit gebrek aan een verenigde infrastructuur heeft de accumulatie van vooruitgang belemmerd, waardoor centrale uitdagingen — zoals de structurele mismatch tussen hoe modellen kennis coderen en hoe ontologieën kennis organiseren — grotendeels onbehandeld zijn gebleven.

Methodologie

De auteurs introduceren OntoLearner, een modulaire, cross-domein Python-bibliotheek ontworpen om de toegang tot ontologieën, LLM-gestuurde leer-pipelines en gestandaardiseerde benchmarking te verenigen.

1. Infrastructuur en Dataset Curatie

OntoLearner brengt een benchmark-collectie uit bestaande uit 180 machineleesbare ontologieën verspreid over 22 diverse domeinen (bijv. Materiaalkunde, Biologie, Recht, Financiën). Deze ontologieën worden gehost op HuggingFace en zijn pipeline-klaar met train/dev/test-splits.

Ontologizer Component: Een fundamentele module die diverse formaten (OWL, RDF, XML, TTL) parseert naar programmeerbare Python-objecten. Het handelt metadata-specificatie, versiebeheer en automatische metriekberekening af.
Complexiteitsscore: Het framework introduceert een Ontologische Complexiteitsscore ( $C_{score}$ ), een enkele waarde afgeleid van graafmetrieken, kennisdekking, hiërarchie, breedte en datasetkarakteristieken. Deze score maakt het mogelijk om ontologieën te stratificeren op basis van structurele moeilijkheid, waarbij een long-tail distributie wordt onthuld waarbij de meeste klein tot middelgroot zijn, maar enkele extreem complex zijn.
Synthetische Corpus Generatie (Text2Onto): Om het gebrek aan gold-standard corpora voor unstructured-to-ontology taken aan te pakken, bevat de bibliotheek een module die synthetische tekst genereert uit bestaande ontologieën met behulp van Controlled Natural Language (CNL) templates en LLM-parafrasering.

2. Kernopdrachten voor Leren

De bibliotheek standaardiseert drie kernopdrachten voor OL, elk met specifieke evaluatiemetrieken en lekkage-bewuste data-splitting strategieën:

Term Typing: Het identificeren van het gegeneraliseerde type voor een lexicale term.
Taxonomy Discovery: Het identificeren van hiërarchische (is-a) relaties tussen types.
Niet-taxonomische Relatie-extractie: Het extraheren van semantische relaties buiten "is-a" (bijv. part-of, causes).

3. Experimenteel Framework

De auteurs voerden een grootschalige empirische studie uit met behulp van deze infrastructuur:

Retrievers: Evalueerde 22 retrieval modellen, variërend van lexicale baselines (n-grams) en klassieke embeddings (GloVe, Word2Vec) tot moderne sentence transformers (MiniLM, MPNET, GTR-T5) en grote embedding modellen (Qwen3, Nomic).
LLM's: Evalueerde 12 LLM's (inclusclusief de Qwen, Gemma, Mistral en Falcon families) variërend van 0.6B tot 80B parameters, waarbij zowel instructie-getunede als redenerings-geoptimaliseerde varianten werden getest.
Pipeline: Implementeerde een Retrieval-Augmented Generation (RAG) pipeline waarbij retrievers kandidaten selecteren en LLM's fungeren als rerankers of verifieerders. Ze testten ook LLM-Augmented Retrieval, waarbij een LLM kandidaat-ouders genereert voordat embedding-gebaseerde ranking plaatsvindt.

Belangrijkste Resultaten

1. Beperkingen in Retrieval en Taakafhankelijkheid

Taakmoeilijkheid: Term typing is over het algemeen oplosbaar door embeddings (mediaan recall >95%). Echter, taxonomy discovery blijft een significante bottleneck, waarbij topmodellen slechts 9–37% recall bereiken. Niet-taxonomische relatie-extractie vertoont een hoge variabiliteit afhankelijk van het domein.
Diminishing Returns bij Schaling: Het vergroten van de modelgrootte (bijv. van 0.6B naar 8B) levert significante winst op voor term typing, maar verwaarloosbare verbeteringen voor taxonomy discovery.
Domeinspecificiteit: Domeinspecifieke modellen (bijv. BiomedBERT) presteren slecht op algemene domein-ontologieën, wat suggereert dat gespecialiseerde pretraining embeddings richting lokale semantische patronen biasert, wat cross-domein generalisatie hindert.
LLM-Augmented Retrieval: Het toepassen van LLM's om kandidaat-ouders te genereren vóór de retrieval verhoogt de prestaties van taxonomy discovery aanzienlijk (een gemiddelde stijging in recall van 14–16%), wat de effectiviteit van hybride benaderingen aantoont.

2. Structurele Mismatch en Foutmodi

De studie onthult dat foutmodi in OL ontologie-bepaald zijn in plaats van model-bepaald.

Embedding Anisotropy: In dichte, compositionele ontologieën (bijv. Gene Ontology) klappen embeddings in, waardoor onderscheidende hiërarchische niveaus (bijv. "regulation of cell migration" vs. "cell migration") bijna identieke vectoren ruimtes bezetten. Deze "semantische verzadiging" voorkomt dat embeddings implicatie onderscheiden van louter verwantschap.
Kalibratie en Error Bias: Modellen vertonen systematische fouten-biases afhankelijk van de ontologie-structuur (bijv. over-voorspelling op Gene Ontology, onder-voorspelling op Materials Data Science Ontology). Kalibratie blijkt een model $\times$ domein interactie te zijn, en geen intrinsieke model-eigenschap.
Output Discipline: Instructie-getunede modellen presteren consequent beter dan redenerings-geoptimaliseerde ("Thinking") varianten op gestructureerde extractie-taken. De strikte schema-compliance die vereist is voor OL geeft de voorkeur aan output discipline boven open-ended chain-of-thought redenering.

3. Memorisatie versus Structurele Alignment

Analyse van perplexiteit in resource-rijke domeinen (bijv. Eenheden & Metingen) versus resource-arme domeinen (bijv. Financiën) suggereert dat sterke prestaties in sommige gebieden voortkomen uit data-memorizatie, terwijl in andere gebieden dit reflecteert op structurele taak-domein compatibiliteit. De primaire bottleneck blijft echter het onvermogen van huidige modellen om de transitieve afsluiting (transitive closure) en rooster-consistentie (lattice consistency) die vereist zijn voor hiërarchisch redeneren op schaal, natief te coderen.

Betekenis en Claims

Het artikel claimt dat OntoLearner de eerste verenigde infrastructuur biedt die in staat is tot het grondig maken, integreren en systematisch evalueren van geautomatiseerd ontologie-leren over methoden en domeinen heen. De betekenis ligt in:

Herformulering van de Centrale Uitdaging: De bevindingen suggeren dat de bottleneck in OL niet de modelcapaciteit (grootte of architectuur) is, maar een structurele mismatch tussen hoe modellen kennis coderen en hoe ontologieën kennis organiseren.
Standaardisatie: Door 180 ontologieën te voorzien van gestandaardiseerde splits en metrieken, maakt OntoLearner reproduceerbare wetenschappelijke evaluatie mogelijk, waardoor het veld verschuift van exploratieve prototyping naar betrouwbare, AI-ondersteunde ontologie-engineering.
Hybride Leefbaarheid: Het framework valideert dat effectief OL een geprincipeerde combinatie van retrieval en generatie vereist (hybride workflows), in plaats van te vertrouwen op single-method oplossingen.
Community Resource: Als een open-source (MIT licentie) bibliotheek met uitgebreide documentatie en integratie met HuggingFace en GitHub, dient het als een standaard instrument voor semantic web en machine learning onderzoekers om toekomstige OL-methoden te benchmarken en te ontwikkelen.

De auteurs concluderen dat effectief ontologie-leren bereikbaar is via de cross-domein, multi-task benchmarking die deze infrastructuur mogelijk maakt, mits toekomstige architecturen de geïdentificeerde structurele mismatches in de embedding-ruimte adresseren.