Embedding Ontologies via Incorporating Extensional and Intensional Knowledge

Dit artikel introduceert EIKE, een nieuw raamwerk voor het inbedden van ontologieën dat zowel extensionele kennis (instanties) als intensionele kennis (conceptuele eigenschappen) tegelijkertijd verwerkt door respectievelijk geometrische methoden en voorgeprogrammeerde taalmodellen te combineren, wat leidt tot superieure prestaties bij taakken zoals linkvoorspelling en triple-classificatie.

De kern

Stel je voor dat je een enorme, digitale bibliotheek bouwt. In deze bibliotheek staan niet alleen boeken, maar ook de regels die zeggen wat een boek is, en de specifieke voorbeelden van boeken die er echt zijn.

Dit artikel over EIKE (een slimme manier om kennis op te slaan) gaat over hoe we deze bibliotheek het beste kunnen organiseren zodat een computer er echt iets van begrijpt.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: Twee soorten kennis, één probleem

In een digitale bibliotheek (een 'ontologie') zit kennis van twee soorten:

• De "Wat is het?" kennis (Intensioneel): Dit zijn de regels en definities. Bijvoorbeeld: "Een hond is een dier" of "Alle honden hebben een staart." Dit is de theorie.
• De "Wie is het?" kennis (Extensioneel): Dit zijn de echte voorbeelden. Bijvoorbeeld: "Fido is een hond" of "Bella is een kat." Dit is de praktijk.

Het probleem: Bestaande slimme computers (modellen) zijn vaak goed in het ene, maar slecht in het andere.

• Sommige modellen zijn als een architect: Ze zijn fantastisch in het tekenen van de regels (de theorie), maar ze vergeten wie de echte bewoners zijn.
• Andere modellen zijn als een fotograaf: Ze zien alle bewoners (Fido, Bella), maar ze begrijpen niet dat Fido eigenlijk een hond is en dat honden dieren zijn.

Ze proberen vaak alles in één grote, rommelige ruimte te stoppen, waardoor de computer de nuance mist.

2. De Oplossing: EIKE (Twee aparte kamers)

De auteurs van dit papier zeggen: "Laten we twee aparte kamers maken in ons digitale huis."

Deze methode heet EIKE. Het verdeelt de kennis in twee specifieke ruimtes:

Kamer 1: De "Vormen-kamer" (Extensionele Ruimte)

Hier gaan we de echte voorbeelden (Fido, Bella) en de regels opslaan als geometrische vormen.

• De Analogie: Stel je een "Hond"-gebied voor als een grote, ovale bal in de ruimte.
• Hoe het werkt: Als Fido een hond is, moet hij als een klein puntje binnen die ovale bal zitten. Als er een nieuwe hond komt, moet die ook binnen die bal passen.
• Dit helpt de computer om te zien wie bij wie hoort, puur op basis van positie en vorm.

Kamer 2: De "Woorden-kamer" (Intensionele Ruimte)

Hier gaan we de betekenis en eigenschappen opslaan.

• De Analogie: Stel je voor dat je een slimme vertaler (een AI die al miljoenen boeken heeft gelezen) hebt. Deze vertaler leest de beschrijving van "Hond" en "Dier".
• Hoe het werkt: De computer kijkt naar de tekst: "Een hond is een trouw dier dat blaft." De slimme vertaler maakt een soort "geestelijke kaart" van deze woorden. Omdat de tekst van "Hond" en "Dier" veel op elkaar lijkt, worden ze in deze kamer dicht bij elkaar geplaatst.
• Dit helpt de computer om te begrijpen waarom iets een hond is, gebaseerd op de betekenis van de woorden.

3. Hoe werken ze samen?

Het magische van EIKE is dat deze twee kamers samenwerken.

• De computer kijkt eerst naar de Vormen-kamer: "Is Fido binnen de Hond-balk?" (Ja/Nee).
• Dan kijkt hij naar de Woorden-kamer: "Klinkt de beschrijving van Fido als die van een hond?" (Ja/Nee).
• Door beide antwoorden te combineren, krijgt de computer een veel completer en accurater beeld. Het is alsof je iemand niet alleen herkent aan zijn pasfoto (de vorm), maar ook aan zijn stem en verhaal (de betekenis).

4. Wat leverde dit op?

De auteurs hebben hun nieuwe methode getest op drie grote databases (YAGO, M-YAGO en DB99K).

• Resultaat: EIKE deed het veel beter dan alle andere slimme methoden die er nu zijn.
• Waarom? Omdat het niet alleen kijkt naar de structuur (wie zit waar), maar ook naar de tekst (wat betekent het). Het combineert de kracht van een architect en een vertaler.

Samenvattend in één zin:

In plaats van te proberen alles in één grote, chaotische doos te proppen, heeft EIKE twee gespecialiseerde kamers gebouwd: één voor de vormen (wie hoort waar bij) en één voor de betekenis (wat zeggen de woorden), waardoor de computer de wereld veel slimmer en menselijker kan begrijpen.

Technische samenvatting

Probleemstelling

Ontologieën bevatten rijke domeinkennis die traditioneel in twee categorieën wordt onderverdeeld:

1. Extensionele kennis (Assertional Knowledge): Betreft concrete instanties en hun toewijzing aan specifieke concepten (bijv. "John is een Mens").
2. Intensionele kennis (Terminological Knowledge): Beschrijft de inherente eigenschappen, kenmerken en semantische relaties tussen concepten zelf (bijv. "Een Mens is een Subklasse van Dier").

Bestaande methoden voor het inbedden (embedding) van ontologieën falen vaak omdat ze deze twee kennissoorten niet gelijktijdig en adequaat modelleren:

• Geometrische methoden (zoals TransC, TransEllipsoid) modelleren extensionele kennis goed door concepten als ruimtelijke regio's en instanties als punten te behandelen, maar missen vaak de nuance van tekstuele informatie en inherente concept-eigenschappen.
• Methoden gebaseerd op taalmodellen (zoals OWL2Vec*) kunnen intensionele kennis goed vastleggen via tekst, maar onderscheiden vaak niet duidelijk tussen concepten en instanties, waardoor extensionele kennis slecht wordt gemodelleerd.

Er is dus behoefte aan een raamwerk dat beide kennissoorten simultaan en gescheiden kan verwerken om een compleetere representatie van het domein te bieden.

Methodologie: EIKE

De auteurs stellen EIKE (Extensional and Intensional Knowledge Embedding) voor, een nieuw raamwerk dat ontologieën representeert in twee distincte ruimtes:

1. De Extensionele Ruimte (Geometrische Modelling)

• Doel: Modelleren van de structuur van instanties en hun relaties met concepten.
• Representatie:
  • Concepten worden weergegeven als ellipsoïden (ruimtelijke regio's) in een vectorruimte. Dit houdt rekening met anisotropie (richtingsafhankelijkheid) van concepten.
  • Instanties worden weergegeven als puntvectoren.
  • Een instantie $i$ behoort tot een concept $c$ als het punt $i$ binnen de ellipsoïde $G_c$ valt.
• Scoring: De score voor een InstanceOf-tripel wordt bepaald door de afstand van het punt tot het centrum van de ellipsoïde, genormaliseerd door de aslengtes. SubClassOf-relaties worden gemodelleerd door de ellipsoïde van het sub-concept volledig binnen die van het super-concept te laten vallen.

2. De Intensionele Ruimte (Taalgebaseerde Modelling)

• Doel: Modelleren van de inherente eigenschappen en semantische associaties van concepten op basis van tekst.
• Representatie:
  • Concepten worden weergegeven als puntvectoren die worden gegenereerd door een voorgeprogrammeerd taalmodel (Sentence-BERT). De input is de naam van het concept en eventueel de beschrijving.
  • Instanties krijgen hier een "virtuele" representatie door de extensionele instantie-vector te projecteren via een transformatiematrix ($M_{ei}$).
• Scoring: De semantische gelijkenis tussen concepten wordt gemeten via cosinus-achtige afstanden. Voor SubClassOf wordt aangenomen dat het super-concept een grotere vectorlengte heeft (meer abstractie) en een hoge gelijkenis met het sub-concept vertoont.

3. Gezamenlijke Training (Joint Training)

Het model combineert beide ruimtes via een gezamenlijke verliesfunctie ($L$) die bestaat uit drie componenten:

• $L_{sub}$: Verlies voor SubClassOf-tripels (combinatie van geometrische inclusie en tekstuele gelijkenis).
• $L_{ins}$: Verlies voor InstanceOf-tripels (combinatie van punt-in-regio en tekstuele gelijkenis).
• $L_{rel}$: Verlies voor relationele tripels tussen instanties (gebaseerd op het TransE-model, alleen in de extensionele ruimte).

De transmissiviteit van de isA-relatie wordt in beide ruimtes behouden.

Kernbijdragen

1. Dual-Space Raamwerk: EIKE is de eerste methode die extensionele en intensionele kennis expliciet in twee verschillende ruimtes inbedt voor gezamenlijke representatielering.
2. Hybride Encoding: Het introduceert een innovatieve aanpak waarbij een voorgeprogrammeerd taalmodel wordt gebruikt om intensionele kennis te coderen, terwijl geometrische methoden de structuur van instanties vastleggen.
3. Verbeterde Representatie: Door zowel structurele als tekstuele informatie te integreren, biedt EIKE een vollediger perspectief op het domein dan bestaande methoden.
4. Empirische Validatie: Uitgebreide experimenten op drie datasets (YAGO39K, M-YAGO39K, DB99K-242) tonen aan dat de methode state-of-the-art prestaties behaalt.

Resultaten

De auteurs hebben EIKE getest op drie datasets en vergeleken met 13 state-of-the-art baselines (zoals TransE, TransC, TransEllipsoid, Concept2Vec, etc.).

• Triple Classificatie:
  • EIKE presteert significant beter dan alle baselines bij het classificeren van InstanceOf- en SubClassOf-tripels.
  • De variant EIKE-PRE-EYE (unif) (met pre-trained encoder en identiteitsmatrix) behaalde de beste resultaten, met name op YAGO39K en M-YAGO39K.
  • Op DB99K-242 (waar intensionele kennis schaarser is) was het voordeel van de pre-trained encoder minder groot, maar het model bleef competitief.
• Link Prediction:
  • Voor relationele tripels (Link Prediction) behaalde EIKE resultaten die vergelijkbaar zijn met of beter zijn dan de beste bestaande methoden (bijv. TransEllipsoid, JECI).
  • De methode toonde met name sterke verbeteringen op de metrics Hits@10, Hits@1 en MRR.
• Ablatie Studies:
  • Het gebruik van een pre-trained taalmodel (PRE) bleek superieur aan willekeurige initialisatie (UNP) voor datasets met rijke tekstuele beschrijvingen.
  • Een vaste identiteitsmatrix (EYE) voor het projecteren van instanties naar de intensionele ruimte bleek effectiever dan een leerbare normale matrix (MAT).

Significantie

Dit onderzoek is significant omdat het een fundamentele beperking in bestaande ontologie-embedding methoden oplost: de scheiding tussen structuur (instanties) en betekenis (concept-eigenschappen). Door deze twee aspecten in gespecialiseerde ruimtes te modelleren en ze vervolgens te fuseren, creëert EIKE embeddings die zowel de hiërarchische structuur van een kennisgraf als de semantische nuance van de concepten vastleggen. Dit leidt tot robuustere modellen voor taken zoals kennisgraf-completie, redenering en semantische zoekopdrachten. De aanpak opent de weg voor toekomstig werk gericht op het modelleren van complexere relaties (zoals domein en bereik) en het gebruik van geavanceerdere netwerken (zoals GNN's) voor extensionele kennis.