Embedding Ontologies via Incorporating Extensional and Intensional Knowledge

Das Paper stellt EIKE vor, ein neuartiges Framework zur Ontologie-Embedding, das durch die gleichzeitige Modellierung von extensionalem Wissen mittels geometrischer Methoden und intensionalem Wissen durch vortrainierte Sprachmodelle den aktuellen State-of-the-Art in Bezug auf Triple-Klassifikation und Link-Vorhersage übertrifft.

Das Wesentliche

Stell dir vor, du möchtest ein riesiges, komplexes Wissen über die Welt in einen Computer laden. Ein Ontologie (ein Begriff aus der Informatik) ist wie eine riesige, digitale Bibliothek oder ein super-detaillierter Stammbaum, der nicht nur Namen von Dingen enthält, sondern auch, wie diese Dinge zusammenhängen.

Das Problem: Bisherige Computer-Methoden, um dieses Wissen zu verstehen, waren wie ein einäugiger Riese. Sie sahen entweder nur die konkreten Dinge (die Bücher auf dem Regal) oder nur die Regeln und Beschreibungen (das Inhaltsverzeichnis), aber selten beides gleichzeitig gut.

Die Autoren dieses Papers haben eine neue Methode namens EIKE entwickelt. Hier ist die Erklärung in einfachen Worten mit ein paar kreativen Vergleichen:

1. Das Problem: Zwei Welten, die nicht reden

In einer Ontologie gibt es zwei Arten von Wissen:

• Erweiterndes Wissen (Extensional): Das sind die konkreten Beispiele. Beispiel: "Max ist ein Hund", "Fido ist ein Hund". Das sind die einzelnen Punkte auf einer Landkarte.
• Intensionales Wissen (Intensional): Das sind die Regeln und Eigenschaften. Beispiel: "Ein Hund ist ein Tier", "Hunde haben vier Beine und bellen". Das ist die Beschreibung der Gegend auf der Landkarte.

Bisherige Methoden haben oft nur eine dieser Seiten betrachtet. Entweder sie haben die Punkte gut verstanden, aber nicht die Regeln, oder sie haben die Regeln verstanden, aber die Punkte waren nur verwirrende Flecken.

2. Die Lösung: EIKE – Der Zweikammer-Kopf

Die Forscher sagen: "Warum versuchen wir nicht, beides in zwei verschiedenen Räumen zu speichern, die trotzdem miteinander verbunden sind?"

Stell dir EIKE wie einen Zweikammer-Kopf vor:

• Kammer 1: Der "Geometrie-Raum" (für die konkreten Dinge)
  Hier werden die Dinge wie auf einer Landkarte dargestellt.

  • Konzepte (wie "Hund") sind keine Punkte, sondern Gebiete (wie ein Kreis oder eine Ellipse).
  • Individuen (wie "Max") sind Punkte, die innerhalb dieses Gebiets liegen müssen.
  • Der Vorteil: Wenn "Max" im Kreis "Hund" liegt, weiß der Computer sofort: "Aha, Max ist ein Hund!" Das ist sehr gut für konkrete Fakten.

• Kammer 2: Der "Sprach-Raum" (für die Regeln)
  Hier nutzen die Forscher eine moderne KI (ein vortrainiertes Sprachmodell, ähnlich wie die Technik hinter Chatbots), die Texte versteht.

  • Sie lesen die Beschreibungen von Konzepten (z. B. "Ein Hund ist ein treues Haustier mit Fell").
  • Die KI wandelt diese Wörter in eine Art Wortwolke oder Vektor um, die die Bedeutung und die Eigenschaften einfängt.
  • Der Vorteil: Der Computer versteht, dass "Hund" und "Welpen" semantisch ähnlich sind, weil sie ähnliche Wörter in ihrer Definition haben.

3. Wie sie zusammenarbeiten: Der Brückenbauer

Das Geniale an EIKE ist, dass diese beiden Räume nicht isoliert sind.

• Der Computer lernt in Kammer 1, wo die Punkte liegen müssen.
• Gleichzeitig lernt er in Kammer 2, was die Begriffe bedeuten.
• Eine kleine "Brücke" (eine mathematische Formel) sorgt dafür, dass das, was in der Geometrie-Raum passiert, mit dem, was im Sprach-Raum passiert, übereinstimmt.

Ein Analogie-Vergleich:
Stell dir vor, du willst einen neuen Schüler in einer Schule kennenlernen.

• Die Geometrie-Methode sagt dir nur: "Der Schüler sitzt im Klassenzimmer 5." (Konkret, aber wenig über die Person).
• Die Sprach-Methode sagt dir: "Der Schüler mag Mathematik und ist sehr hilfsbereit." (Gut für die Persönlichkeit, aber wo sitzt er?).
• EIKE kombiniert beides: "Der Schüler sitzt im Klassenzimmer 5 (Geometrie) UND er ist ein Mathe-Genie (Sprache)." Jetzt hast du ein vollständiges Bild.

4. Das Ergebnis: Warum ist das besser?

Die Forscher haben EIKE an drei großen Datensätzen getestet (wie YAGO, eine riesige Wissensdatenbank).

• Ergebnis: EIKE war deutlich besser als alle bisherigen Methoden.
• Warum? Weil es nicht nur die "Adressen" der Dinge kennt, sondern auch deren "Charakter". Es kann besser vorhersagen, ob eine Aussage wahr ist (z. B. "Ist Max ein Hund?") oder welche Verbindung zwischen Dingen fehlt (Link Prediction).

Zusammenfassung

EIKE ist wie ein smarter Bibliothekar, der nicht nur die Bücher auf den Regalen zählt (konkretes Wissen), sondern auch die Zusammenfassungen auf den Buchrücken liest (abstraktes Wissen). Indem er beides in zwei verschiedenen, aber verbundenen Räumen verarbeitet, versteht er die Welt der Daten viel genauer und vollständiger als seine Vorgänger.

Das Ziel der Zukunft? Noch mehr Arten von Beziehungen zu verstehen und vielleicht sogar noch mächtigere KI-Modelle (wie Graph-Neural-Networks) einzusetzen, um diese "Gebiete" noch präziser zu zeichnen.

Technische Zusammenfassung

1. Problemstellung

Ontologien enthalten zwei fundamentale Arten von Wissen:

• Intensionales Wissen (Terminologisches Wissen): Beschreibt die allgemeinen Eigenschaften, Merkmale und semantischen Beziehungen zwischen Konzepten (z. B. Hierarchien wie SubClassOf).
• Extensionales Wissen (Assertorisches Wissen): Bezieht sich auf konkrete Instanzen (Individuen) und deren Zuordnung zu Konzepten (z. B. InstanceOf) sowie Beziehungen zwischen diesen Instanzen.

Das Kernproblem: Bestehende Ansätze für Ontologie-Embeddings scheitern daran, beide Wissensarten gleichzeitig und umfassend zu berücksichtigen.

• Geometrie-basierte Methoden (z. B. TransC, TransEllipsoid) modellieren das extensionale Wissen gut, ignorieren aber oft die inhärenten textuellen Eigenschaften der Konzepte (intensionales Wissen).
• Methoden, die Textinformationen nutzen (z. B. OWL2Vec*, Concept2Vec), erfassen zwar die Intensionalität, können aber das extensionale Wissen (die Beziehung zwischen Instanzen und Konzepten) oft nicht präzise genug unterscheiden oder modellieren, da sie Konzepte und Instanzen oft nicht klar trennen.

2. Methodik: EIKE (Extensional and Intensional Knowledge Embedding)

Die Autoren schlagen EIKE vor, ein Framework, das Ontologien in zwei getrennten, aber verknüpften Räumen repräsentiert: dem Extensionalen Raum und dem Intensionalen Raum.

A. Repräsentation in zwei Räumen

1. Extensionaler Raum (Geometrische Modellierung):

   • Ziel: Modellierung des extensionalen Wissens (Instanzen und ihre Zugehörigkeit).
   • Ansatz: Konzepte werden als ellipsoide Regionen ($G(c, b)$) und Instanzen als Punktevektoren dargestellt.
   • Mechanismus: Eine Instanz $i$ gehört zu einem Konzept $c$, wenn ihr Vektor innerhalb der Ellipse von $c$ liegt. Dies ermöglicht die Erfassung von Hierarchien (SubClassOf) und Instanz-Zuordnungen (InstanceOf) durch geometrische Distanzen.
   • Formel: Die Distanz wird durch eine normalisierte quadratische Form berechnet, die sicherstellt, dass Instanzen innerhalb der Konzeptsregion liegen.

2. Intensionaler Raum (Textuelle Modellierung):

   • Ziel: Modellierung des intensionalen Wissens (semantische Eigenschaften und Merkmale der Konzepte).
   • Ansatz: Nutzung eines vortrainierten Sprachmodells (Pre-trained Language Model, PLM), spezifisch Sentence-BERT.
   • Mechanismus: Die Namen und Beschreibungen der Konzepte werden in den PLM eingespeist, um dichte Vektoren zu erzeugen, die die semantische Bedeutung und die inhärenten Eigenschaften der Konzepte kodieren.
   • Verknüpfung: Um eine gemeinsame Optimierung zu ermöglichen, werden die Vektoren der Instanzen aus dem extensionalen Raum über eine Abbildungsmatrix ($M_{ei}$) in den intensionalen Raum projiziert, um „virtuelle Instanz-Embeddings" zu erzeugen.

B. Scoring-Funktionen und Verlustfunktionen

Für die drei Arten von Tripeln werden spezifische Verlustfunktionen definiert, die eine gewichtete Summe aus den Verlusten beider Räume darstellen (mit einem Hyperparameter $\alpha$):

• InstanceOf-Tripel: Kombination aus geometrischer Einbettung (Punkt innerhalb der Ellipse) und semantischer Ähnlichkeit (Cosine-Similitude zwischen virtuellem Instanz-Vektor und Konzept-Vektor).
• SubClassOf-Tripel:
  • Extensional: Die Ellipse des Unterkonzepts muss eine Teilmenge der Ellipse des Oberkonzepts sein.
  • Intensional: Hohe semantische Ähnlichkeit zwischen den Konzepten, wobei das Oberkonzept eine größere Vektor-Norm haben soll (da es abstrakter und umfassender ist).
• Relationale Tripel (Instanz-zu-Instanz): Wird nur im extensionalen Raum mit dem TransE-Modell ($h + r \approx t$) berechnet.

C. Training

Das Modell wird durch Minimierung einer kombinierten Verlustfunktion trainiert, die Margin-basierte Ranking-Verluste für alle drei Tripel-Typen umfasst. Negative Beispiele werden durch Korruption der Tripel (Uniform oder Bernoulli Verteilung) generiert.

3. Schlüsselbeiträge

1. Dualer Raum-Ansatz: EIKE ist der erste Ansatz, der extensionales und intensionales Wissen explizit in zwei unterschiedlichen Räumen (geometrisch vs. textbasiert) modelliert und diese dann fusioniert.
2. Integration von PLMs: Die Nutzung von vortrainierten Sprachmodellen zur Kodierung intensionalen Wissens ermöglicht eine tiefere Erfassung der semantischen Eigenschaften von Konzepten, die rein geometrische Methoden verpassen.
3. Unterscheidung von Konzepten und Instanzen: Im Gegensatz zu vielen früheren Ansätzen, die Konzepte und Instanzen vermischen, behandelt EIKE sie als unterschiedliche Entitätstypen mit spezifischen Repräsentationsformen (Regionen vs. Punkte).
4. Umfassende Evaluierung: Das Framework wurde auf drei Datensätzen (YAGO39K, M-YAGO39K, DB99K-242) getestet und zeigt überlegene Leistung bei Triple-Klassifikation und Link Prediction.

4. Ergebnisse

Die Experimente wurden auf drei Datensätzen durchgeführt und mit 13 State-of-the-Art-Methoden (einschließlich TransE, TransC, TransEllipsoid, Concept2Vec, OWL2Vec*) verglichen.

• Triple-Klassifikation: EIKE übertrifft in den meisten Szenarien alle Baselines signifikant.
  • Auf YAGO39K und M-YAGO39K erreicht die Variante EIKE-PRE-EYE (unif) (mit PLM und Identitäts-Matrix) die besten Ergebnisse bei InstanceOf und SubClassOf Klassifikation (z. B. ~89% Genauigkeit bei InstanceOf auf YAGO39K).
  • Die Verwendung des vortrainierten Modells (PRE) führt zu besseren Ergebnissen als die Initialisierung mit zufälligen Matrizen (UNP), was die Wichtigkeit der textuellen Kodierung unterstreicht.
• Link Prediction: EIKE erzielt ebenfalls Spitzenwerte, insbesondere bei den Metriken Hits@10, Hits@1 und MRR.
  • Auf DB99K-242 erreicht EIKE-PRE-EYE (unif) eine F1-Score von 92,29% bei relationalen Tripeln, was nahe an den besten bestehenden Methoden liegt, aber mit dem Vorteil der besseren semantischen Modellierung.
• Transitivität: Das Modell bewahrt die Transitivität der isA-Beziehung sowohl im geometrischen als auch im semantischen Raum, auch wenn der Effekt in M-YAGO39K (mit zusätzlichen transitiven Tripeln) etwas schwächer ausfällt als bei rein geometrischen Methoden.

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass eine getrennte, aber integrierte Modellierung von strukturellen (geometrischen) und textuellen (semantischen) Aspekten von Ontologien zu robusteren und aussagekräftigeren Embeddings führt. Dies verbessert Anwendungen wie semantische Suche, Schlussfolgerungen (Reasoning) und die Klassifizierung von Entitäten.

Zukünftige Arbeiten:
Die Autoren planen, das Framework zu erweitern, um weitere Relationstypen (z. B. SubPropertyOf, Domänen- und Bereichsbeschränkungen) zu modellieren. Zudem wird die Erforschung von Graph Neural Networks (GNNs) als Alternative zu den geometrischen Regionen zur Modellierung des extensionalen Wissens in Erwägung gezogen, um die Ausdruckskraft weiter zu steigern.

Fazit: EIKE bietet einen umfassenden und repräsentativen Blickwinkel auf Domänenwissen, indem es die Stärken geometrischer Modellierung und moderner Sprachmodelle vereint, um die Lücke zwischen strukturellen und textuellen Ontologie-Komponenten zu schließen.