Embedding Ontologies via Incorporating Extensional and Intensional Knowledge

Cet article présente EIKE, une nouvelle approche d'embedding d'ontologies qui intègre simultanément les connaissances extensionnelles et intensionnelles via un cadre unifié combinant une méthode géométrique et un modèle de langage préentraîné, surpassant ainsi les méthodes actuelles dans les tâches de classification de triplets et de prédiction de liens.

L'essentiel

🌟 Le Titre : "Donner une âme et un corps aux connaissances"

Imaginez que vous voulez enseigner à un robot comment fonctionne le monde. Vous lui donnez un manuel (les règles) et une liste d'exemples (les faits). C'est ce qu'on appelle une ontologie en informatique : une carte des connaissances d'un domaine (comme la biologie, l'histoire ou les films).

Le problème, c'est que les anciennes méthodes pour enseigner à ce robot étaient un peu maladroites :

1. Soit elles se concentraient trop sur les règles (la théorie), mais ignoraient les exemples concrets.
2. Soit elles se focalisaient sur les exemples, mais ne comprenaient pas la logique derrière les règles.

Les auteurs de ce papier, Keyu Wang et son équipe, ont créé une nouvelle méthode appelée EIKE. Leur idée géniale ? Ne pas essayer de tout mettre dans un seul sac, mais utiliser deux espaces distincts pour apprendre au robot, comme s'il avait deux cerveaux qui travaillent ensemble.

---

🏠 L'Analogie des Deux Maisons

Pour comprendre EIKE, imaginez que nous construisons deux maisons pour stocker les connaissances :

1. La Maison des "Choses Concrètes" (L'Espace Extensionnel) 🏗️

C'est la maison des faits, des objets et des individus.

• L'idée : Imaginez que chaque concept (comme "Animal" ou "Voiture") est une pièce géométrique (une sphère, un ellipsoïde) dans cette maison.
• Les individus : Les exemples concrets (comme "Fido" le chien ou "Ma voiture rouge") sont des points à l'intérieur de ces pièces.
• Le but : Si "Fido" est un point à l'intérieur de la pièce "Chien", et que la pièce "Chien" est à l'intérieur de la pièce "Animal", alors le robot comprend logiquement que Fido est un Animal. C'est de la géométrie pure.

2. La Maison des "Idées et Définitions" (L'Espace Intensionnel) 📚

C'est la maison du sens, des mots et des définitions.

• L'idée : Ici, on ne regarde pas les formes géométriques, mais on lit les livres. On utilise une technologie très puissante (un modèle de langage pré-entraîné, comme un super-Google qui a lu tout Wikipédia) pour comprendre ce que signifient les mots.
• Le but : Le robot comprend que "Chien" et "Loup" sont proches parce que leurs définitions textuelles sont similaires, même s'ils n'ont pas de relation directe dans la liste des faits. C'est de la sémantique pure.

---

🤝 La Magie : La Réunion des Deux Maisons

Le génie de la méthode EIKE, c'est qu'elle ne choisit pas entre les deux maisons. Elle les fait travailler ensemble !

• Le pont : Ils créent un petit pont entre les deux maisons. Les points (les individus) de la maison géométrique sont envoyés dans la maison des idées pour être "vérifiés" par le texte.
• L'entraînement : Le robot apprend en même temps :
  1. À placer les points dans les bonnes pièces géométriques (pour respecter les règles).
  2. À comprendre les nuances des mots (pour saisir le sens).

C'est comme si vous appreniez une langue : vous apprenez la grammaire (les règles géométriques) ET vous lisez des romans (le sens textuel) en même temps. Résultat ? Vous devenez bien plus fluide et précis.

---

🏆 Les Résultats : Qui a gagné ?

Les chercheurs ont testé leur méthode sur trois grands jeux de données (YAGO, M-YAGO, DB99K), qui sont comme des bibliothèques géantes de connaissances.

• Le verdict : EIKE a battu tous les champions précédents (les anciennes méthodes) sur presque tous les tests.
• Pourquoi ? Parce qu'en combinant la géométrie (la structure) et le texte (le sens), le robot a une vision beaucoup plus complète et nuancée du monde. Il ne se trompe plus aussi souvent quand il doit deviner un lien manquant ou classer un nouvel objet.

🚀 En Résumé

Imaginez que vous voulez expliquer ce qu'est un "Chat" à un alien :

• L'ancienne méthode lui montrait une photo de chat et disait "C'est ça". (Méthode purement factuelle).
• Une autre méthode lui lisait la définition du dictionnaire. (Méthode purement textuelle).
• La méthode EIKE lui montre la photo, lui explique que le chat est un animal domestique, lui dit que les chats aiment le lait, et lui montre que le chat est un cousin du lion.

C'est cette approche hybride et complète qui rend la nouvelle méthode si performante. C'est une avancée majeure pour rendre les intelligences artificielles plus intelligentes et plus humaines dans leur compréhension du monde.

Résumé technique

1. Problématique

Les ontologies (comme YAGO, WordNet, BioPortal) contiennent deux types de connaissances distincts mais complémentaires :

• Connaissances extensionnelles (assertionnelles) : Elles décrivent les instances concrètes d'un domaine et leurs relations spécifiques (ex: "John est une instance de Personne").
• Connaissances intensionnelles (terminologiques) : Elles définissent les propriétés inhérentes, les caractéristiques et les relations sémantiques générales entre les concepts (ex: "Personne est une sous-classe d'Animal").

Le problème : Les méthodes d'incorporation d'ontologies (Ontology Embedding) existantes échouent à traiter simultanément ces deux types de connaissances de manière optimale.

• Les approches basées sur la géométrie (ex: TransC, TransEllipsoid) modélisent bien les relations extensionnelles (instances et régions de concepts) mais négligent les informations textuelles et les propriétés inhérentes des concepts (connaissances intensionnelles).
• Les approches basées sur le texte ou les graphes (ex: OWL2Vec*, Concept2Vec) capturent mal la distinction entre concepts et instances ou ignorent la structure géométrique des instances.

L'objectif est donc de créer un cadre unifié capable de représenter à la fois la structure des instances et la sémantique textuelle des concepts.

2. Méthodologie : Le modèle EIKE

Les auteurs proposent une nouvelle méthode nommée EIKE (Extensional and Intensional Knowledge Embedding). L'approche repose sur la représentation de l'ontologie dans deux espaces vectoriels distincts :

A. Espace Extensionnel (Modélisation Géométrique)

Cet espace capture les connaissances sur les instances et leurs appartenances.

• Représentation :
  • Les concepts sont modélisés comme des régions géométriques (spécifiquement des ellipsoïdes) définies par un centre et des demi-axes.
  • Les instances sont représentées par des vecteurs de points.
• Logique : Une instance appartient à un concept si son vecteur se trouve à l'intérieur de la région géométrique du concept.
• Relations :
  • InstanceOf : L'instance doit être contenue dans l'ellipsoïde du concept.
  • SubClassOf : L'ellipsoïde du concept fils doit être un sous-ensemble de l'ellipsoïde du concept parent.
  • Relations relationnelles : Utilise le modèle TransE classique pour les relations entre instances.

B. Espace Intensionnel (Modélisation par Langage)

Cet espace capture les propriétés sémantiques et textuelles des concepts.

• Représentation :
  • Les concepts sont encodés en vecteurs à l'aide d'un modèle de langage pré-entraîné (Sentence-BERT). L'entrée est le nom du concept ou une concaténation du nom et de sa description.
  • Les instances dans cet espace sont des "instances virtuelles" obtenues par une transformation linéaire des vecteurs d'instances de l'espace extensionnel (pour permettre l'entraînement conjoint).
• Logique : La similarité sémantique entre deux concepts (ex: parent/enfant) est mesurée par la similarité cosinus de leurs vecteurs textuels. La longueur du vecteur du concept parent est supposée plus grande que celle du concept enfant pour refléter l'abstraction.

C. Fonction de Score et Entraînement

Le modèle utilise des fonctions de perte distinctes pour chaque type de triplet (InstanceOf, SubClassOf, Relationnel), combinant les scores des deux espaces.

• Fonction de perte InstanceOf : Somme de la distance géométrique (dans l'espace extensionnel) et de la dissimilarité textuelle (dans l'espace intensionnel).
• Fonction de perte SubClassOf : Combinaison de la relation d'inclusion des ellipsoïdes et de la similarité textuelle + différence de norme des vecteurs.
• Entraînement conjoint : Les deux espaces sont entraînés simultanément via une fonction de perte globale, permettant aux connaissances d'un espace d'influencer l'autre.

3. Contributions Clés

1. Cadre Dual : Première proposition d'un cadre séparant explicitement l'apprentissage des connaissances extensionnelles et intensionnelles dans deux espaces distincts mais connectés.
2. Utilisation des LLM : Intégration innovante d'un modèle de langage pré-entraîné (PLM) pour encoder les connaissances intensionnelles, permettant de capturer les nuances textuelles que les méthodes purement structurelles ignorent.
3. Représentation Hybride : Combinaison réussie de méthodes géométriques (pour la structure des instances) et de méthodes textuelles (pour la sémantique des concepts).
4. Préservation de la Transitivité : Le modèle maintient la transitivité des relations isA (InstanceOf et SubClassOf) à travers les deux espaces.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données : YAGO39K, M-YAGO39K et DB99K-242.

• Tâches : Classification de triplets (InstanceOf, SubClassOf, Relationnel) et Prédiction de liens (Link Prediction).
• Comparaison : EIKE a été comparé à 13 méthodes de l'état de l'art (TransE, TransH, TransC, TransEllipsoid, Concept2Vec, etc.).
• Performance :
  • EIKE surpasse significativement les méthodes existantes sur les tâches de classification de triplets (InstanceOf et SubClassOf) sur tous les jeux de données.
  • La variante utilisant le modèle pré-entraîné (EIKE-PRE) et une matrice d'identité pour la projection (EYE) obtient les meilleurs résultats, démontrant l'importance de l'encodage textuel.
  • Pour la prédiction de liens (triplets relationnels), EIKE atteint des performances comparables ou supérieures aux méthodes de pointe (ex: TransEllipsoid, JECI), prouvant que l'enrichissement par les connaissances intensionnelles aide même la modélisation des relations entre instances.

5. Signification et Conclusion

L'article démontre qu'une représentation complète d'une ontologie nécessite de ne pas traiter les instances et les concepts de manière isolée, ni de se fier uniquement à la structure du graphe.

• Impact : La méthode EIKE offre une perspective plus complète et représentative du domaine en fusionnant la logique géométrique (structure) et la sémantique textuelle (contenu).
• Futur : Les auteurs prévoient d'étendre ce cadre pour modéliser d'autres types de relations (propriétés, domaines, plages) et d'explorer des architectures plus expressives comme les Graph Neural Networks (GNN) pour la partie extensionnelle.

En résumé, EIKE établit un nouvel état de l'art en prouvant que la séparation et la fusion intelligente des connaissances extensionnelles et intensionnelles sont cruciales pour des embeddings d'ontologies robustes.