OMNIA: Closing the Loop by Leveraging LLMs for Knowledge Graph Completion

Each language version is independently generated for its own context, not a direct translation.

🌐 OMNIA : Le Détective qui complète la Grande Bibliothèque

Imaginez que le Knowledge Graph (Graphique de Connaissance) est une immense bibliothèque où chaque livre est un fait, et les étagères relient ces livres entre eux. Par exemple, un livre sur "Remdesivir" est relié à un livre sur "le Coronavirus" par une étiquette "traite".

Le problème ? Quand on remplit cette bibliothèque automatiquement avec l'aide de l'Intelligence Artificielle (les grands modèles de langage, ou LLM), on se retrouve souvent avec des trous. Certains livres sont là, mais les étiquettes qui les relient manquent. C'est comme si vous saviez que le Remdesivir et le Chloroquine soignent tous les deux le virus, mais que la bibliothèque avait oublié d'ajouter l'étiquette "traite" pour le Chloroquine.

C'est là qu'intervient OMNIA. C'est un nouveau système conçu pour combler ces trous intelligemment, sans avoir besoin d'aller chercher des infos à l'extérieur de la bibliothèque.

🕵️‍♂️ Comment OMNIA fonctionne-t-il ? (L'analogie du Tri et de l'Expert)

OMNIA ne devine pas au hasard. Il utilise une méthode en deux étapes, comme un détective très organisé.

Étape 1 : Le Tri par "Affinités" (Le clustering)

Imaginez que vous avez une boîte de Lego. Vous remarquez que certaines pièces (les entités) ont toujours été construites de la même façon avec d'autres pièces.

Si le "Remdesivir" est toujours attaché au "Coronavirus" avec le lien "traite"...
Et que le "Chloroquine" est aussi attaché au "Coronavirus" avec le lien "traite"...

OMNIA dit : "Attendez, ces deux médicaments se comportent de la même façon ! Ils sont dans le même 'groupe'."

Au lieu de chercher au hasard dans toute la bibliothèque (ce qui prendrait des siècles), OMNIA regroupe les éléments qui se ressemblent. S'il sait que le Remdesivir a aussi un lien avec un autre virus, il se dit : "Tiens, peut-être que le Chloroquine a aussi un lien avec ce deuxième virus ?". Il génère ainsi une liste de candidats probables (des hypothèses de liens manquants).

L'analogie : C'est comme si vous voyiez deux amis qui portent toujours le même style de chaussures. Si l'un achète un nouveau manteau, vous devinez que l'autre en achètera probablement un similaire, sans avoir besoin de demander à tout le monde dans la ville.

Étape 2 : Le Filtre et l'Expert (La validation)

OMNIA a maintenant une longue liste d'hypothèses. Mais toutes ne sont pas vraies ! Il faut vérifier.

Le Filtre Rapide (Le gardien de sécurité) : D'abord, un petit robot rapide (un modèle mathématique simple) jette un coup d'œil. Si une hypothèse semble totalement illogique (par exemple, relier un médicament à une planète), il la jette immédiatement. Cela économise du temps.
L'Expert Humain (Le Grand LLM) : Ensuite, les meilleures hypothèses sont envoyées à un "Expert" (un grand modèle de langage comme GPT-4). Cet expert lit le contexte et dit : "Oui, c'est logique, le Chloroquine traite bien ce virus" ou "Non, c'est faux".

🚀 Pourquoi est-ce génial ? (Les avantages)

Il est économe : Au lieu de vérifier des milliards de combinaisons possibles (ce qui serait impossible), OMNIA ne regarde que les combinaisons qui ont du sens grâce à son tri intelligent. C'est comme chercher une aiguille dans un foin, mais en ne regardant que le tas de foin où l'aiguille a le plus de chances d'être.
Il est précis : En utilisant l'expert (le LLM) seulement sur les cas les plus prometteurs, il évite les erreurs et les hallucinations.
Il fonctionne tout seul : Il n'a pas besoin d'aller chercher des infos sur Internet. Il utilise uniquement ce qu'il y a déjà dans la bibliothèque pour déduire ce qui manque.

📊 Les Résultats en Bref

Les chercheurs ont testé OMNIA sur plusieurs bibliothèques de données (certaines créées par l'IA, d'autres classiques).

Résultat : OMNIA trouve beaucoup plus de liens manquants que les anciennes méthodes.
Performance : Il améliore la précision des résultats de 23 % par rapport aux meilleurs systèmes actuels. C'est énorme !

🎯 En résumé

OMNIA, c'est comme avoir un architecte de bibliothèque qui :

Regroupe les livres qui se ressemblent.
Devine quels liens manquent entre eux.
Fait vérifier ses idées par un expert rapide et intelligent.

Grâce à cette méthode, les bases de connaissances deviennent plus complètes, plus fiables et plus utiles pour aider les humains à trouver l'information, que ce soit pour la santé, l'économie ou la science.

Note : Le nom "OMNIA" vient du latin et signifie "tout". L'objectif des auteurs est de fermer la boucle : utiliser l'IA non seulement pour construire la base de connaissances, mais aussi pour la compléter et la réparer.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Les Graphes de Connaissances (KG) sont des représentations structurées essentielles pour le raisonnement et la récupération d'informations. Cependant, leur construction automatique, notamment via les Modèles de Langage (LLM), souffre souvent d'incomplétude et de bruit. Une partie significative des faits (triplets) présents dans les textes sources n'est pas extraite, créant des "triplets manquants" qui sont souvent sémantiquement implicites plutôt que structurellement évidents.

Les méthodes existantes de complétion de KG (KGC) présentent des limites :

Approches par embeddings : Elles capturent bien la structure du graphe mais négligent souvent la sémantique fine et les relations implicites.
Approches par modèles de langage : Elles ignorent souvent la structure interne du graphe et dépendent de sources de connaissances externes, ce qui peut introduire du bruit ou des incohérences.

Le défi principal est de combler ces lacunes en inférant des triplets manquants qui sont logiquement déduits des faits existants (sans ajouter de nouvelles entités ou relations externes), tout en évitant une recherche exhaustive (brute-force) coûteuse et inefficace.

2. Méthodologie : OMNIA

L'article propose OMNIA (acronyme signifiant "tout" en latin), une approche en deux étapes conçue pour fonctionner en "monde clos" (closed-world), c'est-à-dire en utilisant uniquement la structure interne du KG, sans corpus textuel externe.

Étape 1 : Génération de candidats par clustering

Cette étape vise à réduire l'espace de recherche en exploitant les motifs structurels récurrents du graphe.

Clustering des entités : Les entités de tête (head entities) sont regroupées en clusters basés sur leurs paires relation-queue (relation-tail) communes. L'hypothèse est que des entités partageant le même contexte relationnel (ex: deux médicaments qui "inhibent" le même virus) sont sémantiquement liées et susceptibles de partager d'autres relations.
Génération de candidats : À l'intérieur de chaque cluster, OMNIA propage les paires (relation, queue) connues vers les autres entités de tête du cluster pour générer de nouveaux triplets candidats.
- Exemple : Si A et B sont dans le même cluster car ils ont la relation (inhibe, Virus X), et que A a la relation (traite, Maladie Y), le système génère le candidat (B, traite, Maladie Y).

Étape 2 : Validation des candidats

Pour filtrer les faux positifs générés par l'étape précédente, une validation en deux sous-étapes est appliquée :

Filtrage par Embedding (Léger) : Un modèle d'embedding classique (TransE) entraîné sur le KG original est utilisé pour éliminer rapidement les triplets structurellement peu probables. Seuls les candidats avec un score de distance inférieur à un seuil $\tau$ sont conservés.
Validation par LLM (Sémantique) : Les candidats restants sont soumis à un LLM (Mistral-7B) pour une validation sémantique finale. Trois stratégies de prompting sont testées :
- Zero-shot : Évaluation directe du triplet ou de la phrase.
- Few-shot (In-context) : Fourniture d'exemples de triplets similaires pour guider le modèle.
- RAG (Retrieval-Augmented Generation) : Le LLM reçoit les $k$ triplets les plus similaires récupérés via une recherche vectorielle pour enrichir le contexte de décision.

Deux formats de présentation sont comparés : le format structuré (triplet brut) et le format phrastique (triplet converti en phrase naturelle).

3. Contributions Clés

Approche hybride Structure-Sémantique : OMNIA combine la puissance des motifs structurels (clustering) pour la génération et la capacité de raisonnement sémantique des LLM pour la validation, sans dépendre de sources externes.
Efficacité et Réduction de l'espace de recherche : En évitant la recherche exhaustive (brute-force), OMNIA réduit drastiquement le nombre de candidats à valider (jusqu'à 1400 fois moins que l'exhaustif sur certains jeux de données) tout en maintenant une couverture élevée des triplets manquants.
Stratégie de validation adaptative : L'intégration de techniques de prompting avancées (RAG, in-context) permet d'atteindre une haute précision dans la validation sémantique, surpassant les méthodes purement structurelles.
Généralisabilité : Bien que conçue pour les KG générés par LLM (où l'extraction est souvent incomplète), la méthode s'applique efficacement à des KG traditionnels denses et hétérogènes.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données standards (FB15K-237, CoDEx-M, WN18RR) et un jeu de données socio-économique généré par LLM.

Performance (F1-Score) : OMNIA surpasse significativement les baselines (modèles d'embeddings comme TransE, DistMult, et modèles PLM comme KG-BERT).
- Sur CoDEx-M, OMNIA atteint un F1-score de 0.91 contre 0.68 pour le meilleur modèle d'embedding (TransE), soit une amélioration de 23 points de pourcentage.
- Sur FB15K-237, le score passe de 0.74 (TransE) à 0.86 (OMNIA RAG).
Impact du format de prompt : La conversion des triplets en phrases naturelles ("Sentence-based") améliore généralement les résultats, sauf sur des jeux de données aux entités très techniques (comme WN18RR avec ses identifiants "X.nn.02"), où le format structuré reste supérieur.
Rôle du RAG : L'utilisation de la génération augmentée par la récupération (RAG) avec un $k$ optimal (autour de 2-3) offre le meilleur compromis entre précision et rappel.
Efficacité : Bien que l'étape de génération soit plus coûteuse que les méthodes d'embeddings pures, elle reste gérable (quelques minutes pour des milliers de candidats) et permet d'éviter des calculs exponentiels. La validation par LLM est parallélisable.

5. Signification et Conclusion

OMNIA représente une avancée significative dans la complétion des graphes de connaissances en fermant la boucle entre la construction et la complétion via l'utilisation stratégique des LLM.

Pour les KG générés par LLM : La méthode adresse spécifiquement le problème de l'extraction incomplète en récupérant les faits implicites que les LLM ont manqués lors de la phase initiale.
Pour la recherche : Elle démontre que les LLM ne doivent pas être utilisés pour générer des triplets "à l'aveugle" (ce qui est bruyant), mais plutôt comme des juges sémantiques ciblés après une sélection structurelle rigoureuse.
Limites et Perspectives : La méthode est moins performante sur les graphes très rares (sparse) où les motifs structurels sont insuffisants pour le clustering. Les auteurs prévoient d'intégrer des stratégies de génération assistées par LLM pour combler ces lacunes dans les graphes clairsemés.

En résumé, OMNIA offre un cadre robuste, efficace et précis pour enrichir les connaissances structurées, en tirant parti des forces complémentaires de l'algèbre des graphes et du raisonnement sémantique des grands modèles de langage.