Learning Chain Of Thoughts Prompts for Predicting Entities, Relations, and even Literals on Knowledge Graphs

---

1. Problématique et Contexte

Les Graphes de Connaissances (KG) sont essentiels pour des applications comme la recherche, le questionnement et les systèmes de recommandation. La tâche centrale est la prédiction de liens (link prediction), qui consiste à inférer des faits manquants en modélisant la structure du graphe.

• Limites des approches actuelles (KGE) : Les modèles d'incrustation de graphes de connaissances (Knowledge Graph Embeddings - KGE) traditionnels (ex: TransE, DistMult) représentent les entités et les relations sous forme de vecteurs continus. Bien qu'efficaces, ils souffrent de deux limitations majeures :
  1. Ils peinent à généraliser aux entités ou relations non vues (problème de généralisation hors distribution).
  2. Ils ont des difficultés à raisonner sur les littéraux (valeurs numériques, texte descriptif), qui sont omniprésents dans les graphes réels.
• Opportunité des LLM : Les grands modèles de langage (LLM) pré-entraînés excellent dans l'apprentissage "few-shot" et "zero-shot" via le prompting. Cependant, leur utilisation directe pour la complétion de KG est souvent limitée par des méthodes de fine-tuning coûteuses ou des modèles de prompts manuels non optimisés.

Objectif de l'article : Reformuler la prédiction de liens comme un problème d'apprentissage de prompts, permettant de prédire des entités, des relations et des littéraux sans accès aux gradients du modèle de base, en utilisant des chaînes de pensée (Chain-of-Thought - CoT).

---

2. Méthodologie : RALP

Les auteurs proposent RALP (Reasoning-based Automated Link Prediction), un cadre qui remplace la fonction de score paramétrée par des vecteurs $\phi_\Theta$ par une fonction de score paramétrée par une chaîne de caractères (prompt) $\phi_{\beta \le c}$.

2.1. Concept Central

Au lieu d'apprendre des embeddings vectoriels, RALP apprend un prompt de chaîne de pensée ($\beta$) qui conditionne un LLM pour évaluer la vraisemblance d'un triplet $(h, r, t)$.

• Fonction de score : $\phi_{\beta \le c}(h, r, t)$ est exécuté par un LLM qui reçoit le triplet et le prompt $\beta$.
• Optimisation sans gradient : L'optimisation du prompt est réalisée via MIPRO (Maximum Likelihood Prompt Optimization), un algorithme d'optimisation bayésienne conçu pour les espaces discrets (les chaînes de caractères). Cela permet de trouver un prompt optimal avec très peu d'exemples d'entraînement (< 30) et sans accès aux gradients du LLM.

2.2. Approches Proposées

L'article distingue deux variantes :

1. RALP (Standard) : Utilise l'apprentissage en contexte (in-context learning) avec un prompt par défaut et des exemples few-shot pour prédire les triplets manquants.
2. RALP† (Optimisé) : Utilise l'algorithme MIPRO pour apprendre automatiquement un prompt spécifique au graphe de connaissances et à la tâche, maximisant les métriques de performance (ex: MRR).

2.3. Tâches Spécifiques

Le cadre est appliqué à trois scénarios :

• Prédiction de liens transductifs : Prédiction d'entités manquantes dans des graphes statiques.
• Prédiction de littéraux numériques : Prédiction de valeurs numériques (ex: PIB, population) en fournissant un contexte de récupération (récupération de sous-ensembles de triplets liés au sujet ou à la relation) et en demandant au LLM d'estimer une valeur ponctuelle et un intervalle de confiance.
• Raisonnement OWL (Instance Retrieval) : Prédiction des instances correspondant à des expressions de classes complexes (ex: $\exists hasChild.Female$) en utilisant des syntaxes logiques (Manchester ou Description Logic) comme contexte.

2.4. Enrichissement des Données (Algorithme 1)

Les auteurs proposent un algorithme pour enrichir les graphes d'entraînement : en interrogeant RALP sur des paires (sujet, relation) existantes, le modèle peut identifier des triplets manquants à haute probabilité, qui sont ensuite ajoutés au jeu d'entraînement pour améliorer les modèles KGE classiques.

---

3. Contributions Clés

1. Changement de paradigme : Passage d'une fonction de score vectorielle continue à une fonction de score symbolique basée sur des prompts de chaînes de pensée.
2. Optimisation sans gradient : Utilisation de MIPRO pour apprendre des prompts efficaces avec un nombre minimal d'exemples (< 30), éliminant le besoin de fine-tuning coûteux.
3. Généralisation aux littéraux et entités non vues : Capacité à raisonner sur des entités, relations et valeurs numériques jamais vues lors de l'entraînement, grâce à la compréhension sémantique du LLM.
4. Prédiction numérique avec incertitude : Première approche utilisant des LLM pour la prédiction de liens numériques avec estimation d'intervalles de confiance (calibration).
5. Amélioration des modèles KGE : Démonstration que les triplets prédits par RALP peuvent servir d'augmentation de données pour améliorer les performances des modèles d'embedding traditionnels.

---

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données : Countries (S1, S2, S3), LitWD1K (littéraux numériques) et Father (raisonnement OWL).

4.1. Prédiction de Liens Transductifs (Datasets Countries)

• Performance : RALP† (avec optimisation MIPRO) atteint un MRR de 1.000 sur le dataset Countries-S1, surpassant tous les modèles KGE de l'état de l'art (qui plafonnaient autour de 0.78-0.98).
• Amélioration des KGE : L'utilisation de RALP pour enrichir les données d'entraînement améliore significativement les performances des modèles KGE existants (ex: DistMult, ComplEx, QuatE), augmentant leur MRR de plus de 5% en moyenne.

4.2. Prédiction de Littéraux Numériques (LitWD1K)

• Précision : Les valeurs prédites ($\hat{y}$) sont très proches des valeurs réelles ($y$). Par exemple, pour le "PIB par habitant", l'erreur moyenne est faible.
• Calibration : Le taux de couverture des intervalles (ICR) dépasse 75% pour toutes les propriétés testées, indiquant que les intervalles de confiance prédits sont fiables.
• Exemple : Pour le Gabon, le modèle a correctement estimé le PIB par habitant (7225 $ vs 7413 $ réel) en utilisant un raisonnement par comparaison avec d'autres pays.

4.3. Raisonnement OWL (Dataset Father)

• Performance globale : Le modèle atteint une similarité de Jaccard supérieure à 88% sur des concepts complexes (conjonctions, négations, restrictions "au moins").
• Syntaxe : L'utilisation de la syntaxe Manchester (plus lisible par l'homme) donne de meilleurs résultats que la syntaxe Description Logic (DL).
• Limites : Les performances baissent sur les restrictions universelles et les propriétés inverses, suggérant des défis pour les quantificateurs complexes.

---

5. Signification et Conclusion

Cette étude démontre que les LLM, couplés à l'optimisation automatique de prompts, constituent une alternative flexible et puissante aux méthodes d'embedding traditionnelles pour la complétion de graphes de connaissances.

• Avantages majeurs :
  • Généralisation : Capacité à traiter des entités et relations non vues sans réentraînement.
  • Interprétabilité : Les prédictions sont accompagnées de chaînes de pensée explicatives.
  • Efficacité : Optimisation possible avec très peu de données d'entraînement.
• Limitations :
  • Dépendance à la qualité des étiquettes sémantiques (les IDs bruts comme "Q123" sont moins bien compris que "France").
  • Sensibilité aux valeurs aberrantes (outliers) dans les prédictions numériques.
  • Coût computationnel et limites de contexte (token) pour les très grands graphes.

En conclusion, RALP ouvre la voie vers une complétion de graphes de connaissances "consciente des littéraux" et robuste, capable de fonctionner dans des scénarios zero-shot ou hors base de connaissances, en transformant le problème de prédiction en un problème d'optimisation de langage naturel. Le code et les pipelines sont disponibles en open source.