Résumé Technique : Évaluation généralisée basée sur le rang pour la complétion de graphes de connaissances

Problématique

La complétion de graphes de connaissances (KGC - Knowledge Graph Completion) vise à inférer des faits manquants à partir de graphes de connaissances (KG) observés, une tâche critique pour des applications allant de la découverte de médicaments à la génération augmentée par récupération. Malgré la prolifération des modèles de KGC, l'évaluation de ces modèles reste sous-explorée. Les métriques d'évaluation actuelles basées sur le rang (par exemple, le rang de réciprocité moyen [MRR], Hits@K) souffrent de deux limitations principales :

1. Manque de contrôle de la netteté prédictive : Les métriques existantes supposent implicitement un niveau de sévérité fixe dans la pénalisation des prédictions inexactes. Elles échouent souvent à distinguer les modèles qui excellent dans les premières prédictions classées par rapport à ceux qui fournissent des prédictions de haute qualité de manière constante sur une plage de rangs plus large.
2. Sensibilité au biais de popularité : Les graphes de connaissances du monde réel suivent des distributions de loi de puissance où quelques entités et relations apparaissent fréquemment. Les métriques standards ont tendance à surestimer les modèles qui performent bien sur ces triplets de haute popularité tout en sous-estimant ceux qui généralisent mieux aux entités et relations rares de faible popularité, lesquelles sont souvent cruciales pour des applications comme la découverte de nouvelles interactions médicamenteuses.

De plus, sous l'hypothèse du monde ouvert (OWA — Open-World Assumption), où l'absence d'un triplet n'implique pas la fausseté, les métriques existantes peinent à estimer de manière cohérente la performance intrinsèque d'un modèle, produisant souvent des classements incohérents lorsqu'elles sont évaluées sur des sous-ensembles de faits incomplets par rapport à un contexte complet (monde fermé/Closed-World).

Méthodologie : Le cadre PROBE

Les auteurs proposent PROBE (Predictive shaRpness and pOpularity-Bias robustness aware Evaluation), un cadre d'évaluation généralisé conçu pour combler ces lacunes. PROBE décompose le processus d'évaluation en trois étapes : Prédiction, Transformation et Agrégation.

1. Transformateur de Rang (RT) pour la netteté prédictive

Pour contrôler le degré de sévérité dans la pénalisation des prédictions, PROBE introduit une fonction de transformation de rang $f(r, \alpha)$ qui convertit le rang $r$ d'une entité correcte en un score.

• Mécanisme : La fonction est définie par $f(r, \alpha) = 1/r^\alpha$, où $\alpha$ est un paramètre ajustable contrôlant la netteté prédictive.
• Comportement :
  • Un $\alpha$ élevé impose des pénalités lourdes sur les rangs inférieurs, privilégiant les prédictions de tête (haute netteté).
  • Un $\alpha$ faible réduit la pénalité pour les prédictions de rang modéré, permettant aux modèles ayant une performance stable sur une plage de rangs plus large d'obtenir des scores plus élevés.
• Raffinement : Pour garantir la distinction et un intervalle fixe $[0, 1]$, les auteurs appliquent une transformation affine pour remettre à l'échelle les scores en fonction de la taille de l'ensemble de candidats $|E_i|$, garantissant que la pire prédiction soit mappée à 0 et la meilleure à 1.

2. Agrégateur de Rang (RA) pour la robustesse au biais de popularité

Pour atténuer le biais de popularité, PROBE assigne des poids aux triplets de test en fonction de leur popularité.

• Popularité au niveau du triplet : Contrairement aux travaux précédents qui ne considèrent que la fréquence des entités, PROBE mesure la popularité au niveau du triplet en combinant :
  • La popularité de l'entité ($\delta(e)$) : la fréquence de l'entité cible.
  • La popularité de la relation conditionnée par l'entité ($\delta(r|e)$) : la fréquence de la relation spécifique donnée l'entité.
• Mécanisme de pondération : Le poids $w_t$ d'un triplet est calculé comme le produit des poids dérivés de la popularité de l'entité et de la relation, contrôlé par un paramètre $\beta$.
  • $\beta > 0$ : Assigne des poids plus élevés aux triplets de faible popularité et des poids plus faibles aux triplets de haute popularité, renforçant la robustesse au biais.
  • $\beta = 0$ : Se réduit à une moyenne non pondérée standard (équivalente aux métriques existantes).
• Score final : Le score PROBE final est la moyenne pondérée des scores transformés : $PROBE = \sum w_i \cdot c_i$.

3. Interprétation géométrique

Le cadre interprète l'évaluation comme un produit scalaire dans un espace à $n$ dimensions. Le transformateur de rang définit la géométrie de l'espace des scores (contrôlée par $\alpha$), tandis que l'agrégateur de rang définit la direction de l'évaluation (contrôlée par $\beta$). Cela permet à la métrique de s'aligner de manière flexible avec les différentes exigences applicatives.

Contributions clés

1. Nouvelles perspectives : L'article identifie et formalise deux perspectives négligées dans l'évaluation de la KGC : la netteté prédictive et la robustesse au biais de popularité.
2. Cadre généralisé : PROBE est proposé comme un cadre unifié qui englobe les métriques existantes (par exemple, MRR, Hits@K) comme des cas particuliers sous des configurations de paramètres spécifiques ($\alpha=1, \beta=0$).
3. Analyse théorique : Les auteurs définissent six propriétés clés pour une évaluation fiable de la KGC :
   • Optimum fixe et pessimum fixe.
   • Anti-monotonie.
   • Conscience de la taille du candidat.
   • Conscience de la netteté.
   • Conscience de la popularité.
     L'article prouve que PROBE satisfait toutes ces six propriétés, alors que les métriques existantes n'en satisfont qu'un sous-ensemble.
4. Cohérence en monde ouvert (OWA) : L'analyse théorique démontre que PROBE préserve mieux le classement relatif des modèles entre les contextes de monde fermé (CWA) et de monde ouvert (OWA) par rapport aux métriques existantes, fournissant une estimation plus fiable de la performance intrinsèque du modèle.

Résultats expérimentaux

Les auteurs ont mené des expériences approfondies utilisant six modèles de KGC (incluant RotatE, ComplEx, TuckER, pLogicNet, RNNLogic) sur six graphes de connaissances réels (FB15k-237, WN18RR, YAGO3-10, Family, UMLS, Kinship).

• Impact de la netteté prédictive ($\alpha$) : La variation de $\alpha$ a considérablement modifié le classement relatif des modèles. Des modèles comme RNNLogic, qui excellent dans les prédictions de tête, ont été favorisés sous une forte netteté ($\alpha=1$), tandis que des modèles comme HousE, qui maintiennent une performance stable entre les rangs 3 et 100, ont été favorisés sous une netteté plus faible ($\alpha \le 0$).
• Impact de la robustesse au biais de popularité ($\beta$) : L'augmentation de $\beta$ a déplacé la préférence vers les modèles robustes aux faits rares. Par exemple, TuckER performe bien sur les triplets populaires mais se dégrade sur les rares, tandis que pLogicNet et ComplEx maintiennent leur stabilité, devenant des modèles de tête sous un $\beta$ élevé.
• Exhaustivité : Aucun modèle unique n'a dominé sur l'ensemble des jeux de données et des réglages de paramètres, soulignant que le "meilleur" modèle dépend de la perspective d'évaluation spécifique requise par l'application.
• Fiabilité sous OWA : Dans les expériences simulant des graphes de connaissances incomplets, PROBE a systématiquement préservé le classement relatif des modèles par rapport à leurs performances sur des graphes complets (CWA). En revanche, des métriques comme MRR et p-MRR ont montré une instabilité de rang et une divergence de score significatives lors du passage de CWA à OWA.

Signification et revendications

L'article affirme que les métriques basées sur le rang existantes sont insuffisantes pour une évaluation complète des modèles de KGC car elles supposent implicitement des perspectives d'évaluation fixes qui peuvent ne pas correspondre aux besoins des applications réelles. En introduisant PROBE, les auteurs fournissent un cadre flexible et fondé sur des principes qui :

• Permet aux praticiens d'ajuster la sévérité de l'évaluation et la robustesse au biais selon les exigences spécifiques du domaine (par exemple, une haute netteté pour la découverte de médicaments critique pour la sécurité vs une robustesse pour la recommandation exploratoire).
• Offre une métrique théoriquement fondée qui estime de manière fiable la performance intrinsèque d'un modèle, même lorsque le graphe de connaissances sous-jacent est incomplet.
• Révèle que la supériorité d'un modèle est dépendante du contexte, incitant la communauté à dépasser les évaluations à métrique unique pour passer à une évaluation sensible aux perspectives.