🤖 machine learning

PROBE-Web: An Interactive System for Probing Evaluation Landscapes of Knowledge Graph Completion Models

Cet article présente PROBE-Web, un système interactif qui permet aux utilisateurs de sonder et d'évaluer de manière flexible les modèles de complétion de graphes de connaissances sous diverses perspectives, en se concentrant spécifiquement sur la netteté prédictive et la robustesse face au biais de popularité, grâce à une interface conviviale offrant des boîtes à outils conventionnelles, une analyse tenant compte des perspectives, des études de cas explicables et une exploration de paysage.

Auteurs originaux : Sooho Moon, Yunyong Ko

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sooho Moon, Yunyong Ko

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un chef. Vous avez une liste de plats (des faits) qu'il doit cuisiner. Pour juger qui est le meilleur chef, vous regardez généralement un seul score : « Combien de plats a-t-il réussis ? » et « À quelle vitesse les a-t-il réussis ? ». C'est ainsi que la plupart des gens évaluent actuellement les modèles de Complétion de Graphes de Connaissances (KGC) — des programmes informatiques qui tentent de deviner les faits manquants dans un immense réseau d'informations.

Cependant, l'article soutient que ce score « taille unique » est trompeur. Tout comme les différentes personnes ont des goûts différents, différents utilisateurs ont des besoins différents pour ces modèles.

L'Utilisateur A (Le Médecin) : A besoin d'un modèle qui soit extrêmement confiant. Si le modèle se trompe, cela pourrait être dangereux. Il veut des prédictions « tranchantes » où les erreurs sont lourdement sanctionnées.
L'Utilisateur B (L'Explorateur) : Veut découvrir de nouvelles connexions rares. Il ne se soucie pas des faits célèbres ou bien connus ; il veut que le modèle déterre des entités obscures et peu populaires.

L'article présente PROBEWeb, un nouvel outil interactif qui vous permet de ne plus utiliser une règle unique, mais plutôt une « carte multidimensionnelle » pour trouver le modèle parfait répondant à vos besoins spécifiques.

Les deux curseurs de PROBEWeb

Considérez PROBEWeb comme une table de mixage sonore avec deux boutons principaux qui changent la façon dont vous jugez les chefs :

Le bouton « Tranchant » (Netteté prédictive) :
- Faible netteté : Vous êtes indulgent. Si le chef réussit le plat mais qu'il est la 10ème meilleure option, vous lui donnez quand même une note correcte. Vous vous souciez de la précision générale.
- Forte netteté : Vous êtes strict. Si le chef ne place pas le plat correct en tête de liste (Rang 1), vous lui donnez un zéro. Vous ne vous souciez que de la confiance absolue.
- Analogie : C'est la différence entre un professeur qui vous donne un B parce que vous avez presque réussi la réponse, et un professeur qui ne vous donne un A que si vous êtes 100 % parfait.
Le bouton « Popularité » (Robustesse au biais de popularité) :
- Faible robustesse : Vous ignorez les faits « célèbres ». Si le modèle devine une connexion entre deux personnes très populaires (comme « Elvis » et « USA »), vous ne lui donnez pas de points supplémentaires car c'est facile à deviner.
- Forte robustesse : Vous récompensez le modèle pour avoir trouvé des choses rares. S'il connecte deux entités obscures dont personne ne parle habituellement, vous lui donnez un énorme bonus.
- Analogie : C'est la différence entre un jeu de culture générale où vous gagnez des points en sachant « Qui est le Président ? » (facile, populaire) par rapport à un jeu où vous gagnez des points en sachant « Qui était le maire d'un petit village en 1920 ? » (difficile, rare).

Ce que fait réellement PROBEWeb

Le système propose quatre fonctionnalités principales pour vous aider à naviguer dans ce paysage :

La boîte à outils standard : Il est préchargé avec les scores « à l'ancienne » (comme le MRR et le Hits@K) afin que vous puissiez voir comment les modèles se comportent selon les règles traditionnelles. C'est comme consulter un bulletin de notes standard.
Le mixeur interactif : Vous pouvez faire glisser ces deux boutons (Netteté et Popularité) d'avant en arrière. En les déplaçant, le classement des modèles change en temps réel. Vous pourriez voir que le Modèle A est le meilleur quand vous voulez une « Forte Netteté », mais que le Modèle B prend la tête quand vous voulez une « Forte Robustesse de Popularité ».
Le détective du « Pourquoi » : Si vous vous demandez pourquoi le classement d'un modèle a chuté lorsque vous avez tourné un bouton, PROBEWeb présente des études de cas. Il décompose les données pour montrer, par exemple, que « Le Modèle A a échoué car il continuait de deviner les 5 entités les plus populaires, tandis que le Modèle B a trouvé les plus rares ».
La carte de paysage en 3D : Au lieu d'une liste plate, le système construit une chaîne de montagnes en 3D. Les axes X et Y sont vos deux boutons, et la hauteur de la montagne est le score du modèle. Vous pouvez voir que le Modèle A possède un sommet élevé dans un coin de la carte, tandis que le Modèle B possède un sommet élevé dans un autre coin. Cela vous aide à voir exactement là où chaque modèle excelle et là où il échoue.

L'essentiel

L'article affirme que PROBEWeb ne se contente pas de vous dire quel modèle est le « meilleur ». Au contraire, il vous aide à comprendre quel modèle est le meilleur pour votre objectif spécifique. Il déplace la conversation de « Qui a gagné ? » vers « Qui gagne quand nous privilégions X et Y ? ». En visualisant ces différents « paysages d'évaluation », les utilisateurs peuvent cesser de choisir des modèles sous-optimaux et commencer à choisir celui qui correspond à leurs besoins spécifiques, qu'il s'agisse d'une haute confiance pour la sécurité médicale ou d'une grande créativité pour la découverte de nouvelles connaissances.

Résumé Technique : PROBEWeb

Énoncé du Problème

Les modèles de Complétion de Graphe de Connaissances (KGC) sont principalement évalués à l'aide de métriques fixes basées sur le rang, telles que le MRR (Rang Reciproque Moyen) et les Hits@K. Cependant, la définition d'un « bon » modèle de KGC varie considérablement selon l'utilisateur et l'application cible. Par exemple, les praticiens en découverte de médicaments peuvent privilégier des modèles dotés d'une grande confiance pour éviter des échecs d'essais coûteux, tandis que les chercheurs peuvent valoriser des modèles capables de découvrir de nouvelles connaissances concernant des entités rares plutôt que des faits bien connus. Les protocoles d'évaluation existants ne parviennent pas à accommoder ces diverses perspectives, ce qui conduit souvent les utilisateurs à sélectionner des modèles sous-optimaux qui ne correspondent pas à leurs objectifs spécifiques.

Méthodologie

Le document présente PROBEWeb, un système web interactif conçu pour sonder les paysages d'évaluation des modèles de KGC. Le système est construit sur le cadre PROBE, qui généralise le protocole d'évaluation standard basé sur le rang à travers trois étapes : prédiction, transformation et agrégation. PROBEWeb permet aux utilisateurs d'ajuster de manière flexible deux perspectives d'évaluation critiques :

Netteté Prédictive (P1) : Contrôlée par un facteur $\alpha$ , cette perspective détermine la force avec laquelle les prédictions inexactes sont pénalisées. Le système utilise une fonction de Transformation de Rang (RT) qui convertit les rangs prédits en scores. Des valeurs de $\alpha$ plus élevées attribuent des scores sensiblement plus bas aux prédictions incorrectes, imposant une évaluation plus stricte, tandis que des valeurs plus faibles entraînent une évaluation plus généreuse.
Robustesse au Biais de Popularité (P2) : Contrôlée par un facteur $\beta$ , cette perspective traite le biais envers les entités de haute popularité. Le système utilise une fonction d'Agrégation de Rang (RA) qui attribue des poids aux prédictions en fonction de la popularité de l'entité cible dans l'ensemble d'entraînement. Des valeurs de $\beta$ plus élevées attribuent des poids plus faibles aux entités de haute popularité, augmentant ainsi la contribution des entités de faible popularité au score final.

PROBEWeb accepte les résultats de prédiction téléchargés par l'utilisateur (scores de rang pour les requêtes de test) ainsi que les informations du Graphe de Connaissances (dictionnaires d'entités/relations et triplets d'entraînement) dans un format prédéfini. Il calcule ensuite les scores d'évaluation en appliquant les fonctions RT et RA avec les paramètres $\alpha$ et $\beta$ spécifiés par l'utilisateur.

Principales Contributions

Le document présente PROBEWeb comme un système doté de quatre fonctionnalités primaires :

Outil d'Évaluation Conventionnel : Fournit une vue de référence standard utilisant des métriques largement adoptées (MRM, Hits@1, Hits@3) sur six modèles de KGC de pointe pré-calculés (RotatE, ComplEx, HousE, TuckEr, pLogicNet, RNNLogic) et trois graphes de connaissances populaires (FB15k-237, WN18RR, YAGO3-10). Cela permet une comparaison immédiate sans nécessiter les données de l'utilisateur.
Évaluation Flexible Sensible aux Perspectives : Permet aux utilisateurs d'ajuster interactivement $\alpha$ et $\beta$ via une interface graphique (GUI). Le système recalcule les scores d'évaluation et met à jour les classements en temps réel, permettant aux utilisateurs d'observer comment la performance relative des modèles change sous différentes perspectives d'évaluation.
Évaluation Explicable via des Études de Cas : Offre des outils de diagnostic pour expliquer les changements de classement.
- Pour P1, il analyse la qualité de la prédiction à travers différents groupes de rang (par exemple, 1er, 2e–5e, 6e–20e) pour déterminer si un modèle excelle dans les prédictions de haut rang ou maintient une précision modérée constante.
- Pour P2, il fournit des études de cas au niveau de la requête montrant la popularité de requêtes spécifiques et les rangs attribués par différents modèles, aidant les utilisateurs à comprendre le comportement des modèles sur les entités de faible popularité.
Exploration du Paysage d'Évaluation : Visualise la performance des modèles dans un espace 3D où les axes $x$ et $y$ représentent $\alpha$ et $\beta$ , et l'axe $z$ représente le score d'évaluation normalisé. Cela crée une « surface de performance » pour chaque modèle, permettant d'identifier les régions où des modèles spécifiques dominent. Le système partitionne également cet espace en quatre quadrants représentatifs pour une comparaison fine.

Résultats et Caractéristiques du Système

Le document ne présente pas de nouveaux résultats expérimentaux concernant l'amélioration des performances des modèles, mais démontre plutôt les capacités du système à travers son interface et ses références pré-calculées. Les principales caractéristiques du système mises en évidence incluent :

Accessibilité : Une interface graphique conviviale qui ne nécessite aucun effort de programmation supplémentaire.
Portabilité : Indépendance vis-à-vis des architectures de modèles KGC, des cadres d'entraînement ou des environnements d'exécution, à condition que les entrées suivent le format prédéfini.
Interactivité : Mise à jour en temps réel des classements et des visualisations lorsque les utilisateurs modifient les paramètres d'évaluation.

Signification et Revendications

Les auteurs affirment que PROBEWeb comble le fossé entre les diverses perspectives d'évaluation des utilisateurs et les protocoles d'évaluation fixes existants. En permettant aux utilisateurs de sonder divers paysages d'évaluation, le système aide non seulement à identifier quel modèle KGC est le plus performant, mais aussi à comprendre pourquoi et sous quelles perspectives d'évaluation spécifiques un modèle devrait être sélectionné. Le système vise à faciliter une meilleure sélection de modèles pour des applications en aval telles que la réponse aux questions, les systèmes de recommandation et la découverte de médicaments en alignant les métriques d'évaluation avec les exigences spécifiques des applications. Le code source et une vidéo de démonstration sont rendus publics pour soutenir la reproductibilité et l'exploration ultérieure.