Résumé technique : Évaluation sans référence des taxonomies

Énoncé du problème

Les taxonomies sont essentielles pour organiser l'information, permettant une classification hiérarchique, l'enrichissement des caractéristiques d'apprentissage automatique et l'amélioration des tâches de zéro-shot (zero-shot). Bien qu'elles soient traditionnellement créées manuellement, le volume croissant de données non structurées a favorisé le développement de méthodes de génération et d'extension de taxonomies automatisées.

Le principal défi de l'évaluation de ces méthodes automatisées est l'absence de « vérité terrain » (ground truth) pour la taxonomie. L'évaluation traditionnelle repose sur la comparaison des taxonomies générées avec un étalon-or à l'aide de métriques telles que la Précision, le Rappel et le F1. Cependant, si une vérité terrain existait, il n'y aurait pas besoin de générer ou d'étendre la taxonomie en premier lieu. Les métriques existantes sans référence échouent souvent à prendre en compte les mutations des nœuds non-feuilles, négligent la gravité des erreurs, dépendent fortement des a priori des modèles de base, ou ignorent l'adéquation logique (par exemple, si un concept enfant est réellement un sous-type de son parent). Par conséquent, il existe un besoin de mesures d'évaluation robustes et sans référence capables d'évaluer la qualité d'une taxologie sans étalon-or.

Méthodologie

Les auteurs proposent deux nouvelles métriques sans référence ciblant des aspects distincts de la qualité d'une taxonomie : la Robustesse et l'Adéquation Logique.

1. Robustesse : Corrélation de Similarité Conceptuelle (CSC)

La robustesse mesure la capacité d'une taxonomie à distinguer les concepts et la proximité de relation entre les concepts frères.

• Limitation des métriques existantes : Les métriques précédentes comme la Proximité Sémantique (SP) traitent les groupes de frères comme des clusters plats, ignorant la structure hiérarchique. Elles sont peu sensibles aux erreurs où des nœuds non-feuilles sont mal placés.
• Approche proposée (CSC) : Les auteurs supposent que dans une taxonomie de haute qualité, la similarité sémantique et la similarité taxonomique doivent être corrélées de manière monotone.
  • Similarité Taxonomique : Calculée à l'aide de la similarité de Wu & Palmer (WPS), qui considère la longueur du chemin depuis la racine et la profondeur du plus court chemin commun (LCA).
  • Similarité Sémantique : Calculée via la similarité cosinus entre les plongements de concepts (embeddings générés par sentence-transformers).
  • Métrique : Le coefficient de rang de Kendall ($\tau$) entre les scores de similarité sémantique et les scores de similarité taxonomique pour toutes les paires de concepts de la taxonomie. Une corrélation positive élevée indique une taxonomie robuste.

2. Adéquation Logique : Vérification par NLI (NLIV)

L'adéquation logique évalue si les liens parent-enfant représentent des relations de type « est-un » (paires hyperonyme-hyponyme) valides.

• Approche : La métrique traite la taxonomie comme un graphe où une classification est une marche de la racine vers une feuille. La qualité de la taxonomie dépend de la probabilité que ces marches soient logiquement valides.
• Estimation de la probabilité d'arête : Les auteurs utilisent des modèles d'inférence de langue naturelle (NLI) dans un cadre zero-shot pour estimer la probabilité qu'un lien parent-enfant soit valide.
  • Prompting : Pour une arête $\langle c_i, c_{i+1} \rangle$, un énoncé est construit en utilisant la description de l'enfant ($D(c_{i+1})$) et l'hypothèse est l'énoncé de la relation (ex: « $c_{i+1}$ est un type de $c_i$ »).
  • Variantes :
    • NLIV-S (Forte) : L'énoncé doit impliquer l'hypothèse.
    • NLIV-W (Faible) : L'énoncé ne doit pas contredire l'hypothèse.
  • Motifs de Hearst (Hearst Patterns) : Pour améliorer la robustesse, les auteurs moyennent les estimations sur plusieurs modèles de motifs de Hearst (ex: « est un genre de », « est un exemple de »).
• Agrégation : L'adéquation de l'ensemble de la taxonomie est calculée comme la moyenne géométrique des probabilités d'arêtes à travers des marches de classification aléatoires, pondérée pour garantir que les erreurs aux niveaux supérieurs (affectant plus de descendants) impactent le score plus significativement que les erreurs de feuilles.

Configuration Expérimentale

Les auteurs ont évalué ces métriques sur cinq taxonomies issues de domaines divers (Alimentation, Verbes, Termes médicaux, Wikidata et une taxonomie de recettes propriétaire).

• Évaluation intrinsèque : Des taxonomies de vérité terrain ont été artificiellement dégradées en déplaçant aléatoirement des sous-graphes (mutant de 2 % à 32 % des nœuds). Les métriques proposées ont été comparées au score F1 résultant (contre l'original) et aux métriques existantes (SP, RaTE).
• Évaluation extrinsèque : Les métriques ont été testées sur leur capacité à prédire la performance en aval dans des tâches de classification hiérarchique (Web of Science, MN-DS, DBPedia). Les taxonomies de labels ont été dégradées, et la chute de performance macro F1 de la classification qui en résulte a été corrélée avec les scores des métriques sans référence.

Résultats Clés

• Corrélation avec la Vérité Terrain : Les métriques proposées (CSC et NLIV-S) ont démontré de fortes corrélations avec les scores F1 par rapport aux taxonomies de vérité terrain, surpassant les métriques existantes comme SP et RaTE. Notamment, SP n'a pas réussi à détecter les mutations dans les nœuds non-feuilles, alors que CSC et NLIV étaient sensibles aux erreurs de feuilles et de non-feuilles.
• Prédiction en Aval : Dans l'évaluation extrinsèque, les métriques CSC et NLIV ont montré une association substantielle avec la performance de classification hiérarchique en aval. En revanche, SP présentait des corrélations négatives ou faibles, et RaTE échouait souvent à prédire la performance sur certains jeux de données (ex: DBPedia) sans ajustement spécifique au domaine.
• Analyse de Sensibilité :
  • Erreurs Réalistes : Lorsque les mutations étaient limitées à des concepts sémantiquement similaires (les 100 voisins WPS les plus proches), les métriques NLIV maintenaient une corrélation élevée, tandis que la corrélation de CSC diminuait (comme prévu, car CSC mesure la forme globale).
  • Stabilité du Modèle : Les métriques ont montré une grande cohérence (Kendall's $\tau$) lors de l'utilisation de différents modèles de base pour les embeddings et le NLI, suggérant que le classement des taxonomies reste stable selon le choix des modèles.
  • Perturbation des Entrées : Les métriques sont restées robustes lorsque les noms de concepts étaient remplacés par des synonymes, bien que les métriques NLIV aient montré une sensibilité légèrement plus élevée aux changements d'entrée par rapport à CSC.

Signification et Revendications

L'article affirme introduire les premières métriques sans référence évaluant efficacement à la fois la robustesse structurelle et la validité logique des taxonomies sans nécessiter de vérité terrain.

• Indépendance du Domaine : L'approche est conçue pour être indépendante du domaine, s'appuyant sur des modèles de langage pré-entraînés plutôt que sur des heuristiques spécifiques au domaine.
• Détection d'Erreurs : Contra-irement aux travaux précédents, ces métriques peuvent détecter des erreurs dans les nœuds non-feuilles et vérifier la validité logique des relations parent-enfant, ce qui est crucial pour les taxonomies générées automatiquement.
• Utilité Pratique : Les auteurs démontrent que ces métriques peuvent servir de proxy pour la qualité d'une taxonomie, prédisant sa performance dans les tâches de classification hiérarchique en aval.
• Applications Futures : Les auteurs suggèrent que ces métriques peuvent être utilisées pour comparer des taxonomies alternatives, identifier des erreurs individuelles (en repérant les marches de classification improbables ou les désaccords sémantiques-taxonomiques élevés) et potentiellement servir d'objectifs d'optimisation pour les algorithmes de génération de taxonomies.

Les auteurs restent modestes quant aux limites, notant que bien que les métriques soient indépendantes du domaine, les modèles de langage pré-entraînés sous-jacents ne le sont pas, ce qui peut introduire des biais. Ils précisent également que les scores ne sont pas directement comparables entre différents espaces conceptuels en raison des variations de performance des modèles de base.