Technische Samenvatting: Referentievrije Evaluatie van Taxonomieën

Probleemstelling

Taxonomieën zijn essentieel voor het organiseren van informatie, het mogelijk maken van hiërarchische classificatie, het verrijken van machine learning-features en het verbeteren van zero-shot taken. Hoewel ze traditioneel handmatig worden gemaakt, heeft de toenemende hoeveelheid ongestructureerde data geleid tot de ontwikkeling van methoden voor automatische generatie en uitbreiding van taxonomieën.

De primaire uitdaging bij het evalueren van deze geautomatiseerde methoden is het gebrek aan een "ground truth" taxonomie. Traditionele evaluatie vertrouwt op het vergelijken van gegenereerde taxonomieën met een gouden standaard met behulp van metrieken zoals Precision, Recall en F1. Echter, als er een ground truth zou bestaan, zou er immers geen noodzaak zijn om de taxonomie te genereren of uit te breiden. Bestaande referentievrije metrieken houden vaak geen rekening met mutaties in niet-bladknopen, negeren de ernst van fouten, leunen zwaar op priors binnen backbone-modellen, of negeren logische adequaatheid (bijv. of een subconcept daadwerkelijk een subtype is van de ouder). Er is daarom behoefte aan robuuste, referentievrije evaluatiemaatstaven die de kwaliteit van een taxonomie kunnen beoordelen zonder een gouden standaard.

Methodologie

De auteurs stellen twee nieuwe referentievrije metrieken voor die zich richten op verschillende aspecten van taxonomiekwaliteit: Robuustheid en Logische Adequaatheid.

1. Robuustheid: Concept Similarity Correlation (CSC)

Robuustheid meet hoe goed een taxonomie tussen concepten onderscheid maakt en hoe nauw verwante sibling-concepten zijn.

• Beperking van bestaande metrieken: Vorige metrieken zoals Semantic Proximity (SP) behandelen groepen siblings als platte clusters en negeren de hiërarchische structuur. Ze zijn ongevoelig voor fouten waarbij niet-bladknopen verkeerd zijn geplaatst.
• Voorgestelde aanpak (CSC): De auteurs gaan ervan uit dat in een hoogwaardige taxonomie semantische gelijkenis en taxonomische gelijkenis een monotone correlatie moeten vertonen.
  • Taxonomische Gelijkenis: Berekend met behulp van Wu & Palmer Similarity (WPS), die de padlengte vanaf de root en de diepte van de Least Common Ancestor (LCA) beschouwt.
  • Semantische Gelijkenis: Berekend met behulp van cosine similarity tussen concept-embeddings (gegenereerd door sentence-transformers).
  • Metriek: De Kendall rank correlatie ($\tau$) tussen de semantische gelijkenisscores en de taxonomische gelijkenisscores over alle paren concepten in de taxonomie. Een hoge positieve correlatie duidt op een robuuste taxonomie.

2. Logische Adequaatheid: NLI Verification (NLIV)

Logische adequaatheid beoordeelt of ouder-kind relaties geldige "is-a" relaties vertegenwoordigen (hyperoniem-hyponiem paren).

• Aanpak: De metriek behandelt de taxonomie als een graaf waarbij een classificatie een wandeling (walk) is van de root naar een blad. De kwaliteit van de taxonomie hangt af van de waarschijnlijkheid dat deze wandelingen logisch geldig zijn.
• Schatting van de randkans (Edge Probability Estimation): De auteurs gebruiken Natural Language Inference (NLI) modellen in een zero-shot setting om de waarschijnlijkheid te schatten dat een ouder-kind relatie geldig is.
  • Prompting: Voor een rand $\langle c_i, c_{i+1} \rangle$ wordt een premisse geconstrueerd met de beschrijving van het kind ($D(c_{i+1})$) en de hypothese is de relatieverklaring (bijv. "$c_{i+1}$ is een type van $c_i$").
  • Varianten:
    • NLIV-S (Strong): De premisse moet de hypothese impliceren (entail).
    • NLIV-W (Weak): De premisse mag de hypothese niet tegenspreken (not contradict).
  • Hearst Patterns: Om de robuustheid te verbeteren, middelen de auteurs de schattingen over meerdere Hearst-patroontemplates (bijv. "is een soort van", "is een voorbeeld van").
• Aggregatie: De adequaatheid van de gehele taxonomie wordt berekend als het geometrisch gemiddelde van de randkansen over willekeurige classificatiewandelingen, gewogen om ervoor te zorgen dat fouten op hogere niveaus (die meer afstammelingen beïnvloeden) een grotere impact hebben op de score dan fouten bij bladeren.

Experimentele Opzet

De auteurs evalueerden deze metrieken op vijf taxonomieën in diverse domeinen (Voedsel, Werkwoorden, Medische termen, Wikidata en een eigen receptentaxonomie).

• Intrinsieke Evaluatie: Ground truth taxonomieën werden kunstmatig gedegradeerd door willekeurig subgrafen te verplaatsen (mutaties van 2% tot 32% van de knopen). De voorgestelde metrieken werden vergeleken met de resulterende F1-score (tegen de originele) en bestaande metrieken (SP, RaTE).
• Extrinsieke Evaluatie: De metrieken werden getest op hun vermogen om de downstream prestaties in hiërarchische classificatietaken te voorspellen (Web of Science, MN-DS, DBPedia). Label-taxonomieën werden gedegradeerd, en de resulterende daling in de macro F1-classificatieprestaties werd gecorreleerd met de referentievrije metriekscores.

Belangrijkste Resultaten

• Correlatie met Ground Truth: De voorgestelde metrieken (CSC en NLIV-S) vertoonden sterke correlaties met F1-scores tegenover ground truth taxonomieën, waarbij ze bestaande metrieken zoals SP en RaTE overtroffen. Opvallend genoeg faalde SP in het detecteren van mutaties in niet-bladknopen, terwijl CSC en NLIV gevoelig waren voor zowel blad- als niet-bladfouten.
• Downstream Voorspelling: In de extrinsieke evaluatie vertoonden CSC en NLIV substantiële associatie met de downstream hiërarchische classificatieprestaties. In contrast hiermee vertoonde SP negatieve of zwakke correlaties, en faalde RaTE vaak in het voorspellen van prestaties op bepaalde datasets (bijv. DBPedia) zonder domeinspecifieke fine-tuning.
• Gevoeligheidsanalyse:
  • Realistische Fouten: Wanneer mutaties werden beperkt tot semantisch gelijkaardige concepten (top 100 WPS buren), behielden NLIV-metrieken een hoge correlatie, terwijl de CSC-correlatie afnam (zoals verwacht, aangezien CSC de globale vorm meet).
  • Modelstabiliteit: De metrieken vertoonden een hoge consistentie (Kendall's $\tau$) bij het gebruik van verschillende backbone-modellen voor embeddings en NLI, wat suggereert dat de rangschikking van taxonomieën stabiel blijft bij verschillende modelkeuzes.
  • Input Perturbatie: De metrieken bleven robuust wanneer conceptnamen werden vervangen door synoniemen, hoewel NLIV-metrieken een iets hogere gevoeligheid voor inputwijzigingen vertoonden vergeleken met CSC.

Betekenis en Claims

Het artikel claimt de eerste referentievrije metrieken te introduceren die zowel de structurele robuustheid als de logische geldigheid van taxonomieën effectief evalueren zonder een gouden standaard te vereisen.

• Domeinonafhankelijkheid: De aanpak is ontworpen om domeinonafhankelijk te zijn, waarbij gebruik wordt gemaakt van pre-trained taalmodellen in plaats van domeinspecifieke heuristieken.
• Foutdetectie: In tegen tegenstelling tot eerder werk kunnen deze metrieken fouten in niet-bladknopen detecteren en de logische geldigheid van ouder-kind relaties verifiëren, wat cruciaal is voor automatisch gegenereerde taxonomieën.
• Praktisch Nut: De auteurs demonstreren dat deze metrieken als een proxy voor taxonomiekwaliteit kunnen dienen, waarbij ze voorspellen hoe goed een taxonomie zal presteren in downstream hiërarchische classificatietaken.
• Toekomstige Toepassing: De auteurs suggereren dat deze metrieken gebruikt kunnen worden om alternatieve taxonomieën te vergelijken, individuele fouten aan te wijzen (door onwaarschijnlijke classificatiewandelingen of grote semantische-taxonomische discrepanties te identificeren) en potentieel te dienen als optimalisatiedoelen voor taxonomiegeneratie-algoritmen.

De auteurs blijven bescheiden over beperkingen en merken op dat hoewel de metrieken domeinonafhankelijk zijn, de onderliggende pre-trained modellen dat niet zijn, wat biases kan introduceren. Ze waarschuwen ook dat scores niet direct vergelijkbaar zijn tussen verschillende conceptruimtes vanwege variërende baseline modelprestaties.