Technische Samenvatting: Gepeneraliseerde Ranggebaseerde Evaluatie voor Knowledge Graph Completion

Probleemstelling

Knowledge Graph Completion (KGC) beoogt ontbrekende feiten te afleiden uit geobserveerde kennisgrafen (KGs), een taak die cruciaal is voor toepassingen variërend van ontdekking van geneesmiddelen tot retrieval-augmented generatie. Ondanks de proliferatie van KGC-modellen blijft de evaluatie van deze modellen onderbelicht. Huidige ranggebaseerde evaluatiemetrieken (bijv. Mean Reciprocal Rank [MRR], Hits@K) lijden aan twee primaire beperkingen:

1. Gebrek aan Controle over Voorspellende Scherpte: Bestaande metrieken gaan impliciet uit van een vast niveau van strengheid bij het bestraffen van onnauwkeurige voorspellingen. Ze falen vaak in het onderscheiden van modellen die excelleren in top-gerangschikte voorspellingen versus modellen die consistent hoge kwaliteit voorspellingen bieden over een breder bereik van rangen.
2. Gevoeligheid voor Populariteitsbias: Real-world KGs volgen machtswetverdelingen waarbij een klein aantal entiteiten en relaties frequent voorkomt. Standaardmetrieken hebben de neiging de prestaties van modellen te overschatten die goed presteren op deze populaire triples, terwijl ze modellen die beter generaliseren naar zeldzame, laag-populaire entiteiten en relaties — die vaak cruciaal zijn voor toepassingen zoals het ontdekken van nieuwe interacties tussen geneesmiddelen — onderschatten.

Bovendien, onder de Open-World Assumption (OWA) — waarbij de afwezigheid van een triple niet de onwaarheid impliceert — worstelen bestaande metrieken ermee om de intrinsieke prestaties van een model consistent in te schatten, wat vaak leidt tot inconsistente rangschikkingen wanneer ze worden geëvalueerd op incomplete deelverzamelingen van feiten vergeleken met een complete (Closed-World) setting.

Methodologie: Het PROBE-framework

De auteurs stellen PROBE voor (Predictive shaRpness and pOpularity-Bias Evaluation), een gegeneraliseerd evaluatieframework dat ontworpen is om deze hiaten aan te pakken. PROBE deelt het evaluatieproces op in drie stadia: Voorspelling, Transformatie en Aggregatie.

1. Rank Transformer (RT) voor Voorspellende Scherpte

Om de mate van strengheid te controleren bij het bestraffen van voorspellingen, introduceert PROBE een rangtransformatiefunctie $f(r, \alpha)$ die de rang $r$ van een correcte entiteit omzet in een score.

• Mechanisme: De functie is gedefinieerd als $f(r, \alpha) = 1/r^\alpha$, waarbij $\alpha$ een instelbare parameter is die de voorspellende scherpte controleert.
• Gedrag:
  • Een hoge $\alpha$ legt zware straffen op lagere rangen op, waarbij de nadruk ligt op top-gerangschikte voorspellingen (hoge scherpte).
  • Een lage $\alpha$ vermindert de straf voor matig gerangschikte voorspellingen, waardoor modellen met een stabiele prestatie over een breder rangbereik hoger kunnen scoren.
• Verfijning: Om onderscheidbaarheid en een vast bereik $[0, 1]$ te garanderen, passen de auteurs een affine transformatie toe om scores te herschalen op basis van de grootte van de kandidaat-verzameling $|E_i|$, zodat de slechtste voorspelling naar 0 en de beste naar 1 wordt gemapt.

2. Rank Aggregator (RA) voor Populariteitsbias-Robuustheid

Om populariteitsbias te mitigeren, wijst PROBE gewichten toe aan test-triples op basis van hun populariteit.

• Triple-niveau Populariteit: In tegen tegenstelling tot eerdere werken die alleen naar entiteitsfrequentie kijken, meet PROBE populariteit op triple-niveau door de volgende te combineren:
  • Entiteitspopulariteit ($\delta(e)$): De frequentie van de doelentiteit.
  • Entiteit-geconditioneerde Relatiepopulariteit ($\delta(r|e)$): De frequentie van de specifieke relatie gegeven de entiteit.
• Wegingsmechanisme: Het gewicht $w_t$ voor een triple wordt berekend als het product van gewichten afgeleid van entiteit- en relatiepopulariteit, gecontroleerd door een parameter $\beta$.
  • $\beta > 0$: Wijst hogere gewichten toe aan laag-populaire triples en lagere gewichten aan hoog-populaire triples, wat de robuustheid tegen bias verhoogt.
  • $\beta = 0$: Reduceert tot een standaard ongegewogen gemiddelde (gelijk aan bestaande metrieken).
• Eindscore: De uiteindelijke PROBE-score is het gewogen gemiddelde van de getransformeerde scores: $PROBE = \sum w_i \cdot c_i$.

3. Geometrische Interpretatie

Het framework interpreteert de evaluatie als een inproduct in een $n$-dimensionale ruimte. De rank transformer definieert de geometrie van de score-ruimte (gecontroleerd door $\alpha$), terwijl de rank aggregator de evaluatierichting definieert (gecontroleerd door $\beta$). Dit stelt de metriek in staat om flexibel aan te sluiten bij verschillende vereisten van toepassingen.

Belangrijkste Bijdragen

1. Nieuwe Perspectieven: Het artikel identificeert en formaliseert twee over het hoofd geziene perspectieven in KGC-evaluatie: voorspellende scherpte en populariteitsbias-robuustheid.
2. Gegeneraliseerd Framework: PROBE wordt voorgesteld als een verenigd framework dat bestaande metrieken (bijv. MRR, Hits@K) omvat als speciale gevallen onder specifieke parameterconfiguraties ($\alpha=1, \beta=0$).
3. Theoretische Analyse: De auteurs definiëren zes sleutelkenmerken voor betrouwbare KGC-evaluatie:
   • Vast optimum en vast pessimum.
   • Anti-monotoniciteit.
   • Kandidaat-grootte bewustzijn.
   • Scherpte bewustzijn.
   • Populariteit bewustzijn.
     Het artikel bewijst dat PROBE aan alle zes de eigenschappen voldoet, terwijl bestaande metrieken slechts een subset hiervan voldoen.
4. Open-World Consistentie: Theoretische analyse toont aan dat PROBE de relatieve prestaties van modellen tussen Closed-World (CWA) en Open-World (OWA) settings beter behoudt dan bestaande metrieken, wat een betrouwbaardere schatting geeft van de intrinsieke modelprestaties.

Experimentele Resultaten

De auteurs voerden uitgebreide experimenten uit met zes KGC-modellen (waaronder RotatE, ComplEx, TuckER, pLogicNet, RNNLogic) over zes real-world KGs (FB15k-237, WN18RR, YAGO3-10, Family, UMLS, Kinship).

• Impact van Voorspellende Scherpte ($\alpha$): Het variëren van $\alpha$ veranderde de relatieve rangschikking van modellen aanzienlijk. Modellen zoals RNNLogic, die excelleren in top-gerangschikte voorspellingen, werden bevoordeeld onder hoge scherpte ($\alpha=1$), terwijl modellen zoals HousE, die een stabiele prestatie behouden over rangen 3–100, werden bevoordeeld onder lagere scherpte ($\alpha \le 0$).
• Impact van Populariteitsbias-Robuustheid ($\beta$): Het verhogen van $\beta$ verschoof de voorkeur naar modellen die robuust zijn tegen zeldzame feiten. Bijvoorbeeld: TuckER presteerde goed op populaire triples maar degradeerde op zeldzame triples, terwijl pLogicNet en ComplEx stabiliteit behielden en topperformers werden onder een hoge $\beta$.
• Omvangrijkheid: Geen enkel model domineerde over alle datasets en parameterinstellingen heen, wat benadrukt dat het "beste" model afhangt van het specifieke evaluatieperspectief dat vereist is voor de toepassing.
• Betrouwbaarheid onder OWA: In experimenten die incomplete kennisgrafen simuleerden, behield PROBE consequent de relatieve rangschikking van modellen vergeleken met hun prestaties op complete grafen (CWA). In tegen tegenstelling hiertoe vertoonden metrieken zoals MRR en p-MRR significante ranginstabiliteit en score-divergentie wanneer ze van CWA naar OWA verschoven.

Betekenis en Claims

Het artikel beweert dat bestaande ranggebaseerde metrieken onvoldoende zijn voor een uitgebreide evaluatie van KGC-modellen omdat ze impliciet uitgaan van vaste evaluatieperspectieven die mogelijk niet overeenkomen met de behoeften van real-world toepassingen. Door de introductie van PROBE bieden de auteurs een flexibel, principieel framework dat:

• Praktijkgebruikers in staat stelt om de strengheid van de evaluatie en de robuustheid tegen bias af te stemmen op specifieke domeineisen (bijv. hoge scherpte voor veiligheidskritische ontdekking van geneesmiddelen versus robuustheid voor exploratieve aanbeveling).
• Een theoretisch gefundeerde metriek biedt die de intrinsieke modelprestaties betrouwbaar inschat, zelfs wanneer de onderliggende kennisgraaf incompleet is.
• Onthult dat modelsuperioriteit contextafhankelijk is, wat de gemeenschap aanspoort om verder te gaan dan enkelvoudige metriek-evaluaties naar perspectief-bewuste beoordeling.