🤖 machine learning

Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings

Dit artikel onthult dat hoogpresterende Knowledge Graph Embedding-modellen lijden onder aanzienlijke instabiliteit over willekeurige seeds en hyperparameterconfiguraties, wat de betrouwbaarheid van huidige op rangorde gebaseerde evaluatiemetrieken en de robuustheid van linkvoorspellingsresultaten uitdaagt.

Oorspronkelijke auteurs: Guillaume Méroué, Fabien Gandon, Pierre Monnin

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guillaume Méroué, Fabien Gandon, Pierre Monnin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Magische Kristallen Bol"-probleem

Stel je voor dat je een enorme, onvolledige encyclopedie van feiten hebt (een Knowledge Graph). De encyclopedie weet dat "Parijs de hoofdstad van Frankrijk is", maar weet niet wie de huidige president van een specifiek land is.

Om de gaten op te vullen, gebruiken wetenschappers Knowledge Graph Embedding Models (KGEMs). Zie deze modellen als magische kristallen bollen. Je vraagt de kristallen bol: "Wie is de president?" en de bol kijkt naar alle feiten die hij kent, doet wat complexe wiskunde, en voorspelt het antwoord.

Het artikel stelt dat hoewel deze kristallen bollen erg goed zijn in het geven van het juiste antwoord gemiddeld genomen, ze ongelooflijk onbetrouwbaar zijn wanneer je naar de specifieke details kijkt. Als je dezelfde vraag twee keer aan dezelfde kristallen bol stelt, maar je werpt eerst een muntje om te beslissen hoe het proces begint (een "random seed"), krijg je misschien twee totaal verschillende lijsten met kandidaten, zelfs als de kristallen bol beide keren beweert evenveel vertrouwen te hebben.

Het Kernprobleem: "Dezelfde Score, een Ander Verhaal"

In de wereld van machine learning beoordelen we deze modellen meestal op basis van één enkele score, zoals MRR (Mean Reciprocal Rank). Zie deze score als een rapportcijfer.

De bevinding van het artikel: Als je een model vijf keer traint met verschillende random seeds, krijgen ze allemaal een "A" (een hoge MRR-score).
De crux: Ondanks dat ze allemaal een "A" hebben gekregen, zijn de specifieke antwoorden die ze geven totaal verschillend.

De Analogie: De Restaurantrecensie
Stel je voor dat drie voedselcritici (de modellen) een restaurant beoordelen.

Criticus 1, 2 en 3 geven het restaurant allemaal een 5-sterrenbeoordeling (Hoge MRR).
Echter, wanneer je hen vraat naar hun top 3 favoriete gerechten:
- Criticus 1 zegt: Biefstuk, Salade, Soep.
- Criticus 2 zegt: Pizza, Tacos, Sushi.
- Criticus 3 zegt: Burger, Friet, IJs.

Als je een klant bent die probeert te beslissen wat je moet bestellen op basis van alleen de 5-sterrenbeoordeling, zou je denken dat ze het allemaal eens zijn. Maar in werkelijkheid bevelen ze totaal andere maaltijden aan. Als je een arts bent die probeert een behandeling voor een ziekte te vinden (een echte casus die in het artikel wordt genoemd), is het gevaarlijk om een lijst met "Burgers" te krijgen in plaats van "Medicijnen" vanwege een muntje opwerpen.

Het Onderzoek: Wat Veroorzaakt de Chaos?

De auteurs gedroegen zich als detectives om te ontdekken waarom deze modellen van gedachten veranderen. Ze isoleerden de "willekeurige ingrediënten" in het trainingsproces:

Initialisatie: Hoe het brein van het model begint (zoals het gooien met dobbelstenen om de initiële gewichten in te stellen).
Triple Ordering: De volgorde waarin het model de feiten leest (zoals een boek lezen van pagina 1 tot 100 versus pagina 100 tot 1).
Negative Sampling: Hoe het model leert wat er fout is (zoals een leraar die je foute antwoorden geeft om je te corrigeren).
Dropout: Het willekeurig uitzetten van delen van het brein van het model tijdens de training (zoals een student die een test maakt met zijn ogen dicht voor een paar seconden).
Hardware: De eigenlijke computerchip (GPU) die wordt gebruikt om het model te draaien.

De Schokkende Ontdekking:
Het artikel vond dat het veranderen van slechts één van deze ingrediënten genoeg is om voor enorme instabiliteit te zorgen.

De Analogie: Stel je voor dat je een taart bakt. Als je het merk bloem verandert, de oventemperatuur aanpast of de volgorde van het mengen van de eieren wijzigt, kun je eindigen met een taart die precies hetzelfde smaakt (dezelfde MRR-score), maar een totaal andere textuur of vorm heeft (andere voorspellingen).
De Hardware-twist: Ze ontdekten zelfs dat het gebruiken van een ander merk computerchip (GPU) voor dezelfde mate van chaos zorgde als het veranderen van de random seeds. Dit betekent dat als je een model traint op een computer in New York en het uitvoert op een computer in Tokio, je andere resultaten krijgt, zelfs als je exact dezelfde code gebruikt.

De "Stemming"-oplossing: Werkt het?

De auteurs testten een veelvoorkomende oplossing genaamd Voting (Stemmen). Dit is als het vragen aan vijf verschillende critici om over de beste gerechten te stemmen en de meerderheid te nemen.

Het Resultaat: Stemmen hielp een beetje. Het maakte de modellen iets consistenter.
De Limiet: Het lost het probleem niet volledig op. De modellen blijven het op veel details oneens. Bovendien kost het meer tijd en geld om vijf modellen te trainen in plaats van één.

De Conclusie: Prestatie $\neq$ Stabiliteit

De belangrijkste les is: Een hoge score garandeert geen betrouwbaarheid.

De Oude Manier: "Dit model heeft de hoogste score, dus het is het beste."
De Nieuwe Realiteit: "Dit model heeft de hoogste score, maar het is een gok. Het kan je vandaag het juiste antwoord geven en morgen een totaal ander (maar evenzeer 'hoog scorend') antwoord."

Het artikel concludeert dat we moeten stoppen met alleen kijken naar het "rapportcijfer" (MRR) en ook moeten controleren of het model stabiel is. Als we deze modellen gebruiken om belangrijke beslissingen te nemen in de echte wereld (zoals het vinden van medicijnbehandelingen of het completeren van kennisbases), moeten we weten dat het model niet elke keer dat we het draaien gewoon willekeurig gokt.

Samenvatting in één zin

Alleen omdat een Knowledge Graph-model een hoge score haalt op een test, betekent niet dat het betrouwbaar is; kleine willekeurige veranderingen in de manier waarop het getraind wordt, kunnen ervoor zorgen dat het totaal andere antwoorden geeft, wat het riskant maakt om erop te vertrouwen voor belangrijke beslissingen.

Technische Samenvatting: Link Prediction of Perdition: de Zaden van Instabiliteit in Knowledge Graph Embeddings

1. Probleemstelling

Knowledge Graph Embedding Models (KGEMs) zijn de dominante aanpak voor Knowledge Graph Completion (KGC) via linkvoorspelling. Standaard evaluatieprotocollen leunen zwaar op geaggregeerde rangordegebaseerde metrieken zoals Mean Reciprocal Rank (MRR) en Hits@K. Deze metrieken negeren echter vaak de invloed van willekeurige seeds op de stabiliteit van de resultaten.

Het kernprobleem dat wordt geïdentificeerd, is dat een hoge geaggregeerde prestatie geen stabiliteit garandeert op het niveau van de triples of binnen de embedding-ruimte. Twee modellen die getraind zijn met verschillende willekeurige seeds kunnen identieke MRR-scores behalen, maar toch significant verschillende top-K voorspellingen produceren. In operationele omgevingen (bijv. bij drug discovery of automatische graaf-completie) leidt deze seed-afhankelijke variabiliteit tot uiteenlopende voltooide grafen, wat de betrouwbaarheid van KGEMs voor downstream besluitvorming ondermijnt. Bovendien heeft de bestaande literatuur zelden de stabiliteit van de geleerde embedding-ruimte zelf onderzocht met betrekking tot willekeur, ondanks het feit dat deze wordt hergebruikt voor taken zoals entiteitsgelijkenis en clustering.

2. Methodologie

De auteurs voerden een systematische stabiliteitsanalyse uit over meerdere KGEMs en datasets met behulp van een gecontroleerd experimenteel protocol.

Experimentele Opzet:

Modellen: Representatieve modellen uit drie families werden geselecteerd: Geometrisch (TransE, RotatE), Tensor Factorisatie (DistMult, ComplEx) en Neurale Netwerken (ConvE, RGCN, Transformer).
Datasets: Standaard benchmarks inclusief WN18RR, FB15k-237 en CoDEx-S.
Bronnen van Willekeur: De studie isoleerde vier onafhankelijke stochastische factoren die gebruikelijk zijn bij ML-training:
1. Parameter Initialisatie ( $I$ )
2. Triple Volgorde ( $O$ )
3. Negative Sampling ( $N$ )
4. Dropout ( $D$ )
- Daarnaast werd Hardware (GPU-type) geïdentificeerd als een bron van willekeur.
Hyperparameter Zoektocht: Er werd een grid search uitgevoerd om configuraties met variërende prestatieniveaus (Best, Median, Worst) te identificeren om de correlatie tussen prestaties en stabiliteit te testen.

Voorgestelde Metrieken:
Om verder te gaan dan geaggregeerde rangordes, introduceerden de auteurs metrieken die zich richten op de gelijkenis van voorspellingen en embedding-ruimtes:

Pred-Overlap@K: Meet de intersectie van de top-K voorspelde entiteiten voor een gegeven query over verschillende model-instanties heen.
Space-Overlap@K: Meet de intersectie van de $K$ dichtstbijzijnde buren in de embedding-ruimte voor elke entiteit, om de stabiliteit van de geleerde latente structuur te beoordelen.
Consistency@K & Homogeneity@K: Geaggregeerde metrieken die de proportie van entiteiten kwantificeren die in de top-K lijsten van alle runs simultaan verschijnen en de dispersie van kandidaten respectievelijk.

3. Belangrijkste Bijdragen

Systematische Stabiliteitsanalyse: Het artikel biedt de eerste uitgebreide kwantificering van hoe willekeurige seeds zowel het voorspellende gedrag (top-K kandidaten) als de interne organisatie (embedding-ruimte) van KGEMs beïnvloeden.
Ontkoppeling van Prestatie en Stabiliteit: De studie toont aan dat hoge MRR-scores geen stabiele voorspellingen of embedding-ruimtes garanderen.
Identificatie van Hardware-instabiliteit: De auteurs identificeren hardware (specifiek GPU-architectuur) als een significante bron van instabiliteit die vergelijkbaar is met de variatie van willekeurige seeds, wat de reproduceerbaarheid in cloud-omgevingen uitdaagt.
Beperkingen van Remediëring: Het artikel evalueert "voting" (ensemble-methoden) als een mitigatiestrategie en stelt vast dat dit slechts een beperkte verbetering biedt en er niet in slaagt de embedding-ruimte te stabiliseren.

4. Belangrijkste Resultaten

Geaggregeerde Metrieken Maskeren Instabiliteit: Terwijl MRR en Hits@K een lage variantie vertonen over seeds heen, zijn de werkelijke voorspellingen zeer divergent. Bijvoorbeeld, op FB15k-237 deelden twee RotatE-instanties met verschillende seeds gemiddeld slechts ~4,3 van de top-10 voorspelde entiteiten.
Divergentie op Triple-niveau: Zelfs wanneer de ground-truth entiteit vergelijkbaar gerangschikt is, verschillen de niet-ground-truth kandidaten drastisch. In sommige gevallen produceerden runs met identieke MRR volledig verschillende sets van top-10 entiteiten (Pred-Overlap@10 zo laag als 0,17).
Instabiliteit van de Embedding-ruimte: De organisatie van de embedding-ruimte is ook onstabiel. Buren in de latente ruimte variëren aanzienlijk tussen runs, wat suggereert dat modellen verschillende latente structuren leren ondanks vergelijkbare globale prestaties.
Bronnen van Willekeur: Het variëren van elke enkele bron van willekeur (initialisatie, volgorde, sampling, dropout) induceert onafhankelijk van elkaar instabiliteit van een vergelijkbare grootteorde. Geen enkele bron domineert; de instabiliteit is inherent aan het trainingsproces.
Hardware Impact: Het trainen van identieke configuraties op verschillende GPU's (bijv. RTX 2080 Ti vs. A100) resulteerde in instabiliteitsniveaus die vergelijkbaar zijn met het variëren van willekeurige seeds.
Prestatie vs. Stabiliteit Correlatie: Slecht presterende modellen zijn over het algemeen minder stabiel. Echter, onder hoog-presterende en median-presterende modellen is er geen duidelijke correlatie; een hogere MRR garandeert geen grotere stabiliteit.
Model Variantie: TransE vertoonde opvallend hogere stabiliteit vergeleken met andere architecturen (bijv. RotatE, ConvE), wat suggereert dat architecturale verschillen een rol spelen.
Beperkingen van Voting: Hoewel ensemble voting de voorspellingsoverlap verbeterde, elimineerde het de instabiliteit niet en was het niet toepasbaar op het stabiliseren van de embedding-ruimte.

5. Betekenis en Claims

Het artikel claimt dat huidige benchmarking-protocollen onvoldoende zijn voor het beoordelen van de betrouwbaarheid van KGEMs in operationele settings. De bevindingen benadrukken kritieke beperkingen:

Betrouwbaarheidscroncern: Seed-afhankelijke instabiliteit betekent dat het toevoegen van top-K voorspellingen aan een knowledge graph substantieel verschillende voltooide grafen kan opleveren, wat potentieel leidt tot inconsistente of onbetrouwbare downstream beslissingen.
Validiteit van de Embedding-ruimte: De instabiliteit van embedding-ruimtes zet de validiteit in twijfel van downstream taken die op deze ruimtes vertrouwen, zoals entiteitsgelijkenis-beoordeling, conceptuele clustering en logische regelwinning, die uitgaan van een stabiele latente structuur.
Reproduceerbaarheidscrisis: De gevoeligheid voor hardware en kleine stochastische keuzes vormt een aanzienlijke uitdaging voor reproduceerbaarheid, met name in cloud computing-scenario's.
Evaluatiehervorming: De auteurs pleiten voor een verschuiving in evaluatiepraktijken, waarbij stabiliteit als een aparte dimensie van prestatie wordt behandeld. Ze suggereren dat modelselectie niet uitsluitend op MRR mag rusten, maar ook rekening moet houden met robuustheid over willekeurige seeds en hardwareconfiguraties heen.

Het artikel concludeert dat hoewel KGEMs effectief zijn voor ranking, hun huidige gebrek aan stabiliteit hen riskant maakt voor toepassingen die een consistente, deterministische graaf-completie of het vertrouwen op de geometrische eigenschappen van de embedding-ruimte vereisen. Toekomstig werk zou zich moeten richten op het ontwerpen van stabiliteitsbewuste architecturen of trainingsprocedures.