🤖 machine learning

Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings

Diese Arbeit zeigt auf, dass leistungsstarke Modelle für Knowledge Graph Embeddings unter einer signifikanten Instabilität gegenüber Zufalls-Seeds und Hyperparameter-Konfigurationen leiden, was die Zuverlässigkeit aktueller rangbasierter Evaluationsmetriken sowie die Robustheit von Link-Prediction-Ergebnissen infrage stellt.

Ursprüngliche Autoren: Guillaume Méroué, Fabien Gandon, Pierre Monnin

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guillaume Méroué, Fabien Gandon, Pierre Monnin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem mit der „magischen Kristallkugel“

Stellen Sie sich vor, Sie besitzen eine riesige, unvollständige Enzyklopädie voller Fakten (einen Knowledge Graph). Sie weiß, dass „Paris die Hauptstadt von Frankreich ist“, aber sie weiß nicht, wer der aktuelle Präsident eines bestimmten Landes ist.

Um diese Lücken zu füllen, nutzen Wissenschaftler Knowledge Graph Embedding Models (KGEMs). Betrachten Sie diese Modelle als magische Kristallkugeln. Sie fragen die Kristallkugel: „Wer ist der Präsident?“ und sie schaut sich alle Fakten an, die sie kennt, führt komplexe mathematische Berechnungen durch und sagt die Antwort voraus.

Die Arbeit argumentiert, dass diese Kristallkugeln zwar im Durchschnitt großartig darin sind, die richtige Antwort zu finden, aber unglaublich unzuverlässig sind, wenn man sich die spezifischen Details ansieht. Wenn Sie derselben Kristallkugel zweimal dieselbe Frage stellen, aber eine Münze werfen, um zu entscheiden, wie der Prozess startet (ein „Random Seed“), erhalten Sie unter Umständen zwei völlig unterschiedliche Listen von Top-Kandidaten, obwohl die Kristallkelle beide Male behauptet, gleichermaßen sicher zu sein.

Das Kernproblem: „Gleiche Punktzahl, andere Geschichte“

In der Welt des maschinellen Lernens bewerten wir diese Modelle normalerweise mit einem einzigen Wert, wie zum Beispiel MRR (Mean Reciprocal Rank). Betrachten Sie diesen Wert als eine Schulnote.

Das Ergebnis der Arbeit: Wenn man ein Modell fünfmal mit verschiedenen Random Seeds trainiert, erhalten sie alle eine „Eins“ (einen hohen MRR-Wert).
Der Haken: Obwohl sie alle eine „Eins“ bekommen haben, sind die Antworten, die sie geben, völlig unterschiedlich.

Die Analogie: Die Restaurantbewertung
Stellen Sie sich drei Essenskritiker (die Modelle) vor, die ein Restaurant bewerten.

Kritiker 1, 2 und 3 geben alle dem Restaurant eine 5-Sterne-Bewertung (hoher MRR).
Wenn Sie sie jedoch fragen, was ihre Top-3-Lieblingsgerichte sind:
- Sagt Kritiker 1: Steak, Salat, Suppe.
- Sagt Kritiker 2: Pizza, Tacos, Sushi.
- Sagt Kritiker 3: Burger, Pommes, Eiscreme.

Wenn Sie ein Kunde wären, der versucht zu entscheiden, was er bestellen soll, basierend nur auf der 5-Sterne-Bewertung, würden Sie denken, dass sie sich alle einig sind. In Wirklichkeit empfehlen sie aber völlig unterschiedliche Mahlzeiten. Wenn Sie ein Arzt sind, der versucht, eine Behandlung für eine Krankheit zu finden (ein in der Arbeit erwähnter realer Anwendungsfall), ist es gefährlich, aufgrund eines Münzwurfs eine Liste mit „Burgern“ statt „Medizin“ zu erhalten.

Die Untersuchung: Was verursacht das Chaos?

Die Autoren agierten wie Detektive, um herauszufinden, warum diese Modelle ihre Meinung ändern. Sie isolierten die „zufälligen Zutaten“ im Trainingsprozess:

Initialisierung: Wie das Gehirn des Modells startet (wie das Würfeln, um die anfänglichen Gewichte festzulegen).
Triple Ordering: Die Reihenfolge, in der das Modell die Fakten liest (wie das Lesen eines Buches von Seite 1 bis 100 gegenüber Seite 100 bis 1).
Negative Sampling: Wie das Modell lernt, was falsch ist (wie ein Lehrer, der einem Schüler falsche Antworten gibt, um ihn zu korrigieren).
Dropout: Das zufällige Ausschalten von Teilen des Gehirns des Modells während des Trainings (wie ein Schüler, der eine Prüfung mit geschlossenen Augen ablegt).
Hardware: Der eigentliche Computerchip (GPU), der verwendet wird, um das Modell auszuführen.

Die schockierende Entdeckung:
Die Arbeit fand heraus, dass es ausreicht, nur eine dieser Zutaten zu ändern, um massives Chaos zu verursachen.

Die Analogie: Stellen Sie sich vor, Sie backen einen Kuchen. Wenn Sie die Marke des Mehls ändern, die Ofentemperatur ändern oder die Reihenfolge ändern, in der Sie die Eier mischen, erhalten Sie vielleicht einen Kuchen, der geschmacklich exakt gleich ist (gleicher MRR-Wert), aber eine völlig andere Textur oder Form hat (andere Vorhersagen).
Der Hardware-Twist: Sie fanden sogar heraus, dass die Verwendung einer anderen Marke eines Computerchips (GPU) das gleiche Ausmaß an Chaos verursachte wie das Ändern der Random Seeds. Das bedeutet, wenn Sie ein Modell auf einem Computer in New York trainieren und es auf einem Computer in Tokio ausführen, erhalten Sie möglicherweise unterschiedliche Ergebnisse, selbst wenn Sie exakt denselben Code verwenden.

Die „Voting“-Lösung: Funktioniert es?

Die Autoren testeten eine gängige Lösung namens Voting. Dies ist vergleichbar mit der Frage an fünf verschiedene Kritiker, welches Gericht das beste ist, und der anschließenden Abstimmung nach der Mehrheit.

Das Ergebnis: Voting half ein wenig. Es machte die Modelle etwas konsistenter.
Die Grenze: Es löste das Problem nicht vollständig. Die Modelle stimmten sich immer noch in vielen Details nicht ein. Zudem kostet es mehr Zeit und Geld, fünf Modelle anstatt eines zu trainieren.

Das Fazament: Leistung $\neq$ Stabilität

Die wichtigste Erkenntnis ist: Eine hohe Punktzahl garantiert keine Zuverlässigkeit.

Der alte Weg: „Dieses Modell hat die höchste Punktzahl, also ist es das beste.“
Die neue Realität: „Dieses Modell hat die höchste Punktzahl, aber es ist ein Glücksspiel. Es kann dir heute die richtige Antwort geben und morgen eine völlig andere (aber ebenso ‚hochpunktende‘) Antwort.“

Die Arbeit kommt zu dem Schluss, dass wir aufhören müssen, nur auf die „Schulnote“ (MRR) zu schauen, und statfangen müssen zu prüfen, ob das Modell stabil ist. Wenn wir diese Modelle für reale Entscheidungen einsetzen (wie bei der Suche nach Medikamenten oder der Vervollständigung von Wissensdatenbanken), müssen wir wissen, dass das Modell nicht jedes Mal, wenn wir es ausführen, nur raten.

Zusammenfassung in einem Satz

Nur weil ein Knowledge-Graph-Modell bei einem Test eine hohe Punktzahl erreicht, heißt das nicht, dass es vertrauenswürdig ist; winzige zufällige Änderungen in der Art und Weise, wie es trainiert wurde, können dazu führen, dass es völlig unterschiedliche Antworten gibt, was es riskant macht, es für wichtige Entscheidungen heranzuziehen.

Technisches Resümee: Link Prediction oder Perdition: Die Keime der Instabilität in Knowledge Graph Embeddings

1. Problemstellung

Knowledge Graph Embedding Models (KGEMs) sind der dominierende Ansatz für Knowledge Graph Completion (KGC) mittels Link Prediction. Standardmäßige Evaluierungsprotokolle verlassen sich stark auf aggregierte rangbasierte Metriken wie den Mean Reciprocal Rank (MRR) und Hits@K. Diese Metriken vernachlässigen jedoch häufig den Einfluss von Zufalls-Seeds auf die Stabilität der Ergebnisse.

Das Kernproblem besteht darin, dass eine hohe aggregierte Leistung keine Stabilität auf der Ebene der einzelnen Triples oder innerhalb des Embedding-Raums garantiert. Zwei Modelle, die mit unterschiedlichen Zufalls-Seeds trainiert wurden, können identische MRR-Scores erzielen, aber signifikant unterschiedliche Top-K-Vorhersagen produzieren. In operativen Umgebungen (z. B. Wirkstoffforschung oder automatisierte Graph-Vervollständigung) führt diese seed-abhängige Variabilität zu divergierenden vervollständigten Graphen, was die Zuverlässigkeit von KGEMs für nachgeschaltete Entscheidungsfindungen untergräbt. Darüber hinaus wurde die Stabilität des gelernten Embedding-Raums selbst im Hinblick auf Zufälligkeit trotz dessen Wiederverwendung in Aufgaben wie Entitätsähnlichkeit und Clustering in der bestehenden Literatur kaum untersucht.

2. Methodik

Die Autoren führten eine systematische Stabilitätsanalyse über mehrere KGEMs und Datensätze hinweg unter Verwendung eines kontrollierten experimentellen Protokolls durch.

Experimentelles Setup:

Modelle: Es wurden repräsentative Modelle aus drei Familien ausgewählt: Geometrisch (TransE, RotatE), Tensor-Faktorisierung (DistMult, ComplEx) und Neuronale Netze (ConvE, RGCN, Transformer).
Datensätze: Standard-Benchmarks einschließlich WN18RR, FB15k-237 und CoDEx-S.
Zufallsquellen: Die Studie isolierte vier unabhängige stochastische Faktoren, die in ML-Trainings üblich sind:
1. Parameter-Initialisierung ( $I$ )
2. Triple-Reihenfolge ( $O$ )
3. Negative Sampling ( $N$ )
4. Dropout ( $D$ )
- Zusätzlich wurde Hardware (GPU-Typ) als eine Quelle der Zufälligkeit identifiziert.
Hyperparameter-Suche: Eine Grid-Suche wurde durchgeführt, um Konfigurationen mit variierenden Leistungsniveaus (Best, Median, Worst) zu identifizieren, um die Korrelation zwischen Leistung und Stabilität zu testen.

Vorgeschlagene Metriken:
Um über aggregierte Ränge hinauszugehen, führten die Autoren Metriken ein, die sich auf die Ähnlichkeit von Vorhersagen und Embedding-Räumen konzentrieren:

Pred-Overlap@K: Misst die Schnittmenge der Top-K vorhergesagten Entitäten für eine gegebene Abfrage über verschiedene Modellinstanzen hinweg.
Space-Overlap@K: Misst die Schnittmenge der $K$ nächsten Nachbarn im Embedding-Raum für jede Entität, um die Stabilität der gelernten latenten Struktur zu bewerten.
Consistency@K & Homogeneity@K: Aggregierte Metriken, die den Anteil der Entitäten quantifizieren, die gleichzeitig in den Top-K-Listen aller Durchläufe erscheinen, sowie die Dispersion der Kandidaten.

3. Zentrale Beiträge

Systematische Stabilitätsanalyse: Die Arbeit liefert die erste umfassende Quantifizierung dessen, wie Zufalls-Seeds sowohl das Vorhersageverhalten (Top-K Kandidaten) als auch die interne Organisation (Embedding-Raum) von KGEMs beeinflussen.
Entkopplung von Leistung und Stabilität: Die Studie zeigt, dass hohe MRR-Scores keine stabilen Vorhersagen oder Embedding-Räume garantieren.
Identifizierung von Hardware-Instabilität: Die Autoren identifizieren Hardware (speziell GPU-Architekturen) als eine signifikante Quelle der Instabilität, die vergleichbar mit der Variation von Zufalls-Seeds ist, was die Reproduzierbarkeit in Cloud-Umgebungen infrage stellt.
Grenzen der Behebung: Die Arbeit evaluiert „Voting“ (Ensemble-Methoden) als Minderungsstrategie und stellt fest, dass diese nur eine begrenzte Verbesserung bietet und nicht ausreicht, um den Embedding-Raum zu stabilisieren.

4. Kernergebnisse

Aggregierte Metriken maskieren Instabilität: Während MRR und Hits@K eine geringe Varianz über die Seeds hinweg zeigen, sind die tatsächlichen Vorhersagen hochgradig divergent. Beispielsweise teilten zwei RotatE-Instanzen mit unterschiedlichen Seeds auf FB15k-237 im Durchschnitt nur etwa 4,3 der Top-10 vorhergesagten Entitäten.
Divergenz auf Triple-Ebene: Selbst wenn die Ground-Truth-Entität ähnlich gerankt wird, unterscheiden sich die Nicht-Ground-Truth-Kandidaten drastisch. In einigen Fällen produzierten Durchläufe mit identischem MRR völlig unterschiedliche Sets an Top-10-Entitäten (Pred-Overlap@10 so niedrig wie 0,17).
Instabilität des Embedding-Raums: Auch die Organisation des Embedding-Raums ist instabil. Die Nachbarn im latenten Raum variieren zwischen den Durchläufen erheblich, was darauf hindeutet, dass Modelle trotz ähnlicher globaler Leistung unterschiedliche latente Strukturen lernen.
Quellen der Zufälligkeit: Die Variation jeder einzelnen Zufallsquelle (Initialisierung, Reihenfolge, Sampling, Dropout) induziert unabhängig voneinander eine Instabilität vergleichbarer Größenordnung. Keine einzelne Quelle dominiert; die Instabilität ist inhärent im Trainingsprozess begründet.
Hardware-Einfluss: Das Training identischer Konfigurationen auf unterschiedlichen GPUs (z. B. RTX 2080 Ti vs. A100) führte zu Instabilitätsniveaus, die mit der Variation von Zufalls-Seeds vergleichbar waren.
Korrelation zwischen Leistung und Stabilität: Schlecht performende Modelle sind generell weniger stabil. Unter den leistungsstarken und mittelmäßigen Modellen gibt es jedoch keine klare Korrelation; ein höherer MRR garantiert keine größere Stabilität.
Modell-Varianz: TransE wies eine deutlich höhere Stabilität auf als andere Architekturen (z. B. RotatE, ConvE), was darauf hindeutet, dass architektonische Unterschiede eine Rolle spielen.
Limitierungen von Voting: Während Ensemble-Voting die Vorhersage-Überlappung verbesserte, konnte es die Instabilität nicht eliminieren und war nicht anwendbar, um den Embedding-Raum zu stabilisieren.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass aktuelle Benchmarking-Protokolle unzureichend sind, um die Zuverlässigkeit von KGEMs in operativen Settings zu bewerten. Die Ergebnisse verdeutlichen kritische Einschränkungen:

Zuverlässigkeitsbedenken: Die seed-abhängige Instabilität bedeutet, dass das Hinzufügen von Top-K-Vorhersagen zu einem Knowledge Graph substanziell unterschiedliche vervollständigte Graphen ergeben kann, was potenziell zu inkonsistenten oder unzuverlässigen nachgeschalteten Entscheidungen führt.
Validität des Embedding-Raums: Die Instabilität von Embedding-Räumen stellt die Validität nachgeschalteter Aufgaben infrage, die auf diesen Räumen basieren, wie etwa die Bewertung der Entitätsähnlichkeit, konzeptionelles Clustering oder logisches Rule-Mining, welche eine stabile latente Struktur voraussetzen.
Reproduzierbarkeitskrise: Die Sensitivität gegenüber Hardware und geringfügigen stochastischen Entscheidungen stellt eine erhebliche Herausforderung für die Reproduzierbarkeit dar, insbesondere in Cloud-Computing-Szenarien.
Reform der Evaluierung: Die Autoren plädieren für einen Wandel in der Evaluierungspraxis, indem Stabilität als eine eigenständige Dimension neben der Leistung behandelt wird. Sie schlagen vor, dass die Modellauswahl nicht allein auf dem MRR basieren sollte, sondern die Robustheit über verschiedene Zufalls-Seeds und Hardware-Konfigurationen hinweg berücksichtigen muss.

Das Paper kommt zu dem Schluss, dass KGEMs zwar effektiv für das Ranking sind, ihr aktueller Mangel an Stabilität sie jedoch für Anwendungen riskant macht, die eine konsistente, deterministische Graph-Vervollständigung oder die Nutzung der geometrischen Eigenschaften des Embedding-Raums erfordern. Zukünftige Arbeiten sollten sich auf das Design von stabilitätsbewussten Architekturen oder Trainingsverfahren konzentrieren.