Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

Technisches Fazit: Verbesserung des kontinuierlichen Lernens von Knowledge-Graph-Embeddings durch informierte Initialisierung

Problemstellung
Wissensgraphen (KGs) sind dynamische Strukturen, die sich häufig durch das Hinzufügen neuer Tripel weiterentwickeln. In Szenarien wie Empfehlungssystemen sind diese Updates oft klein und häufig, was erfordert, dass sich Knowledge-Graph-Embeddings (KGEs) anpassen, ohne eine vollständige Neukalibrierung zu benötigen. Techniken des kontinuierlichen Lernens (Continual Learning, CL) adressieren dies, indem sie Embeddings für neue Entitäten lernen und gleichzeitig bestehende aktualisieren. Ein kritischer Engpass in aktuellen CL-Methoden ist jedoch die Initialisierung neuer Embeddings.

Die Standardpraxis, die vom statischen Training übernommen wurde, beinhaltet die zufällige Initialisierung neuer Entitäts-Embeddings (z. B. via Xavier- oder He-Initialisierung). Dieser Ansatz wirft zwei wesentliche Probleme auf:

1. Trainingseffizienz: Die zufällige Initialisierung platziert neue Embeddings weit von ihren optimalen Positionen entfernt, was mehr Trainings-Epochen und -Zeit für die Konvergenz erfordert.
2. Katastrophales Vergessen: Wenn neue Tripel bereits existierende Entitäten enthalten, zwingt der große Trainingsverlust, der durch schlecht initialisierte neue Embeddings verursacht wird, zu erheblichen Anpassungen des gesamten Tripels während der Optimierung. Dies stört zuvor gelernte Repräsentationen und führt zum Verlust alten Wissens (katastrophales Vergessen).

Bestehende CL-spezifische Initialisierungsmethoden (z. B. in LKGE oder incDE) versuchen, neue Positionen basierend auf den geometrischen Einschränkungen spezifischer translationaler Modelle (wie TransE) abzuleiten. Diese Ansätze sind jedoch oft modellspezifisch und verlassen sich auf invertierbare Bewertungsfunktionen, die für viele moderne KGE-Modelle (z. B. semantische Matching-Modelle oder neuronale Netzwerk-basierte Modelle wie ConvE) nicht existieren, wodurch sie für eine breite Palette von Architekturen unanwendbar sind.

Methodik
Die Autoren schlagen eine modellagnostische, schemabasierte informierte Initialisierungsstrategie für neue Entitäts-Embeddings in Szenarien des kontinuierlichen Lernens vor. Die Methode nutzt das KG-Schema (Entitätsklassen) und die Verteilung zuvor gelernter Embeddings, um initiale Repräsentationen zu generieren.

Der Kernalgorithmus läuft wie folgt ab:

1. Klassen-Zentroide: Für jede im KG-Schema definierte Entitätsklasse $c$ wird ein Zentroid-Embedding $v_c$ als Mittelwert der Embeddings aller bestehenden Entitäten dieser Klasse berechnet.
2. Intra-Klassen-Variation: Die Standardabweichung $\sigma_c$ der Embeddings innerhalb jeder Klasse wird berechnet, um die Vielfalt innerhalb der Klasse zu erfassen.
3. Initialisierung: Für eine neue Entität $e$, die zu einer Menge von Klassen $C_e$ gehört, wird ihr initiales Embedding als Durchschnitt der Zentroide ihrer Klassen berechnet, ergänzt durch eine stochastische Perturbation:
   $$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$$
   Dabei ist $\gamma$ ein Hyperparameter, der die Perturbationsstärke steuert, $\mathbf{r}_c$ ein Zufallsvektor und $\odot$ die elementweise Multiplikation bezeichnet.

Dieser Ansatz stellt sicher, dass neue Entitäten mit latenter semantischer Information starten, die sich aus ihren Klassenmitgliedschaften ableitet, und sie näher an ihre wahrscheinlichen finalen Repräsentationen positioniert. Die stochastische Komponente verhindert degenerierte Fälle, in denen Entitäten mit identischen Klassenmitgliedschaften identische Embeddings erhalten. Einmal initialisiert, kann jede Standard-CL-Technik (z. B. Fine-Tuning, EWC, Rehearsal) angewendet werden, um die Embeddings unter Verwendung der neuen Tripel zu aktualisieren.

Hauptbeiträge

1. Informierte Initialisierungsstrategie: Eine neuartige Methode zur Initialisierung von KGEs im kontinuierlichen Lernen, die das KG-Schema und bestehende Embeddings nutzt und über verschiedene KGE-Modelle hinweg anwendbar ist, ohne architektonische Änderungen zu erfordern.
2. Empirische Validierung von Effizienz und Leistung: Der Nachweis, dass die vorgeschlagene Strategie die Trainingszeit (Epochen) signifikant reduziert und gleichzeitig die Vorhersageleistung im Vergleich zu zufälligen und modellspezifischen Initialisierungsbasen verbessert.
3. Neue Evaluierungsmetriken: Die Einführung angepasster Metriken ($\Omega_{base}$ und $\Omega_{new}$) zur Quantifizierung von Wissensretention und -akquisition im KGE-kontinuierlichen Lernen, abgeleitet aus dem inkrementellen Aufgabenlernen in neuronalen Netzen.
4. Umfassende Evaluierung: Umfassende Experimente zur Bewertung der Methode über verschiedene kontinuierliche Lernalgorithmen (Fine-Tuning, EWC, EMR, LKGE, incDE) und KGE-Modellfamilien (Translational und Semantisches Matching).

Experimentelle Ergebnisse
Die Autoren bewerteten ihren Ansatz an drei Datensätzen (FBinc-S, FBinc-M, FBinc-L), die von FB15K-237 abgeleitet sind und inkrementelle Updates unterschiedlicher Größe aufweisen. Zu den wichtigsten Erkenntnissen gehören:

• Leistungssteigerungen: Die schemabasierte Initialisierung übertraf konsistent die zufällige Initialisierung und in vielen Fällen auch die modellspezifische Initialisierung. Sie verbesserte sowohl die Wissensretention ($\Omega_{base}$) als auch die Akquisition ($\Omega_{new}$). Beispielsweise erhöhte die Schema-Initialisierung bei nicht regularisierten Methoden wie Fine-Tuning und EMR die Wissensretention um bis zu 30 % und die Akquisition neuen Wissens um bis zu 65 % auf kleineren Datensätzen.
• Beschleunigung des Trainings: Die informierte Initialisierung reduzierte die Anzahl der für die Konvergenz erforderlichen Epochen erheblich. Im Vergleich zur zufälligen Initialisierung wurde die Zeit bis zur Konvergenz bei den meisten Methoden um einen Faktor zwischen 2,16 und 2,67 verkürzt.
• Modellagnostizismus: Die Methode erwies sich als effektiv sowohl bei translationalen Modellen (TransH, RotatE, TransR) als auch bei semantischen Matching-Modellen (DistMult, HolE, ProjE). Bei Modellen, die unter zufälliger Initialisierung anfällig für katastrophales Vergessen sind (z. B. RotatE, TransR), milderte die Schema-Initialisierung diese Effekte ab.
• Rechenkosten: Der Initialisierungsprozess selbst ist rechnerisch vernachlässigbar (um Größenordnungen schneller als eine einzelne Trainingsepoch) und skaliert effizient, da er nur die Aufrechterhaltung von Klassen-Zentroiden und Standardabweichungen zwischen Updates erfordert.

Bedeutung und Behauptungen
Die Autoren behaupten, dass die informierte Initialisierung ein grundlegender, jedoch oft übersehener Schritt im kontinuierlichen Lernen für KGEs ist. Indem sie einen semantisch fundierten Ausgangspunkt bietet, ermöglicht die Methode:

• Beschleunigung des Wissenserwerbs: Neue Informationen werden schneller gelernt, was die Rechenkosten für inkrementelle Updates senkt.
• Milderung des katastrophalen Vergessens: Durch die Minimierung des anfänglichen Abstands zu optimalen Positionen reduziert die Methode die störenden Anpassungen, die für bestehende Embeddings während der Optimierung neuer Tripel erforderlich sind.
• Verbesserung der Generalisierbarkeit: Im Gegensatz zu früheren CL-spezifischen Methoden ist dieser Ansatz nicht an die geometrischen Einschränkungen spezifischer KGE-Modelle gebunden, was ihn zu einem vielseitigen Plug-in für bestehende kontinuierliche Lern-Pipelines macht.

Die Autoren schließen daraus, dass diese Strategie die Vorhersageleistung nachgelagerter Aufgaben verbessert und die Effizienz des kontinuierlichen Lernens erhöht, wodurch sie eine wertvolle Ergänzung des Werkzeugkastens für die Verwaltung dynamischer Wissensgraphen darstellt.