Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

Technische Samenvatting: Verbetering van Continu Leren van Kennisgraf-Embeddings via Geïnformeerde Initialisatie

Probleemstelling
Kennisgrafen (KG's) zijn dynamische structuren die zich vaak ontwikkelen door de toevoeging van nieuwe triples. In scenario's zoals aanbevelingssystemen zijn deze updates vaak klein en frequent, waardoor het noodzakelijk is dat Kennisgraf-Embeddings (KGE's) zich aanpassen zonder volledige herberekening. Continu lerende (CL) technieken lossen dit op door embeddings voor nieuwe entiteiten te leren terwijl bestaande worden bijgewerkt. Een kritieke knelpunt in huidige CL-methoden is echter de initialisatie van nieuwe embeddings.

De standaardpraktijk, overgenomen van statisch trainen, bestaat uit het willekeurig initialiseren van nieuwe entiteitsembeddings (bijvoorbeeld via Xavier- of He-initialisatie). Deze aanpak presenteert twee significante problemen:

1. Trainings-efficiëntie: Willekeurige initialisatie plaatst nieuwe embeddings ver van hun optimale posities, wat meer trainings-epochs en tijd vereist om te convergeren.
2. Catastrofaal Vergeten: Wanneer nieuwe triples eerder bestaande entiteiten bevatten, dwingt de grote trainingsverlies veroorzaakt door slecht geïnitieerde nieuwe embeddings aanzienlijke aanpassingen aan de hele triple tijdens de optimalisatie. Dit verstoort eerder geleerde representaties, wat leidt tot het verlies van oude kennis (catastrofaal vergeten).

Bestaande CL-specifieke initialisatiemethoden (bijvoorbeeld in LKGE of incDE) proberen nieuwe posities af te leiden op basis van de geometrische beperkingen van specifieke translatiemodellen (zoals TransE). Deze benaderingen zijn echter vaak model-specifiek, afhankelijk van inverteerbare scorefuncties die niet bestaan voor veel moderne KGE-modellen (bijvoorbeeld semantische matching-modellen of op neurale netwerken gebaseerde modellen zoals ConvE), waardoor ze ontoepasbaar zijn voor een breed scala aan architecturen.

Methodologie
De auteurs stellen een model-onafhankelijke, schema-gebaseerde geïnformeerde initialisatiestrategie voor nieuwe entiteitsembeddings in scenario's voor continu leren voor. De methode maakt gebruik van het KG-schema (entiteitsklassen) en de verdeling van eerder geleerde embeddings om initiële representaties te genereren.

Het kernalgoritme verloopt als volgt:

1. Klassecentroïden: Voor elke entiteitsklasse $c$ gedefinieerd in het KG-schema wordt een centroïde-embedding $v_c$ berekend als het gemiddelde van de embeddings van alle bestaande entiteiten die tot die klasse behoren.
2. Intra-klasse Variatie: De standaardafwijking $\sigma_c$ van embeddings binnen elke klasse wordt berekend om intra-klasse diversiteit te vangen.
3. Initialisatie: Voor een nieuwe entiteit $e$ die behoort tot een set klassen $C_e$, wordt de initiële embedding berekend als het gemiddelde van de centroïden van zijn klassen, verrijkt met een stochastische verstoring:
   $$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$$
   Waar $\gamma$ een hyperparameter is die de grootte van de verstoring regelt, $\mathbf{r}_c$ een willekeurige vector is, en $\odot$ elementsgewijze vermenigvuldiging aanduidt.

Deze aanpak zorgt ervoor dat nieuwe entiteiten beginnen met latente semantische informatie afgeleid van hun klassetoewijzingen, waardoor ze dichter bij hun waarschijnlijke uiteindelijke representaties worden gepositioneerd. Het stochastische onderdeel voorkomt degeneratieve gevallen waarbij entiteiten met identieke klassetoewijzingen identieke embeddings ontvangen. Eenmaal geïnitieerd, kan elke standaard continu lerende techniek (bijvoorbeeld fine-tuning, EWC, rehearsal) worden toegepast om de embeddings bij te werken met de nieuwe triples.

Belangrijkste Bijdragen

1. Geïnformeerde Initialisatiestrategie: Een nieuwe methode voor het initialiseren van KGE's in continu leren die gebruikmaakt van het KG-schema en bestaande embeddings, toepasbaar op diverse KGE-modellen zonder dat architecturale aanpassingen nodig zijn.
2. Empirische Validatie van Efficiëntie en Prestaties: Aantonen dat de voorgestelde strategie de trainingsduur (epochs) aanzienlijk verkort terwijl de voorspellende prestaties verbeteren in vergelijking met willekeurige en model-specifieke initialisatie-baselines.
3. Nieuwe Evaluatiemetrics: De introductie van aangepaste metrics ($\Omega_{base}$ en $\Omega_{new}$) om kennisbehoud en -verwerving in KGE continu leren te kwantificeren, afgeleid van incrementele taaklearning in neurale netwerken.
4. Uitgebreide Evaluatie: Uitgebreide experimenten die de methode evalueren over diverse continu lerende algoritmen (Fine-tuning, EWC, EMR, LKGE, incDE) en KGE-modelfamilies (Translatie en Semantische Matching).

Experimentele Resultaten
De auteurs evalueerden hun aanpak op drie datasets (FBinc-S, FBinc-M, FBinc-L) afgeleid van FB15K-237, met incrementele updates van variërende grootte. Belangrijkste bevindingen zijn:

• Prestatiewinst: De schema-gebaseerde initialisatie presteerde consequent beter dan willekeurige initialisatie en, in veel gevallen, dan model-specifieke initialisatie. Het verbeterde zowel kennisbehoud ($\Omega_{base}$) als -verwerving ($\Omega_{new}$). Bijvoorbeeld, in niet-geregulariseerde methoden zoals Fine-tuning en EMR, verhoogde schema-initialisatie het kennisbehoud met tot 30% en de verwerving van nieuwe kennis met tot 65% op kleinere datasets.
• Versnelling van Training: De geïnformeerde initialisatie verminderde het aantal benodigde epochs om convergentie te bereiken aanzienlijk. In vergelijking met willekeurige initialisatie werd de tijd tot convergentie met een factor tussen 2,16 en 2,67 gereduceerd voor de meeste methoden.
• Model-onafhankelijkheid: De methode bleek effectief voor zowel translatiemodellen (TransH, RotatE, TransR) als semantische matching-modellen (DistMult, HolE, ProjE). In modellen die vatbaar zijn voor catastrofaal vergeten onder willekeurige initialisatie (bijvoorbeeld RotatE, TransR), mitigeerde de schema-initialisatie deze effecten.
• Berekeningskosten: Het initialisatieproces zelf is computatieverwaarloosbaar (ordes van grootte sneller dan een enkele trainings-epoch) en schaalt efficiënt, aangezien het alleen het bijhouden van klassecentroïden en standaardafwijkingen tussen updates vereist.

Betekenis en Claims
Het artikel claimt dat geïnformeerde initialisatie een fundamentele, maar vaak over het hoofd geziene, stap is in continu leren voor KGE's. Door een semantisch onderbouwde startpunt te bieden, doet de methode het volgende:

• Versnelt Kennisverwerving: Nieuwe informatie wordt sneller geleerd, wat de berekeningskosten van incrementele updates verlaagt.
• Mitigeert Catastrofaal Vergeten: Door de initiële afstand tot optimale posities te minimaliseren, reduceert de methode de verstorende aanpassingen die nodig zijn voor bestaande embeddings tijdens de optimalisatie van nieuwe triples.
• Versterkt Generaliseerbaarheid: In tegenstelling tot eerdere CL-specifieke methoden is deze aanpak niet gebonden aan de geometrische beperkingen van specifieke KGE-modellen, waardoor het een veelzijdige plug-in is voor bestaande continu lerende pipelines.

De auteurs concluderen dat deze strategie de voorspellende prestaties van downstream-taken verbetert en de efficiëntie van continu leren verhoogt, waardoor het een waardevolle aanvulling is op de toolkit voor het beheer van dynamische Kennisgrafen.