Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

Résumé Technique : Amélioration de l'Apprentissage Continu des Représentations de Graphes de Connaissances via une Initialisation Informée

Énoncé du Problème
Les Graphes de Connaissances (KG) sont des structures dynamiques qui évoluent fréquemment par l'ajout de nouvelles triples. Dans des scénarios tels que les systèmes de recommandation, ces mises à jour sont souvent petites et fréquentes, nécessitant que les Représentations de Graphes de Connaissances (KGE) s'adaptent sans exiger un réentraînement complet. Les techniques d'apprentissage continu (CL) répondent à ce besoin en apprenant des représentations pour de nouvelles entités tout en mettant à jour les existantes. Cependant, un goulot d'étranglement critique dans les méthodes CL actuelles réside dans l'initialisation des nouvelles représentations.

La pratique standard, héritée de l'entraînement statique, consiste à initialiser aléatoirement les nouvelles représentations d'entités (par exemple, via les initialisations de Xavier ou He). Cette approche présente deux problèmes majeurs :

1. Efficacité de l'entraînement : L'initialisation aléatoire place les nouvelles représentations loin de leurs positions optimales, nécessitant davantage d'époques d'entraînement et de temps pour converger.
2. Oubli Catastrophique : Lorsque les nouvelles triples incluent des entités déjà existantes, la forte perte d'entraînement causée par de nouvelles représentations mal initialisées force des ajustements significatifs à l'ensemble de la triple lors de l'optimisation. Cela perturbe les représentations apprises précédemment, entraînant la perte des anciennes connaissances (oubli catastrophique).

Les méthodes d'initialisation spécifiques au CL existantes (par exemple, dans LKGE ou incDE) tentent d'inférer de nouvelles positions basées sur les contraintes géométriques de modèles translationnels spécifiques (comme TransE). Cependant, ces approches sont souvent spécifiques au modèle, reposant sur des fonctions de scoring inversibles qui n'existent pas pour de nombreux modèles KGE modernes (par exemple, les modèles d'appariement sémantique ou les modèles basés sur des réseaux de neurones comme ConvE), les rendant inapplicables à un large éventail d'architectures.

Méthodologie
Les auteurs proposent une stratégie d'initialisation informée, agnostique du modèle et basée sur le schéma, pour les nouvelles représentations d'entités dans les scénarios d'apprentissage continu. La méthode exploite le schéma du KG (classes d'entités) et la distribution des représentations préalablement apprises pour générer des représentations initiales.

L'algorithme central procède comme suit :

1. Centroïdes de Classe : Pour chaque classe d'entités $c$ définie dans le schéma du KG, un centroïde de représentation $v_c$ est calculé comme la moyenne des représentations de toutes les entités existantes appartenant à cette classe.
2. Variation Intra-classe : L'écart-type $\sigma_c$ des représentations au sein de chaque classe est calculé pour capturer la diversité intra-classe.
3. Initialisation : Pour une nouvelle entité $e$ appartenant à un ensemble de classes $C_e$, sa représentation initiale est calculée comme la moyenne des centroïdes de ses classes, augmentée d'une perturbation stochastique :
   $$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$$
   Où $\gamma$ est un hyperparamètre contrôlant l'amplitude de la perturbation, $\mathbf{r}_c$ est un vecteur aléatoire, et $\odot$ désigne la multiplication élément par élément.

Cette approche garantit que les nouvelles entités commencent avec des informations sémantiques latentes dérivées de leurs appartenances de classes, les positionnant plus près de leurs représentations finales probables. La composante stochastique empêche les cas dégénérés où des entités ayant des appartenances de classes identiques recevraient des représentations identiques. Une fois initialisées, n'importe quelle technique standard d'apprentissage continu (par exemple, ajustement fin, EWC, répétition) peut être appliquée pour mettre à jour les représentations en utilisant les nouvelles triples.

Contributions Clés

1. Stratégie d'Initialisation Informée : Une méthode novatrice pour initialiser les KGE dans l'apprentissage continu qui utilise le schéma du KG et les représentations existantes, applicable à travers divers modèles KGE sans nécessiter de modifications architecturales.
2. Validation Empirique de l'Efficacité et de la Performance : Démonstration que la stratégie proposée réduit considérablement le temps d'entraînement (époques) tout en améliorant les performances prédictives par rapport aux initiales aléatoires et spécifiques au modèle.
3. Nouvelles Métriques d'Évaluation : L'introduction de métriques adaptées ($\Omega_{base}$ et $\Omega_{new}$) pour quantifier la rétention et l'acquisition de connaissances dans l'apprentissage continu des KGE, dérivées de l'apprentissage de tâches incrémentielles dans les réseaux de neurones.
4. Évaluation Complète : Expériences extensives évaluant la méthode à travers divers algorithmes d'apprentissage continu (Ajustement fin, EWC, EMR, LKGE, incDE) et familles de modèles KGE (Translationnels et d'Appariement Sémantique).

Résultats Expérimentaux
Les auteurs ont évalué leur approche sur trois jeux de données (FBinc-S, FBinc-M, FBinc-L) dérivés de FB15K-237, présentant des mises à jour incrémentielles de tailles variées. Les principaux résultats incluent :

• Gains de Performance : L'initialisation basée sur le schéma a systématiquement surpassé l'initialisation aléatoire et, dans de nombreux cas, l'initialisation spécifique au modèle. Elle a amélioré à la fois la rétention de connaissances ($\Omega_{base}$) et l'acquisition ($\Omega_{new}$). Par exemple, dans les méthodes non régularisées comme l'Ajustement fin et EMR, l'initialisation par schéma a augmenté la rétention de connaissances jusqu'à 30 % et l'acquisition de nouvelles connaissances jusqu'à 65 % sur les petits jeux de données.
• Accélération de l'Entraînement : L'initialisation informée a considérablement réduit le nombre d'époques nécessaires pour atteindre la convergence. Par rapport à l'initialisation aléatoire, le temps de convergence a été réduit d'un facteur compris entre 2,16 et 2,67 pour la plupart des méthodes.
• Agnosticisme du Modèle : La méthode s'est avérée efficace à la fois sur les modèles translationnels (TransH, RotatE, TransR) et les modèles d'appariement sémantique (DistMult, HolE, ProjE). Dans les modèles sujets à l'oubli catastrophique sous initialisation aléatoire (par exemple, RotatE, TransR), l'initialisation par schéma a atténué ces effets.
• Coût Computationsnel : Le processus d'initialisation lui-même est computationnellement négligeable (plusieurs ordres de grandeur plus rapide qu'une seule époque d'entraînement) et s'étend efficacement, car il nécessite uniquement de maintenir les centroïdes de classe et les écarts-types entre les mises à jour.

Signification et Revendications
L'article revendique que l'initialisation informée est une étape fondamentale, mais souvent négligée, dans l'apprentissage continu pour les KGE. En fournissant un point de départ ancré sémantiquement, la méthode :

• Accélère l'Acquisition de Connaissances : Les nouvelles informations sont apprises plus rapidement, réduisant le coût computationnel des mises à jour incrémentielles.
• Atténue l'Oubli Catastrophique : En minimisant la distance initiale aux positions optimales, la méthode réduit les ajustements disruptifs requis pour les représentations existantes lors de l'optimisation des nouvelles triples.
• Améliore la Généralisabilité : Contrairement aux méthodes CL spécifiques précédentes, cette approche n'est pas liée aux contraintes géométriques de modèles KGE spécifiques, ce qui en fait un plug-in polyvalent pour les pipelines d'apprentissage continu existants.

Les auteurs concluent que cette stratégie améliore les performances prédictives des tâches en aval et renforce l'efficacité de l'apprentissage continu, la rendant un ajout précieux à la boîte à outils pour la gestion de Graphes de Connaissances dynamiques.