Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

Riepilogo Tecnico: Miglioramento dell'Apprendimento Continuo delle Embedding dei Grafi di Conoscenza tramite Inizializzazione Informata

Enunciato del Problema
I Grafi di Conoscenza (KG) sono strutture dinamiche che evolvono frequentemente attraverso l'aggiunta di nuove triple. In scenari come i sistemi di raccomandazione, questi aggiornamenti sono spesso piccoli e frequenti, rendendo necessario che le Embedding dei Grafi di Conoscenza (KGE) si adattino senza richiedere un addestramento completo. Le tecniche di apprendimento continuo (CL) affrontano questo problema apprendendo embedding per nuove entità mentre aggiornano quelle esistenti. Tuttavia, un collo di bottiglia critico nei metodi CL attuali è l'inizializzazione delle nuove embedding.

La pratica standard, ereditata dall'addestramento statico, consiste nell'inizializzare casualmente le nuove embedding di entità (ad esempio, tramite inizializzazione di Xavier o He). Questo approccio presenta due problemi significativi:

1. Efficienza dell'Addestramento: L'inizializzazione casuale posiziona le nuove embedding lontano dalle loro posizioni ottimali, richiedendo più epoche di addestramento e tempo per convergere.
2. Dimenticanza Catastrofica: Quando le nuove triple includono entità già esistenti, la grande perdita di addestramento causata da nuove embedding scarsamente inizializzate forza aggiustamenti significativi all'intera triple durante l'ottimizzazione. Questo sconvolge le rappresentazioni apprese in precedenza, portando alla perdita di conoscenze vecchie (dimenticanza catastrofica).

I metodi di inizializzazione specifici per il CL esistenti (ad esempio, in LKGE o incDE) tentano di inferire nuove posizioni basandosi sui vincoli geometrici di modelli traslazionali specifici (come TransE). Tuttavia, questi approcci sono spesso specifici del modello, affidandosi a funzioni di scoring invertibili che non esistono per molti modelli KGE moderni (ad esempio, modelli di matching semantico o modelli basati su reti neurali come ConvE), rendendoli inapplicabili a una vasta gamma di architetture.

Metodologia
Gli autori propongono una strategia di inizializzazione informata basata sullo schema e indipendente dal modello per le nuove embedding di entità in scenari di apprendimento continuo. Il metodo sfrutta lo schema del KG (classi di entità) e la distribuzione delle embedding apprese in precedenza per generare rappresentazioni iniziali.

L'algoritmo centrale procede come segue:

1. Centroidi di Classe: Per ogni classe di entità $c$ definita nello schema del KG, viene calcolato un embedding centroide $v_c$ come la media delle embedding di tutte le entità esistenti appartenenti a quella classe.
2. Variazione Intraclass: Viene calcolata la deviazione standard $\sigma_c$ delle embedding all'interno di ogni classe per catturare la diversità intraclass.
3. Inizializzazione: Per una nuova entità $e$ appartenente a un insieme di classi $C_e$, la sua embedding iniziale viene calcolata come la media dei centroidi delle sue classi, aumentata con una perturbazione stocastica:
   $$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$$
   Dove $\gamma$ è un iperparametro che controlla l'entità della perturbazione, $\mathbf{r}_c$ è un vettore casuale e $\odot$ denota la moltiplicazione elemento per elemento.

Questo approccio garantisce che le nuove entità inizino con informazioni semantiche latenti derivate dalle loro appartenenze di classe, posizionandole più vicino alle loro rappresentazioni finali probabili. Il componente stocastico previene casi degeneri in cui entità con appartenenze di classe identiche ricevono embedding identiche. Una volta inizializzate, qualsiasi tecnica standard di apprendimento continuo (ad esempio, fine-tuning, EWC, rehearsal) può essere applicata per aggiornare le embedding utilizzando le nuove triple.

Contributi Chiave

1. Strategia di Inizializzazione Informata: Un metodo innovativo per inizializzare le KGE nell'apprendimento continuo che utilizza lo schema del KG e le embedding esistenti, applicabile attraverso diversi modelli KGE senza richiedere modifiche architetturali.
2. Validazione Empirica di Efficienza e Prestazioni: Dimostrazione che la strategia proposta riduce significativamente il tempo di addestramento (epoche) migliorando al contempo le prestazioni predittive rispetto alle inizializzazioni casuali e specifiche del modello.
3. Nuove Metriche di Valutazione: L'introduzione di metriche adattate ($\Omega_{base}$ e $\Omega_{new}$) per quantificare la ritenzione e l'acquisizione di conoscenze nell'apprendimento continuo delle KGE, derivate dall'apprendimento incrementale di compiti nelle reti neurali.
4. Valutazione Completa: Esperimenti estesi che valutano il metodo attraverso vari algoritmi di apprendimento continuo (Fine-tuning, EWC, EMR, LKGE, incDE) e famiglie di modelli KGE (Traslazionali e Matching Semantico).

Risultati Sperimentali
Gli autori hanno valutato il loro approccio su tre dataset (FBinc-S, FBinc-M, FBinc-L) derivati da FB15K-237, caratterizzati da aggiornamenti incrementali di dimensioni variabili. Le scoperte chiave includono:

• Guadagni di Prestazioni: L'inizializzazione basata sullo schema ha costantemente superato l'inizializzazione casuale e, in molti casi, l'inizializzazione specifica del modello. Ha migliorato sia la ritenzione di conoscenze ($\Omega_{base}$) che l'acquisizione ($\Omega_{new}$). Ad esempio, nei metodi non regolarizzati come Fine-tuning ed EMR, l'inizializzazione basata sullo schema ha aumentato la ritenzione di conoscenze fino al 30% e l'acquisizione di nuove conoscenze fino al 65% su dataset più piccoli.
• Accelerazione dell'Addestramento: L'inizializzazione informata ha ridotto significativamente il numero di epoche necessarie per raggiungere la convergenza. Rispetto all'inizializzazione casuale, il tempo di convergenza è stato ridotto di un fattore compreso tra 2,16 e 2,67 nella maggior parte dei metodi.
• Indipendenza dal Modello: Il metodo si è dimostrato efficace sia per i modelli traslazionali (TransH, RotatE, TransR) che per i modelli di matching semantico (DistMult, HolE, ProjE). Nei modelli inclini alla dimenticanza catastrofica sotto inizializzazione casuale (ad esempio, RotatE, TransR), l'inizializzazione basata sullo schema ha mitigato questi effetti.
• Costo Computazionale: Il processo di inizializzazione stesso è computazionalmente trascurabile (ordini di grandezza più veloce di una singola epoca di addestramento) e scala in modo efficiente, poiché richiede solo il mantenimento dei centroidi di classe e delle deviazioni standard tra gli aggiornamenti.

Significato e Affermazioni
Il documento afferma che l'inizializzazione informata è un passaggio fondamentale, ma spesso trascurato, nell'apprendimento continuo per le KGE. Fornendo un punto di partenza semanticamente fondato, il metodo:

• Accelera l'Acquisizione di Conoscenze: Le nuove informazioni vengono apprese più velocemente, riducendo il costo computazionale degli aggiornamenti incrementali.
• Mitiga la Dimenticanza Catastrofica: Minimizzando la distanza iniziale dalle posizioni ottimali, il metodo riduce gli aggiustamenti disruptivi richiesti per le embedding esistenti durante l'ottimizzazione delle nuove triple.
• Migliora la Generalizzabilità: A differenza dei precedenti metodi specifici per il CL, questo approccio non è legato ai vincoli geometrici di specifici modelli KGE, rendendolo un plug-in versatile per le pipeline di apprendimento continuo esistenti.

Gli autori concludono che questa strategia migliora le prestazioni predittive dei compiti a valle e potenzia l'efficienza dell'apprendimento continuo, rendendola un'aggiunta preziosa al toolkit per la gestione di Grafi di Conoscenza dinamici.