Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings

Sintesi Tecnica: Predizione di Link o Perdizione: i Semi dell'Instabilità nei Knowledge Graph Embedding

1. Definizione del Problema

I modelli di Knowledge Graph Embedding (KGEM) sono l'approccio dominante per la completezza dei Knowledge Graph (KGC) tramite la predizione di link. I protocolli di valutazione standard si affidano pesantemente a metriche aggregate basate sul rango, come il Mean Reciprocal Rank (MRR) e gli Hits@K. Tuttavia, queste metriche spesso trascurano l'influenza dei seed casuali sulla stabilità dei risultati.

Il problema centrale identificato è che un'elevata performance aggregata non garantisce la stabilità a livello di singola tripla o all'interno dello spazio di embedding. Due modelli addestrati con diversi seed casuali possono ottenere punteggi MRR identici, pur producendo previsioni top-K significativamente differenti. In contesti operativi (ad esempio, nella scoperta di farmaci o nella completezza automatica di grafi), questa variabilità dipendente dal seed porta a grafi completati divergenti, minando l'affidabilità dei KGEM per il processo decisionale a valle. Inoltre, la letteratura esistente ha raramente esaminato la stabilità del medesimo spazio di embedding appreso rispetto alla casualità, nonostante il suo riutilizzo in compiti come la similarità tra entità e il clustering.

2. Metodologia

Gli autori hanno condotto un'analisi sistematica della stabilità attraverso molteplici KGEM e dataset utilizzando un protocollo sperimentale controllato.

Configurazione Sperimentale:

• Modelli: Sono stati selezionati modelli rappresentativi di tre famiglie: Geometrici (TransE, RotatE), Fattorizzazione Tensoriale (DistMult, ComplEx) e Reti Neurali (ConvE, RGCN, Transformer).
• Dataset: Benchmark standard inclusi WN18RR, FB15k-237 e CoDEx-S.
• Fonti di Casualità: Lo studio ha isolato quattro fattori stocastici indipendenti comuni nell'addestramento del machine learning:
  1. Inizializzazione dei parametri ($I$)
  2. Ordinamento delle triple ($O$)
  3. Campionamento negativo ($N$)
  4. Dropout ($D$)
  • Inoltre, l'Hardware (tipo di GPU) è stato identificato come una fonte di casualità.
• Ricerca degli Iperparametri: È stata eseguita una ricerca a griglia per identificare configurazioni con diversi livelli di performance (Migliore, Mediana, Peggiore) al fine di testare la correlazione tra performance e stabilità.

Metriche Proposte:
Per andare oltre i ranghi aggregati, gli autori hanno introdotto metriche focalizzate sulla similarità delle predizioni e degli spazi di embedding:

• Pred-Overlap@K: Misura l'intersezione delle entità predette top-K per una data query attraverso diverse istanze del modello.
• Space-Overlap@K: Misura l'intersezione dei $K$ vicini più prossimi nello spazio di embedding per ogni entità, valutando la stabilità della struttura latente appresa.
• Consistency@K & Homogeneity@K: Metriche aggregate che quantificano la proporzione di entità che appaiono nelle liste top-K di tutte le esecuzioni simultaneamente e la dispersione dei candidati, rispettivamente.

3. Contributi Chiave

1. Analisi Sistematica della Stabilità: Il documento fornisce la prima quantificazione esaustiva di come i seed casuali influenzino sia il comportamento predittivo (candidati top-K) sia l'organizzazione interna (spazio di embedding) dei KGEM.
2. Disaccoppiamento tra Performance e Stabilità: Lo studio dimostra che alti punteggi MRR non garantiscono la stabilità delle predizioni o degli spazi di embedding.
3. Identificazione dell'Instabilità dell'Hardware: Gli autori identificano l'hardware (specificamente l'architettura della GPU) come una fonte significativa di instabilità paragonabile alla variazione del seed casuale, sfidando la riproducibilità negli ambienti cloud.
4. Limiti del Rimedio: Il documento valuta il "voto" (metodi di ensemble) come strategia di mitigazione, riscontrando che offre solo un miglioramento limitato e non riesce a stabilizzare lo spazio di embedding.

4. Risultati Chiave

• Le Metriche Aggregate Mascherano l'Instabilità: Mentre MRR e Hits@K mostrano una bassa varianza tra i seed, le predizioni effettive sono altamente divergenti. Ad esempio, su FB15k-237, due istanze di RotatE con diversi seed condividevano in media solo circa 4,3 delle entità predette top-10.
• Divergenza a Livello di Tripla: Anche quando l'entità di ground-truth è classificata in modo simile, i candidati non appartenenti al ground-truth differiscono drasticamente. In alcuni casi, esecuzioni con MRR identico hanno prodotto set di entità top-10 completamente diversi (Pred-Overlap@10 basso quanto 0,17).
• Instabilità dello Spazio di Embedding: Anche l'organizzazione dello spazio di embedding è instabile. I vicini nello spazio latente variano significativamente tra le esecuzioni, suggerendo che i modelli apprendano strutture latenti diverse nonostante prestazioni globali simili.
• Fonti di Casualità: Variare qualsiasi singola fonte di casualità (inizializzazione, ordinamento, campionamento, dropout) in modo indipendente induce un'instabilità di magnitudo comparabile. Nessuna singola fonte domina; l'instabilità è inerente al processo di addestramento.
• Impatto dell'Hardware: L'addestramento di configurazioni identiche su GPU diverse (ad esempio, RTX 2080 Ti vs. A100) ha prodotto livelli di instabilità comparabili alla variazione dei seed casuali.
• Correlazione tra Performance e Stabilità: I modelli con scarse prestazioni sono generalmente meno stabili. Tuttavia, tra i modelli ad alte prestazioni e quelli con prestazioni mediane, non esiste una chiara correlazione; un MRR più elevato non garantisce una maggiore stabilità.
• Varianza del Modello: TransE ha mostrato una stabilità notevolmente superiore rispetto ad altre architetture (ad esempio, RotatE, ConvE), suggerendo che le differenze architettoniche giochino un ruolo.
• Limiti del Voto: Sebbene il voto di ensemble abbia migliorato la sovrapposizione delle predizioni, non ha eliminato l'instabilità e non è stato applicabile alla stabilizzazione dello spazio di embedding.

5. Significato e Rivendicazioni

Il documento sostiene che gli attuali protocolli di benchmarking siano insufficienti per valutare l'affidabilità dei KGEM in contesti operativi. Le scoperte evidenziano criticità fondamentali:

• Preoccupazioni sull'Affidabilità: L'instabilità dipendente dal seed significa che l'aggiunta di predizioni top-K a un knowledge graph può generare grafi completati sostanzialmente diversi, portando potenzialmente a decisioni a valle inconsistenti o inaffidabili.
• Validità dello Spazio di Embedding: L'instabilità degli spazi di embedding mette in discussione la validità di compiti a valle che si basano su tali spazi, come la valutazione della similarità tra entità, il clustering concettuale e il mining di regole logiche, che assumono una struttura latente stabile.
• Crisi della Riproducibilità: La sensibilità all'hardware e alle piccole scelte stocastiche pone una sfida significativa alla riproducibilità, particolarmente nei scenari di cloud computing.
• Riforma della Valutazione: Gli autori sostengono la necessità di un cambiamento nelle pratiche di valutazione, trattando la stabilità come una dimensione distinta dalla performance. Suggeriscono che la selezione del modello non debba basarsi solo sull'MRR, ma debba considerare la robustezza attraverso diversi seed casuali e configurazioni hardware.

Il documento conclude che, sebbene i KGEM siano efficaci per il ranking, la loro attuale mancanza di stabilità li rende rischiosi per applicazioni che richiedono una completezza di grafo coerente e deterministica o che dipendono dalle proprietà geometriche dello spazio di embedding. Il lavoro futuro dovrebbe concentrarsi sulla progettazione di architetture o procedure di addestramento che tengano conto della stabilità.