Leveraging Graph Structure in Seq2Seq Models for Knowledge Graph Link Prediction

Riepilogo Tecnico: GA-S2S (Sequence-to-Sequence Potenziato da Grafo) per la Predizione di Collegamenti nei Grafi di Conoscenza

Enunciato del Problema
I Grafi di Conoscenza (KG) sono intrinsecamente incompleti a causa dei limiti nell'acquisizione dei dati, delle preoccupazioni relative alla privacy e degli errori di integrazione. La predizione di collegamenti mira a inferire fatti mancanti (triple) all'interno di tali grafi. Sebbene i metodi tradizionali basati su embedding e le Reti Neurali su Grafo (GNN) eccellano nel catturare pattern strutturali, faticano a gestire informazioni testuali non strutturate e spesso comportano costi computazionali elevati ($O(|E|)$) durante la classificazione dei candidati per KG su larga scala. Al contrario, recenti approcci generativi Sequence-to-Sequence (Seq2Seq) (ad esempio KGT5, KG-S2S) trattano la predizione di collegamenti come un compito di generazione di testo, offrendo un'inferenza scalabile indipendente dal numero di entità. Tuttavia, questi modelli si basano tipicamente esclusivamente su menzioni testuali verbalizzate o appiattiscono le informazioni del vicinato in sequenze lineari, scartando di conseguenza la struttura topologica intrinseca e i pattern relazionali multi-hop del KG.

Metodologia: Framework GA-S2S
Gli autori propongono GA-S2S (Sequence-to-Sequence Potenziato da Grafo), un framework ibrido che integra un encoder-decoder T5-small con una Rete di Attenzione Grafica Relazionale (RGAT). A differenza dei precedenti modelli Seq2Seq che trattano gli input come sequenze di testo piatte, GA-S2S codifica congiuntamente le caratteristiche testuali e l'intera topologia del sottografo a $k$-hop che circonda un'entità di query.

L'architettura è composta da tre componenti sequenziali:

1. Rappresentazione dell'Input: Per una query $(e, r, ?)$, il modello campiona un sottografo a $k$-hop $G_{e,k}$. Le triple all'interno di questo sottografo vengono verbalizzate in sequenze di testo (ad esempio [CLS] testa | relazione | coda) insieme alla sequenza di query. La connettività del sottografo è codificata tramite una matrice di adiacenza rappresentata da coppie di indici di nodo e indici di relazione.
2. Codifica e Potenziamento del Grafo:
   • Codifica del Testo: Tutte le sequenze di testo (query e triple del sottografo) vengono inviate all'encoder T5 per produrre vettori di stato nascosto.
   • Aggregazione delle Entità: Poiché un'entità può apparire in più triple, la sua rappresentazione viene aggregata mediando i vettori del token [CLS] di tutte le triple in cui partecipa.
   • Elaborazione RGAT: Queste caratteristiche aggregate delle entità e la matrice di adiacenza vengono passate attraverso il modulo RGAT. Questa GNN consapevole delle relazioni propaga e aggrega le informazioni attraverso il sottografo, aggiornando gli embedding delle entità per catturare pattern relazionali multi-hop.
3. Decodifica: Il decoder riceve una concatenazione di:
   • Vettori distillati dall'output grezzo dell'encoder (tramite un leggero strato di auto-attenzione per selezionare i token salienti).
   • Gli embedding potenziati dal grafo provenienti dal modulo RGAT.
     Questa rappresentazione combinata permette al decoder T5 di generare la menzione testuale verbalizzata dell'entità target.

L'intera pipeline viene addestrata end-to-end da zero (senza pesi pre-addestrati) per minimizzare la perdita di entropia incrociata, prevenendo il trasferimento negativo dalle priorità del linguaggio naturale al dominio strutturato del KG.

Contributi Chiave

• Architettura Ibrida: L'introduzione di un framework che fonde senza soluzione di continuità un backbone Seq2Seq generativo con una GNN consapevole delle relazioni, consentendo al modello di sfruttare simultaneamente sia le descrizioni testuali che le strutture locali del grafo.
• Codifica Topologica: Superando l'"appiattimento" dei vicinati in sequenze lineari, GA-S2S codifica esplicitamente la topologia del sottografo a $k$-hop utilizzando RGAT, permettendo al modello di catturare pattern relazionali multi-hop più ricchi.
• Strategia di Addestramento: La decisione di inizializzare il modello T5 da zero invece di utilizzare pesi pre-addestrati, riconoscendo che i pesi pre-addestrati sono ottimizzati per la sintassi del linguaggio naturale piuttosto che per le verbalizzazioni basate su template e gli embedding grafici utilizzati nei KG.

Risultati Sperimentali
Il modello è stato valutato sul dataset CoDEx (varianti S, M e L), progettato per mitigare la fuoriuscita di dati tra addestramento e test.

• Prestazioni: GA-S2S ha superato le linee di base competitive basate su Seq2Seq (KGT5, KG-S2S, KGT5-context).
  • Su CoDEx-S, GA-S2S con vicinati a 2-hop ha raggiunto un MRR di 0.331, superando KGT5-context (0.277) del 19.5%.
  • Su CoDEx-M, ha raggiunto un MRR di 0.289 (2-hop), un guadagno del 6.6% rispetto a KGT5-context.
  • Su CoDEx-L, GA-S2S (1-hop) ha raggiunto un MRR di 0.297, superando KGT5-context (0.292) del 1.7%.
• Osservazioni: Il guadagno di prestazioni derivante dall'incorporazione di vicinati a 2-hop è stato più significativo su grafi più piccoli e densi (CoDEx-S) e si è ridotto all'aumentare delle dimensioni del grafo e della sparsità. Gli autori notano che, sebbene GA-S2S superi altre linee di base generative, rimane ancora indietro rispetto ai metodi basati su embedding leader (ad esempio ComplEx, TuckER) su dataset più piccoli, sebbene il divario si riduca su dataset più grandi.

Significato e Limitazioni
Il paper afferma che GA-S2S dimostra i chiari vantaggi della codifica esplicita della struttura del grafo all'interno di modelli generativi di predizione di collegamenti, raggiungendo un guadagno relativo fino al 19% in accuratezza rispetto alle linee di base competitive Seq2Seq. Stabilisce un'architettura ibrida di base che sfrutta con successo il ragionamento relazionale multi-hop.

Tuttavia, gli autori mantengono una posizione modesta riguardo allo stato attuale del lavoro:

• Scalabilità: Il modello comporta costi computazionali più elevati rispetto ai modelli Seq2Seq standard a causa dell'elaborazione delle strutture di vicinato, presentando sfide di scalabilità per KG molto grandi.
• Complessità dell'Input: Gli autori ipotizzano che le prestazioni di KGT5-context siano state inferiori rispetto a KGT5 su alcuni dataset perché l'aggiunta ingenua di vicinati linearizzati crea input del decoder ingestibili. Suggeriscono che futuri ridisegni del decoder che accettano input strutturati potrebbero produrre ulteriori guadagni.
• Direzioni Future: Il paper identifica domande aperte riguardanti strategie di campionamento dei vicinati bilanciate per gestire il sovraccarico, l'uso di transformer gerarchici per la scalabilità e tecniche ottimali per integrare informazioni testuali e strutturali durante l'intera codifica e decodifica. Suggerisce che i graph transformer potrebbero offrire una direzione promettente per un'integrazione più profonda.