GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention

Sintesi Tecnica: GRATE: Estensioni Temporali per Modelli di Fondazione di KG Induttivi tramite Gated Rotary Attention

1. Definizione del Problema

Il documento affronta la sfida di estendere i modelli di fondazione per Knowledge Graph (KG) induttivi (come ULTRA e TRIX) ai Knowledge Graph Temporali (TKG). Mentre i modelli di fondazione esistenti ottengono un forte trasferimento induttivo apprendendo rappresentazioni indipendenti dal vocabolario che generalizzano a entità e relazioni non viste, essi mancano di meccanismi per gestire la dinamica temporale.

I modelli TKG attuali si affidano tipicamente a contesti transduttivi, apprendendo embedding specifici per dataset relativi a entità, relazioni e timestamp. Ciò li rende inadatti a scenari in cui nuovi vocaboli (entità, relazioni o punti temporali) arrivano continuamente, come nel caso di attori politici emergenti o flussi di eventi in rapida evoluzione. Inoltre, i modelli KG induttivi esistenti trattano i fatti di tutti gli timestamp come ugualmente allineati con una query, non tenendo conto del fatto che la rilevanza di un fatto di supporto dipende spesso dal suo spostamento temporale relativo rispetto al tempo della query. Gli autori identificano una lacuna: non esiste un metodo che permetta il ragionamento temporale induttivo (generalizzando a vocabolari e timestamp disgiunti) senza sacrificare la trasferibilità priva di parametri dei modelli di fondazione.

2. Metodologia: GRATE

Gli autori propongono GRATE (Gated Rotary Attention for Temporal Encoding), una funzione di messaggio priva di parametri progettata per potenziare i modelli di fondazione KG in stile NBFNet. GRATE si integra nel meccanismo di passaggio di messaggi sul lato entità senza introdurre alcun parametro apprendibile, preservando così la capacità del modello di trasferirsi tra grafi con vocabolari disgiunti.

GRATE opera attraverso due meccanismi complementari:

A. Codifica Temporale Relativa Rotatoria (Rotary Relative-Time Encoding)
Invece di utilizzare embedding di timestamp appresi, GRATE codifica il tempo attraverso differenze di tempo relative. Per una query al tempo $\tau$ e un arco osservato $(u, r, v)$ al tempo $t_{uv}$, il gap temporale relativo è definito come $\Delta t_{uv} = \tau - t_{uv}$.

• Il metodo adatta le Rotary Position Embeddings (RoPE), originariamente derivate dai Transformer, per ruotare il messaggio strutturale $m_{uv}$ in base a $\Delta t_{uv}$.
• La matrice di rotazione $R(\Delta t_{uv})$ applica una rotazione dipendente dalla frequenza al vettore di messaggio. Questo trasforma il messaggio strutturale in una funzione continua del suo spostamento temporale, permettendo al modello di distinguere tra fatti temporalmente vicini o distanti rispetto alla query, indipendentemente dalle identità assolute degli timestamp.

B. Gating Condizionato dalla Query (Query-Conditioned Gating)
La sola rotazione non determina quali fatti temporalmente spostati siano rilevanti per una specifica query. GRATE introduce un meccanismo di gating per pesare i messaggi in base al loro allineamento con la query.

• Uno stato di query $Q_q$ viene costruito sommando la rappresentazione dell'entità head della query e l'embedding della relazione della query.
• Un gate scalare $g_{uv}$ viene calcolato usando una funzione sigmoidale: $g_{uv} = \sigma(Q_q^\top m_{uv}^{rot} / \sqrt{d})$, dove $m_{uv}^{rot}$ è il messaggio ruotato.
• Questo gate valuta indipendentemente ogni arco, enfatizzando i segnali che sono sia temporalmente che semanticamente rilevanti per la query, sopprimendo al contempo quelli irrilevanti. A differenza dell'attenzione softmax, questo gating indipendente è stabile sotto trasferimento induttivo dove le dimensioni dei vicinati possono variare significativamente.

C. Pretraining Multi-TKG
Per addestrare su più TKG simultaneamente, gli autori rimappano i timestamp di ogni dataset sorgente su intervalli di interi disgiunti prima del training congiunto. Poiché GRATE si basa solo su gap relativi ($\Delta t$), questa rimappatura preserva le relazioni temporali per ogni sorgente evitando al contempo collisioni di ID tra i dataset.

3. Contributi Chiave

1. Meccanismo GRATE: Una nuova funzione di messaggio temporale, priva di parametri, che consente ai modelli di fondazione KG induttivi di eseguire il ragionamento temporale tramite rotazione del tempo relativo e gating condizionato dalla query.
2. Benchmark di Trasferimento Induttivo: La costruzione di GDELTINDT e WIKIINDT, suite di benchmark specificamente progettate per testare il trasferimento temporale cross-dataset. Questi benchmark presentano entità, relazioni e timestamp disgiunti tra i grafi di training e di inferenza, coprendo sia i regimi di interpolazione che di estrapolazione.
3. Ragionamento Temporale Zero-Shot: La dimostrazione che un singolo checkpoint di GRAT preaddestrato congiuntamente può migliorare le prestazioni del ragionamento temporale su dataset non visti senza fine-tuning, superando i modelli base statici e i baseline induttivi esistenti.

4. Risultati Sperimentali

Gli autori valutano GRATE attraverso tre regimi utilizzando un singolo checkpoint preaddestrato congiuntamente:

• Transduttivo In-Distribution (ICEWS14, ICEWS05-15): L'aggiunta di GRATE a ULTRA e TRIX migliora significativamente le prestazioni. I guadagni relativi variano da +25% a +38% in MRR e da +38% a +58% in Hits@1, indicando che l'allineamento del tempo relativo migliora principalmente la precisione del top-rank.
• Trasferimento Induttivo (GDELTINDT, WIKIINDT):
  • Su GDELT (un grafo di eventi denso), TRIX + GRATE supera il baseline di sola ricorrenza di +0,16 a +0,21 MRR nell'interpolazione e di +0,12 a +0,18 MRR nell'estrapolazione. Il meccanismo di gating discrimina efficacemente tra i numerosi fatti vicini.
  • Su WIKI (un grafo sparso di asserzioni isolate), i guadagni sono più variabili. Quando la "ricorrenza letterale" (DRec) è alta (fatti che si ripetono esattamente un anno prima), GRATE si ancora su questi match, ottenendo guadagni significativi. Tuttavia, in contesti a bassa ricorrenza, il modello base statico a volte supera GRATE, sebbene GRATE generalmente superi comunque il baseline di ricorrenza.
• Trasferimento Zero-Shot (ICEWS18, YAGO): GRATE supera i metodi di forecasting basati su LLM (ICL, GenTKG) su Hits@10 per ICEWS18 e ottiene Hits@1 e MRR più elevati su YAGO, nonostante sia puramente guidato dalla struttura senza prior testuali.
• Studi di Ablazione: Rimuovere la rotazione o il gate condizionato dalla query degrada le prestazioni. L'ablatore conferma che l'allineamento del tempo relativo cattura la maggior parte del segnale temporale, mentre il gate fornisce guadagni aggiuntivi, in particolare nei setting zero-shot dove i segnali strutturali sono più deboli.

5. Significato e Rivendicazioni

Il paper afferma che il ragionamento temporale può essere aggiunto ai modelli di fondazione KG induttivi senza sacrificare la trasferibilità priva di parametri. GRATE dimostra che i modelli possono generalizzare a TKG con entità, relazioni e timestamp completamente nuovi facendo affidamento sulle differenze di tempo relative e sulla rilevanza condizionata dalla query piuttosto che su embedding specifici del dataset.

Gli autori osservano che l'impatto di GRATE scala con la ricchezza del grafo di relazioni del modello base (ad esempio, il raffinamento iterativo di TRIX beneficia maggiormente rispetto all'aggregazione a singolo passaggio di ULTRA). Essi riconoscono anche i limiti: GRATE attualmente codifica il tempo puramente attraverso differenze di indice relativo e non modella esplicitamente la granularità temporale o gli intervalli irregolari, il che potrebbe indebolire le prestazioni su dataset a granularità grossolana. Si suggerisce come lavoro futuro l'esplorazione di pretraining a granularità mista e strategie di propagazione più scalabili.