Temporal Knowledge Graph Forecasting under Distribution Shifts: A Synthetic Evaluation

Riepilogo Tecnico: Previsione di Grafi di Conoscenza Temporali sotto Shift di Distribuzione

Enunciato del Problema
I Grafi di Conoscenza Temporali (TKG) modellano sistemi relazionali in evoluzione dove i processi sottostanti di generazione dei dati (DGP) cambiano spesso nel tempo, portando a shift di distribuzione. Sebbene la previsione dei TKG miri a predire fatti futuri, le attuali pratiche di valutazione si affidano pesantemente a dataset di benchmark empirici. Questi benchmark forniscono una visione limitata della robustezza dei modelli rispetto a specifici shift di distribuzione temporali e strutturali. La letteratura esistente suggerisce che molti modelli faticano a catturare pattern temporali di base (es. periodicità) e sono spesso valutati su prestazioni aggregate senza comprendere i meccanismi specifici che apprendono. Inoltre, nessun lavoro precedente ha studiato sistematicamente le architetture di previsione TKG sotto cambiamenti controllati e fondamentali del DGP sottostante.

Metodologia
Per affrontare la mancanza di ambienti controllati, gli autori introducono un generatore di dati TKG sintetici capace di produrre dati grafici multi-relazionali temporali pienamente controllabili. Questo framework isola tre distinti meccanismi temporali-strutturali come processi di generazione dei dati:

1. Ricorrenza: Dipendenza da fatti precedentemente osservati, modellata tramite un punteggio di memoria con decadimento esponenziale.
2. Omofilia: Strutture di comunità dove le entità interagiscono preferenzialmente all'interno di classi latenti.
3. Periodicità: Regolarità stagionali dove il campionamento dei fatti è limitato a specifici sottospazi dipendenti dal tempo di entità e relazioni.

Per ogni meccanismo, gli autori definiscono due regimi sperimentali:

• Persistente: Il segnale rimane coerente durante l'intera linea temporale.
• Rottura (Break): Si verifica uno shift strutturale in un timestamp specifico ($\tau^\dagger$), alterando la forza del segnale, la struttura delle comunità latenti o il pattern periodico.

Lo studio valuta sette architetture di previsione (RE-GCN, T-Logic, TimeTraveler, DiMNet, CognTKE) e due baseline euristiche (EdgeBank-RX, Recurrency Baseline) contro un Oracle di Riferimento. L'Oracle, che conosce i parametri del vero DGP ma non i singoli archi campionati, funge da limite superiore per il segnale catturabile. La valutazione è condotta utilizzando il Mean Reciprocal Rank (MRR) consapevole del tempo e l'Hits@k su dataset sintetici con 2.500 entità, 16 relazioni e 100 timestamp.

Contributi Chiave

1. Generatore di TKG Sintetici: Uno strumento innovativo che consente la manipolazione sistematica delle proprietà temporali (ricorrenza, omofilia, periodicità) e l'introduzione di shift di distribuzione controllati (rotture strutturali).
2. Valutazione Sistematica: Una valutazione completa di sette approcci di previsione TKG sotto regimi stazionari e variabili, andando oltre le prestazioni aggregate dei benchmark per analizzare la robustezza specifica del segnale.
3. Analisi della Robustezza Dipendente dal Segnale: L'identificazione del fatto che le prestazioni dei modelli dipendono fortemente dal tipo di segnale sottostante e dalla natura dello shift di distribuzione.

Risultati
Gli esperimenti rivelano che la robustezza nella previsione TKG è altamente dipendente dal segnale:

• Ricorrenza: In condizioni stazionarie, la maggior parte dei modelli (incluse le semplici baseline basate sulla memoria) recupera efficacemente il segnale, raggiungendo prestazioni vicine all'Oracle. Tuttavia, le rotture strutturali (reset parziale della memoria) espongono i limiti di adattabilità per modelli complessi come RE-GCN e T-Logic, mentre le baseline basate sulla memoria rimangono competitive.
• Omofilia: Questa variante si rivela la più impegnativa. In setting persistenti, i modelli capaci di apprendere strutture di comunità latenti (DiMNet, TimeTraveler, CognTKE) performano bene, mentre le baseline basate sulla ricorrenza falliscono. Le rotture strutturali nelle assegnazioni entità-comunità causano una degradazione sostanziale delle prestazioni in tutti i modelli, con nessuna architettura che preservi più di una frazione moderata del segnale dell'Oracle.
• Periodicità: I segnali periodici persistenti sono ampiamente apprendibili, con molti modelli che raggiungono punteggi vicini all'Oracle. Tuttavia, le rotture strutturali che alterano i pattern stagionali e i sottospazi di campionamento portano a un recupero delle prestazioni disomogeneo. I modelli che si affidano pesantemente alla ripetizione dei fatti faticano di più rispetto a quelli che utilizzano il ragionamento dinamico.

Significatività e Claim
Il paper sostiene di fornire una prospettiva sistematica sugli shift di distribuzione nella previsione TKG, migliorando la comprensione delle capacità e dei limiti delle attuali architetture di modellazione. Gli autori sostengono che la sola performance nei benchmark offre solo una visione parziale delle capacità dei modelli. Isolando specifici DGP, il loro lavoro dimostra che:

• Semplici baseline basate sulla memoria possono essere altamente competitive quando la ricorrenza domina i dati.
• Le rotture strutturali, in particolare quelle che coinvolgono strutture latenti entità-comunità, rappresentano la sfida più grande per i modelli attuali, rivelando significativi gap di adattabilità.
• Analisi sintetiche controllate sono necessarie per completare i dataset del mondo reale e fornire valutazioni rigorose della robustezza dei modelli sotto DGP in evoluzione.

Gli autori rimangono modesti nelle loro conclusioni, notando che i loro risultati sono legati a specifiche scelte di design e parametri. Inquadrano questo lavoro come un primo passo verso uno studio sistematico degli shift di distribuzione, suggerendo che la ricerca futura dovrebbe esplorare ulteriori meccanismi di shift (es. burst di entità non viste) e shift graduali.