Sintesi Tecnica: Reti Neurali a Fascio Temporale con Trasporto Ortogonale Dinamico

1. Definizione del Problema

La previsione di link temporali consiste nell'inferire connessioni future in grafi in continua evoluzione basandosi su un flusso cronologico di eventi passati. Una sfida fondamentale nei modelli attuali di grafi a tempo continuo è il probleamo della rappresentazione-allineamento. Le architetture esistenti operano tipicamente in uno spazio di embedding globale condiviso, assumendo che gli assi di coordinate che definiscono lo stato di un nodo rimangano semanticamente coerenti nel tempo. Tuttavia, nei sistemi dinamici, i ruoli dei nodi derivano (ad esempio, utenti che cambiano comunità, proteine che acquisiscono nuovi partner), causando uno slittamento della base sottostante delle rappresentazioni apprese. Sebbene i vettori memorizzati possano rimanere numericamente stabili, il loro significato semantico può disallinearsi, portando a previsioni errate quando si confrontano stati appresi in contesti locali differenti. I metodi esistenti, inclusi le architetture basate su memoria e gli encoder centrati sugli eventi, ereditano questa implicita assunzione di allineamento globale e mancano di un meccanismo esplicito per allineare gli stati interagenti prima del confronto.

2. Metodologia: Reti Neurali a Fascio Temporale (TSNN)

TSNN affronta questa sfida estendendo l'apprendimento delle rappresentazioni basato su fasci (sheaf) a flussi di interazione a tempo continuo. Invece di uno spazio globale condiviso, TSNN equipaggia ogni nodo con un frame ortogonale variabile nel tempo (un sistema di coordinate locale). Il modello opera sotto un rigoroso protocollo predict-then-update (predici-e-aggiorna), garantendo che tutte le computazioni siano strettamente causali e si basino solo sulla cronologia pre-evento.

Componenti Core

• Frame Locali Dinamici: Ogni nodo $v$ mantiene un vettore di stelo (stalk vector) $h_v(t)$ (memoria semantica) e parametri di frame $F_v(t)$ che parametrizzano una mappa ortogonale $U_v(t) \in \mathbb{R}^{d \times d}$. Questi frame sono parametrizzati efficientemente tramite prodotti di Householder a basso rango, richiedendo solo $O(kd)$ parametri per nodo.
• Trasporto Ortogonale Esplicito: Per confrontare o aggregare gli stati di nodi diversi, TSNN trasporta esplicitamente tali stati in un frame locale comune. La mappa di trasporto tra i nodi $u$ e $v$ è definita come $Q_{uv}(t) = U_u(t)^\top U_v(t)$. Ciò assicura che le interazioni siano valutate in base alle distanze geometriche in un sistema di coordinate sincronizzato, preservando il contenuto semantico nonostante l'evoluzione dei frame locali.
• Evoluzione dello Stato Coerente con le Coordinate: Quando il frame di un nodo si aggiorna, lo stato nascosto memorizzato non viene scartato o riinizializzato. Al contrario, viene trasferito esattamente tramite la trasformazione $\bar{h}_v^- = (U_v^+)^\top U_v^- h_v(t^-)$. Ciò garantisce che il contenuto semantico della memoria rimanga invariante rispetto ai cambiamenti nella base di coordinate locali.
• Decoder Geometrico-Residuo: Il meccanismo di scoring combina un ramo geometrico, che ancora le previsioni sulla distanza euclidea al quadrato trasportata tra gli stati allineati, e un ramo residuo (MLP) che apprende le correzioni basate sui tipi di relazione, la recenza e i metadati dei nodi. Questo design impone un bias induttivo contrastivo pur permettendo flessibilità per deviazioni sistematiche.
• Diffusione a Fascio Full-Active: Dopo un evento, il modello esegue $K$ round di diffusione a fascio normalizzata con scaling delle feature su un grafo attivo locale all'evento. Questa diffusione è formulata come un passo di discesa del gradiente metrico sull'energia di Dirichlet combinatoria del fascio, garantendo una discesa monotona dell'energia e la non-espansività.

Pipeline Algoritmica

Per ogni evento entrante $(u, v, t, r, x)$:

1. Scoring: I destinatari candidati sono classificati utilizzando solo la cronologia pre-evento ($E_{<t}$) tramite il decoder geometrico-residuo.
2. Update: All'osservazione dell'evento positivo, i frame degli endpoint vengono aggiornati utilizzando gli stati dei partner trasportati.
3. Carry-Over: Gli steli pre-evento vengono trasformati nelle nuove coordinate locali.
4. Message Passing: I messaggi sono computati nelle coordinate locali aggiornate e processati da una GRU.
5. Diffusione: La diffusione full-active viene applicata al vicinato locale per smussare e raffinare gli stati prima di committerli nello store dello stato.

3. Contributi Chiave

1. GNN Temporale Strutturata a Fascio: Un nuovo framework per la previsione di link causale dove ogni nodo possiede un frame ortogonale variabile nel tempo. I link candidati sono valutati strettamente dalla cronologia pre-evento usando un decoder geometrico-residuo.
2. Evoluzione della Memoria Coerente con le Coordinate: Un meccanismo che trasporta gli stati interagenti in un frame comune prima dell'aggregazione e trasporta esattamente gli stati nascosti memorizzati attraverso gli aggiornamenti dei frame, preservando il significato semantico mentre le coordinate locali evolvono.
3. Garanzie Spettrali e di Stabilità:
   • Il Laplaciano a fascio indotto con normalizzazione del grado è ortogonalmente simile al Laplaciano del grafo normalizzato simmetrico, con uno spettro limitato in $[0, 2]$.
   • L'operatore di diffusione full-active con scaling delle feature è dimostrato essere un passo di gradiente metrico sull'energia di Dirichlet combinatoria del fascio, garantendo una discesa monotona indipendente dal grado e la non-espansività.
   • Il drift del frame perturba gli aggiornamenti solo linearmente, con stabilità controllata da un regolarizzatore di fluidità (smoothness).
4. Performance Empiriche: TSNN raggiunge risultati allo stato dell'arte attraverso le suite di benchmark TGB v2, temporale eterogenea e DGB, eccellendo particolarmente su grafi con forte eterogeneità dei ruoli dei nodi.

4. Risultati Sperimentali

Gli autori hanno valutato TSNN su due track:

• Track A (TGB v2): Include dataset di link-prediction (tgbl-wiki, tgbl-review) e un grafo eterogeneo temporale (thgl-software). TSNN eguaglia o supera 15 baseline ufficiali, raggiungendo l'MRR più alto su tgbl-wiki (82.82%) e thgl-software (71.13%), e miglioramenti significativi su tgbl-review.
• Track B (DGB): Copre 13 benchmark standard (es. Wikipedia, Reddit, MOOC, Enron). TSNN ottiene il rank medio più basso sia per l'Average Precision (AP) che per l'AUC. Guadagni notevoli includono +2.97 AP su MOOC e +6.50 AP su US Legis rispetto alla forte baseline TPNet.
• Setting Induttivo: Nella previsione di link induttiva (nodi non visti), TSNN raggiunge anch'essa il rank medio più basso, dimostrando una robusta generalizzazione senza dipendere da traiettorie memorizzate.
• Studi di Ablazione: Gli esperimenti confermano che lo scorer residuo, il trasporto ortogonale esplicito e i frame variabili nel tempo sono i principali motori delle prestazioni, con il trasporto e i frame dinamici che forniscono miglioramenti costanti in tutti i dataset.

5. Significato e Rivendicazioni

Il paper sostiene che TSNN affronti una lacuna critica nell'apprendimento relazionale dinamico: la mancanza di un meccanismo a livello di operatore per preservare il significato della rappresentazione sotto cambiamenti della semantica locale dei nodi. Unificando l'evoluzione dei frame locali dei nodi, il trasporto esplicito e gli aggiornamenti della memoria causale online, TSNN fornisce un approccio coerente con la base (basis-consistent) per l'apprendimento di grafi temporali.

Gli autori sottolineano che i guadagni empirici non derivano da uno spettro di diffusione più ricco (poiché le proprietà spettrali sono equivalenti alla diffusione standard del grafo quando i frame sono fissi), ma dai frame locali dinamici, l'esatto carry-over attraverso i cambi di frame, la diffusione full-active locale all'evento e gli aggiornamenti non lineari nelle coordinate locali. Il modello è descritto come "coerente con la base" piuttosto che completamente gauge-equivariante, poiché l'aggiornamento del frame e le MLP dei messaggi operano nelle coordinate locali scelte, mentre il trasporto e il decoding rispettano cambiamenti ortogonali sincronizzati. Il lavoro stabilisce che l'allineamento esplicito degli stati interagenti è necessario per una precisa previsione temporale quando i ruoli dei nodi derivano nel tempo.