Riepilogo Tecnico: Non saltare mai un batch: Apprendimento denso di TGN temporali tramite pseudo-supervisione adattiva

1. Definizione del problema

Le Reti a Grafo Temporali (TGN) sono modelli allo stato dell'arte per compiti su grafi dinamici, eppure la loro efficienza di addestramento è severamente compromessa dalla sparsità della supervisione nei dataset del mondo reale. In molti problemi applicativi (ad es., raccomandazione, rilevamento delle frodi), le interazioni etichettate costituiscono meno del 2% del totale degli eventi. Di conseguenza, le implementazioni standard delle TGN elaborano i batch in due modalità distinte:

1. Batch Supervisionati: Passaggi completi di addestramento che coinvolgono aggiornamenti del gradiente e aggiornamenti della memoria.
2. Batch Non Supervisionati: Avvengono solo gli aggiornamenti della memoria e del campionatore di vicini (neighbor sampler); non viene eseguito alcun addestramento basato sul gradiente perché mancano le etichette di verità fondamentale (ground-truth).

Questo comportamento di "salto del batch" crea un collo di bottiglia significativo. Il modello salta gli aggiornamenti dei parametri per la stragrande maggioranza dei dati, portando a aggiornamenti del gradiente ad alta varianza quando le etichette sono finalmente disponibili e a una lenta convergenza in termini di tempo di esecuzione (wall-clock). Il paper postula che le preferenze dei nodi evolvano lentamente, suggerendo che i segnali di supervisione storici possano essere sfruttati per generare pseudo-target informativi anche per questi batch altrimenti inattivi.

2. Metodologia: Etichette con Media Mobile (MAL)

Gli autori propongono le Etichette con Media Mobile (Moving-Averaged Labels - MAL), uno schema di pseudo-etichettatura che genera target "soft" per i batch non supervisionati basandosi sui segnali di supervisione storici. Questo approccio è ortogonale all'architettura del modello sottostante (ad es., TGNv2, DyRep) e non introduce parametri apprendibili aggiuntivi.

Meccanismo Core

Per un nodo $v$ in un batch $B_t$ privo di etichette ground-truth, MAL costruisce un pseudo-target $\tilde{y}^{(v)}_t$ utilizzando i target osservati in passato. Il pseudo-target è definito come:
$$\tilde{y}^{(v)}_t = \bar{y}^{(v)}_t + \gamma \cdot \epsilon$$
Dove:

• $\bar{y}^{(v)}_t$ è un aggregato dei target storici.
• $\epsilon$ è rumore a media nulla campionato da una distribuzione uniforme, normalizzato per garantire che $\tilde{y}^{(v)}_t$ rimanga una distribuzione di probabilità valida (la cui somma è 1).
• $\gamma$ è un fattore di scala del rumore che funge da regolarizzatore.

Strategie di Aggregazione

Il paper valuta tre strategie per calcolare l'aggregato storico $\bar{y}^{(v)}_t$:

1. Previsione Persistente (Persistent Forecast - PF): Riutilizza l'etichetta osservata più di recente per il nodo.
2. Media Mobile (Moving Average - MA): Aggiorna incrementalmente la pseudo-etichetta utilizzando una dimensione della finestra $w$. Quando arriva un nuovo target $y^{(v)}_t$, l'aggregato viene aggiornato come:
   $$\bar{y}^{(v)}_t = \frac{w-1}{w}\bar{y}^{(v)}_{t-1} + \frac{1}{w}y^{(v)}_t$$
3. Media Storica (Historical Average - HA): Aggrega tutti i target passati con lo stesso peso (baseline teorica).

Pipeline di Addestramento

Il metodo modifica il ciclo di addestramento standard delle TGN. Quando arriva un batch senza etichette ground-truth, il modello calcola i pseudo-target $\tilde{y}$ utilizzando la strategia di aggregazione scelta. Il modello esegue quindi un passaggio forward completo, calcola la perdita di cross-entropy rispetto a questi pseudo-target e esegue la backpropagation per aggiornare sia i parametri della GNN che i moduli di memoria. Ciò trasforma la computazione "inattiva" in passaggi di addestramento produttivi.

3. Analisi Teorica

Il paper fornisce una giustificazione teorica del perché MAL migliori la velocità di convergenza riducendo la varianza dei gradienti stocastici.

• Riduzione della Varianza: Sotto l'assunto di preferenze dell'utente costanti (o che evolvono lentamente), gli autori modellano la generazione delle etichette come un processo in cui le etichette reali sono vettori one-hot. Dimostrano che l'aggregazione di $h$ etichette storiche (Historical Average) riduce la varianza dello stimatore dell'etichetta rispetto a una singola osservazione.
• Limite di Convergenza: Per la discesa del gradiente stocastico (SGD) con una perdita $\mu$-fortemente convessa, il limite del regret $R_T$ è proporzionale alla varianza del gradiente $\sigma^2$. Gli autori derivano che per le Etichette con Media Storica (HA), la varianza scala con $\frac{1}{\min(h, k)}$, dove $h$ è la lunghezza della storia e $k$ è il numero di possibili classi di interazione.
• Risultato: Ciò implica un incremento teorico della velocità di convergenza di un fattore $\min(h, k)$ rispetto all'addestramento vanilla, a condizione che l'assunto di consistenza temporale sia rispettato.

4. Risultati Sperimentali

Gli autori hanno valutato MAL sul Temporal Graph Benchmark (TGB) utilizzando quattro dataset su larga scala: tgbn-trade, tgbn-genre, tgbn-reddit e tgbn-token. Hanno implementato MAL su TGNv2 e una versione modificata di DyRepv2 (incorporando l'identificazione sorgente-target di TGNv2).

Risultati Chiave

• Performance Predittiva: MAL ha costantemente superato l'addestramento vanilla e le altre baseline. Sul modello TGNv2, la Media Mobile (MA) ha ottenuto miglioramenti dell'NDCG@10 compresi tra il 3% e il 17% su vari dataset rispetto all'addestramento vanilla.
• Velocità di Convergenza: Il guadagno più significativo è stato nell'efficienza dell'addestramento. MAL ha ridotto il tempo necessario per raggiungere l'accuratezza (time-to-accuracy) in media di 6 volte su tutti i dataset. In alcuni casi (ad es., tgbn-token), il metodo ha raggiunto la performance di un modello vanilla completamente convergente in una frazione del tempo.
• Confronto con le Baseline:
  • Modelli Vanilla: Molte architetture esistenti (JODIE, TGAT, CAW-N, ecc.) sono collassate verso soluzioni banali (performando in modo simile a una baseline di target medio) sui dataset TGB senza i miglioramenti architettonici specifici di TGNv2.
  • Pseudo-Etichettatura Alternativa: MAL ha superato la Previsione Persistente (PF), lo Smoothing delle Etichette (Label Smoothing) e le strategie di predizione del prossimo arco auto-supervisionate (SSL).
  • Dimensione della Finestra: Uno studio di ablazione ha mostrato che le dimensioni ottimali della finestra variano per dataset (ad es., $w=3$ per trade, $w=9$ per Reddit), ma un valore predefinito di $w=7$ fornisce generalmente prestazioni robuste.
• Robustezza:
  • Rumore: Il metodo è rimasto stabile attraverso diversi fattori di rumore ($\gamma$).
  • Temporal Shuffling: Quando le etichette di addestramento sono state rimescolate (distruggendo la consistenza temporale), le performance sono scese significativamente per tutti i metodi, confermando che i guadagni derivano dalla consistenza temporale piuttosto che dal semplice regolarizzazione.
  • Sparsità: Sotto un controllo di rimozione delle etichette, il vantaggio relativo di MAL rispetto all'addestramento vanilla aumentava man mano che la supervisione diventava più scarsa.

5. Significato e Rivendicazioni

Il paper sostiene di affrontare un'inefficienza fondamentale nell'apprendimento su grafi dinamici: lo spreco di risorse computazionali sui batch non supervisionati.

• Cambio di Paradigma: Il lavoro sposta il paradigma da "addestra solo quando supervisionato" a "addestra sempre, estrapolando intelligentemente".
• Efficienza senza Complessità: Il metodo raggiunge risultati allo stato dell'arte (SOTA) e significativi incrementi di velocità senza modificare l'architettura del modello, aggiungere parametri apprendibili o richiedere una fase separata di pre-addestramento.
• Fondamento Teorico: Fornisce una prova teorica del fatto che l'aggregazione della supervisione storica riduce la varianza del gradiente, portando a una convergenza più rapida sotto deboli assunti di stabilità temporale.
• Impatto Pratico: Abilitando l'apprendimento denso su dati sparsi, MAL rende l'addestramento di grandi modelli di grafi temporali significativamente più veloce ed efficace, particolarmente in domini in cui gli eventi etichettati sono rari.

Gli autori concludono che la consistenza temporale è un segnale di supervisione inesplorato che, se sfruttato tramite semplici medie mobili, offre una soluzione fondata e leggera alla scarsità di gradiente nell'apprendimento di grafi temporali.