Riepilogo Tecnico: Dispersione dell'Attenzione nei Transformer per Grafi Dinamici

Enunciato del Problema

L'apprendimento su Grafi Dinamici a Tempo Continuo (CTDG) ha adottato sempre più architetture basate su Transformer per elaborare sequenze di interazioni storiche di lunghezza variabile. Sebbene questi modelli siano diventati il paradigma dominante su benchmark standard, le loro prestazioni raggiungono un plateau su dataset caratterizzati da significativi spostamenti nella distribuzione temporale tra le finestre di addestramento e di test. La ricerca esistente si è concentrata principalmente sul miglioramento della costruzione delle sequenze (ad esempio, codifica della co-occorrenza dei vicini, patching temporale) e sulla progettazione delle caratteristiche, tuttavia questi approcci non riescono a risolvere il degrado delle prestazioni su dataset ad alto spostamento come US Legis., UN Trade e UN Vote.

Il documento identifica che questa limitazione non è dovuta a una mancanza di disponibilità di informazioni o a una capacità insufficiente del modello. Al contrario, la modalità di fallimento centrale è la dispersione dell'attenzione: in presenza di uno spostamento nella distribuzione temporale, i meccanismi standard di attenzione softmax non riescono a concentrare la massa di probabilità sui token storici critici, risultando in distribuzioni di attenzione eccessivamente piatte che non possono distinguere in modo affidabile i segnali predittivi dal rumore.

Metodologia

1. Diagnosi della Dispersione dell'Attenzione

Gli autori stabiliscono innanzitutto che il degrado delle prestazioni correla fortemente con l'entità dello spostamento nella distribuzione temporale, misurata tramite la Massima Discrepanza del Mezzo (MMD). Per localizzare la causa, introducono il concetto di nodi critici: vicini storici che sono strutturalmente centrali (connessi a più nodi nella struttura di interazione locale) o temporalmente stabili (coinvolti in relazioni ripetute e stabili).

Attraverso studi di ablazione controllati, gli autori dimostrano:

• Disponibilità di Informazioni: I nodi critici portano informazioni predittive sproporzionatamente elevate. Mascherarli causa cali significativi delle prestazioni, specialmente su dataset ad alto spostamento.
• Il Collo di Bottiglia: Anche quando tutti i nodi critici sono presenti nell'input, i modelli Transformer esistenti performano male su dataset ad alto spostamento. Ciò indica che il fallimento risiede nell'allocazione dell'attenzione, non nel recupero delle informazioni.
• Meccanismo: Gli spostamenti temporali riducono il contrasto relativo nei punteggi query-chiave ($QK^\top$), causando che il successivo softmax produca distribuzioni più piatte e disperse. Il modello assegna un peso insufficiente ai token più informativi.

2. La Soluzione Proposta: Attenzione Differenziale

Per affrontare la dispersione dell'attenzione, il documento propone di sostituire l'auto-attenzione standard con l'Attenzione Differenziale. Originariamente proposta per la modellazione del linguaggio, questo meccanismo calcola la differenza tra due mappe di attenzione softmax derivate dallo stesso input:
$$\text{DiffAttn}(Z) = (A_1 - \lambda A_2)V$$
dove $A_1$ e $A_2$ sono mappe di attenzione calcolate da due coppie query-chiave, e $\lambda$ è uno scalare apprendibile.

• Funzione: La sottrazione sopprime l'attenzione "a modo comune" (segnali che appaiono in modo simile in entrambe le mappe, spesso rappresentanti rumore o pattern generici) e amplifica i segnali distintivi a livello di token.
• Obiettivo: Questo ripristina il contrasto tra i token storici, costringendo il modello a concentrare la massa di probabilità sui nodi più predittivi e critici.

3. Implementazione DiffDyG

Gli autori concretizzano questa soluzione in DiffDyG, un Transformer CTDG di riferimento.

• Architettura: Mantiene i componenti standard di costruzione dell'input (RoPE, codifica della co-occorrenza dei vicini, codifica della distanza spaziale) ma sostituisce i livelli di auto-attenzione con l'attenzione differenziale.
• Efficienza: Grazie alla migliorata capacità di denoising temporale dell'attenzione differenziale, DiffDyG ottiene prestazioni superiori con una dimensione di embedding più piccola (36 contro 50 nei baseline) e un minor numero di parametri, risultando in tempi di addestramento più rapidi quando combinato con FlashAttention e Grouped Query Attention.

Contributi Chiave

1. Diagnosi: Il documento identifica la dispersione dell'attenzione come una modalità di fallimento condivisa dai modelli CTDG basati su Transformer sotto spostamento della distribuzione temporale. Dimostra che segnali predittivi critici esistono nell'input ma vengono ignorati a causa di distribuzioni di attenzione appiattite.
2. Validazione: Gli autori validano questa diagnosi su tre baseline architettonicamente distinti (DyGFormer, TIDFormer, TCL). Sostituendo solo il meccanismo di attenzione con l'attenzione differenziale si ottengono guadagni di prestazioni coerenti, in particolare su dataset ad alto spostamento. Misure dirette confermano che la correzione riduce l'entropia dell'attenzione e aumenta la massa di attenzione sui nodi critici.
3. Prestazioni SOTA: DiffDyG ottiene risultati all'avanguardia su 9 benchmark sotto tre protocolli di campionamento negativo (casuale, storico e induttivo). Chiude significativamente il divario di prestazioni sui dataset spostati più difficili dove i metodi precedenti raggiungevano un plateau.

Risultati

• Guadagni di Prestazioni: Su dataset ad alto spostamento, DiffDyG mostra miglioramenti sostanziali rispetto ai migliori baseline esistenti:
  • US Legis.: da 71,1% a 87,5% AP
  • UN Trade: da 66,5% a 99,0% AP
  • UN Vote: da 69,0% a 88,8% AP
• Verifica del Meccanismo: Le misurazioni a livello di attenzione mostrano che l'attenzione differenziale riduce costantemente l'entropia (indicando una focalizzazione più netta) e aumenta la proporzione di massa di attenzione assegnata ai nodi critici rispetto all'attenzione standard.
• Efficienza: DiffDyG si allena da 1,5$\times$ a 2,5$\times$ più velocemente rispetto a modelli comparabili basati su Transformer (ad esempio DyGFormer, TIDFormer) utilizzando al contempo meno parametri.

Significato e Affermazioni

Il documento sostiene che la strada da percorrere per l'apprendimento CTDG su dataset difficili e spostati richiede non solo una migliore costruzione delle sequenze storiche, ma migliori meccanismi per allocare l'attenzione su tali sequenze. Il lavoro dimostra che un cambiamento mirato al meccanismo di attenzione può risolvere i colli di bottiglia delle prestazioni che le innovazioni architetturali nella codifica dell'input non sono riuscite a risolvere.

Gli autori mantengono una posizione modesta, notando che la loro analisi è principalmente empirica. Riconoscono di non fornire una caratterizzazione teorica formale di quando l'attenzione softmax diventa dispersa o quando l'attenzione differenziale è garantita per essere d'aiuto. Inoltre, la loro definizione di "nodi critici" funge da sonda diagnostica piuttosto che da una definizione ottimale unica, e la valutazione è attualmente limitata alla previsione di link dinamici su benchmark standard. Si suggerisce un lavoro futuro per estendere questi risultati ad altri compiti su grafi dinamici e su grafi industriali più grandi.