\emph{DRIFT}: A Benchmark for Task-Free Continual Graph Learning with Continuous Distribution Shifts

Riepilogo Tecnico: DRIFT: Un Benchmark per l'Apprendimento Continuo di Grafi Senza Task con Spostamenti di Distribuzione Continui

Enunciato del Problema
L'Apprendimento Continuo di Grafi (CGL) mira a consentire ai modelli di apprendere da grafi in evoluzione dinamica, mitigando al contempo la dimenticanza catastrofica. Tuttavia, la ricerca esistente sul CGL si basa prevalentemente su una formulazione basata sui task, in cui il flusso di dati è artificialmente suddiviso in task discreti con confini noti e spostamenti di distribuzione bruschi. Gli autori sostengono che queste ipotesi raramente valgono in ambienti reali (ad esempio, sistemi di raccomandazione, reti di citazioni e grafi della conoscenza), dove le distribuzioni dei dati evolvono in modo continuo, l'identità del task è inosservabile e le transizioni sono graduali piuttosto che istantanee. Di conseguenza, non è ancora chiaro se i metodi CGL attuali possano generalizzare a scenari realistici di streaming non stazionari.

Metodologia
Per colmare questa lacuna, gli autori propongono una prospettiva senza task per l'apprendimento continuo di grafi, introducendo una formulazione unificata e un nuovo benchmark, DRIFT.

1. Formulazione Unificata: Il flusso di dati è modellato come una miscela variabile nel tempo di distribuzioni di task latenti, anziché come una sequenza di task isolati. Ad ogni passo temporale $t$, la distribuzione $D_t$ è definita come:
   $$D_t = \sum_{k=1}^{K} \alpha_k(t) D_k$$
   dove $D_k$ rappresenta una distribuzione di task latente e $\alpha_k(t)$ è un coefficiente di miscelazione. A differenza degli scenari basati sui task, dove $\alpha_k(t) \in \{0, 1\}$, lo scenario senza task permette $\alpha_k(t) \in [0, 1]$, consentendo una sovrapposizione continua.

2. Parametrizzazione Gaussiana: Per simulare dinamiche di transizione realistiche, gli autori parametrizzano i coefficienti di miscelazione $\alpha_k(t)$ utilizzando un kernel Gaussiano centrato in $\mu_k$ (la posizione temporale del task $k$):
   $$\alpha_k(t) = \frac{\exp\left(-\frac{(t-\mu_k)^2}{2\sigma^2}\right)}{\sum_j \exp\left(-\frac{(t-\mu_j)^2}{2\sigma^2}\right)}$$
   Il parametro $\sigma$ controlla il grado di sovrapposizione temporale. Un $\sigma$ piccolo recupera interruzioni nette tra i task, mentre un $\sigma$ grande induce distribuzioni globalmente miscelate e fluide. Ciò permette al benchmark di coprire uno spettro che va dalle transizioni nette allo spostamento completamente continuo all'interno di un unico framework.

3. Costruzione del Benchmark (DRIFT):

   • Dataset: Quattro dataset di grafi standard (CoraFull-CL, Arxiv-CL, Reddit-CL, RomanEmpire-CL) sono decomposti in task latenti utilizzando suddivisioni incrementali per classe.
   • Campionamento: I mini-batch sono costruiti campionando istanze da tutti i task latenti in base ai coefficienti di miscelazione $\alpha_k(t)$, utilizzando strategie con o senza reinserimento.
   • Valutazione: Poiché i confini espliciti dei task non sono disponibili, il benchmark utilizza l'Area Under the Accuracy Curve (AAUC) per misurare le prestazioni lungo il flusso e una metrica modificata di Average Forgetting (AFs) che non dipende dalla segmentazione esplicita dei task.

Contributi Chiave

• C1: Identificazione dei limiti delle formulazioni CGL basate sui task esistenti e argomentazione secondo cui il CGL dovrebbe essere studiato in scenari di streaming senza task.
• C2: Introduzione di una formulazione unificata che modella le transizioni tra i task come distribuzioni di miscela variabili nel tempo.
• C3: Proposta del benchmark DRIFT, che copre uno spettro continuo di dinamiche di transizione tramite curve di miscelazione Gaussiane.
• C4: Dimostrazione empirica che i metodi di apprendimento continuo esistenti degradano significativamente in scenari non stazionari realistici in cui l'identità del task non è disponibile.

Risultati Sperimentali
Gli autori hanno valutato metodi CGL rappresentativi (basati su rehearsal, basati su regolarizzazione e specifici per i grafi) su quattro dataset con diversi livelli di fluidità di transizione ($\sigma$).

• Degradazione delle Prestazioni: I metodi esistenti subiscono cali sostanziali delle prestazioni quando la struttura esplicita dei task viene rimossa. Ad esempio, sul dataset Arxiv-CL, il miglior metodo senza task ha raggiunto solo un AAUC del 34,9% rispetto a un limite superiore del 71,6% (addestramento congiunto), lasciando un divario di circa 37 punti percentuali.
• Contrazione del Vantaggio: Il vantaggio relativo dei metodi di apprendimento continuo rispetto a una baseline "Bare" (addestramento online senza strategie CL) si riduce man mano che le transizioni diventano più fluide. Su Arxiv-CL, il miglioramento rispetto alla baseline è sceso dal +43,3% in caso di transizioni nette a merely +5,5% sotto una miscelazione Gaussiana ad alta sovrapposizione.
• Fallimento delle Assunzioni Dipendenti dai Task: I metodi che fanno affidamento implicito sui confini dei task (ad esempio MAS*, SSM, SEM) falliscono catastroficamente sotto transizioni fluide. MAS*, che si basa sul rilevamento degli spostamenti basato sulla perdita, si comporta in modo competitivo sotto transizioni nette ma degrada a livelli vicini alla baseline sotto miscelazione Gaussiana, poiché i segnali di spostamento diventano inaffidabili.
• Trade-off Adattamento-Dimenticanza: Una maggiore sovrapposizione (maggiore $\sigma$) migliora l'adattamento online (AAUC più alto) grazie al rehearsal implicito (batch misti), ma aumenta simultaneamente la dimenticanza (AFs peggiore) perché il segnale di addestramento effettivo per qualsiasi singola distribuzione latente viene indebolito.
• Robustezza: I metodi basati sul replay (ad esempio ER, A-GEM) e il metodo DMSG guidato dalla diversità hanno mostrato una maggiore stabilità, sebbene DMSG abbia esibito il comportamento di dimenticanza più stabile attraverso diversi livelli di sovrapposizione.

Significato e Affermazioni
Il paper afferma che la degradazione delle prestazioni osservata indica che molti approcci CGL esistenti fanno implicitamente affidamento su ipotesi di confine irrealistiche e non generalizzano bene agli ambienti di streaming reali. Il lavoro sottolinea l'importanza di studiare l'apprendimento continuo di grafi in condizioni non stazionarie realistiche in cui l'identità del task è inosservabile.

Gli autori posizionano modestamente DRIFT come un passo verso "scenari di grafi open-world", notando che i metodi attuali sono fondamentalmente legati a strutture partizionate per task. Concludono che la ricerca futura deve andare oltre le formulazioni dipendenti dai confini per sviluppare tecniche che tengano esplicitamente conto dello spostamento continuo della distribuzione e delle strutture di task sovrapposti. Il paper riconosce le limitazioni, inclusa la sua restrizione alla classificazione dei nodi, l'uso di protocolli di streaming sintetici su dataset statici e l'uso specifico di dinamiche Gaussiane per modellare lo spostamento, suggerendo che pattern di spostamento reali più complessi restano da esplorare.