\emph{DRIFT}: A Benchmark for Task-Free Continual Graph Learning with Continuous Distribution Shifts

Technische Samenvatting: DRIFT: Een Benchmark voor Taakvrije Continue Grafieklering met Continue Distributieveranderingen

Probleemstelling
Continue Grafieklering (CGL) heeft als doel modellen in staat te stellen te leren van dynamisch evoluerende grafieken, terwijl catastrofaal vergeten wordt tegengegaan. Echter, bestaand CGL-onderzoek vertrouwt grotendeels op een op taken gebaseerde formulering, waarbij de datastroom kunstmatig wordt opgesplitst in discrete taken met bekende grenzen en abrupte distributieveranderingen. De auteurs betogen dat deze aannames zelden opgaan in realistische omgevingen (bijvoorbeeld aanbevelingssystemen, citatienetwerken en kennisgrafieken), waar data-distributies continu evolueren, taakidentiteit niet waarneembaar is en overgangen geleidelijk plaatsvinden in plaats van onmiddellijk. Bijgevolg blijft het onduidelijk of huidige CGL-methoden kunnen generaliseren naar realistische, niet-stationaire streamingomgevingen.

Methodologie
Om deze kloof aan te pakken, stellen de auteurs een taakvrij perspectief voor continue grafieklering voor, met een geünificeerde formulering en een nieuwe benchmark, DRIFT.

1. Geünificeerde Formulering: De datastroom wordt gemodelleerd als een tijdsvariërende mengeling van latente taakdistributies in plaats van een reeks geïsoleerde taken. Op elk tijdstip $t$ wordt de distributie $D_t$ gedefinieerd als:
   $$D_t = \sum_{k=1}^{K} \alpha_k(t) D_k$$
   waarbij $D_k$ een latente taakdistributie voorstelt en $\alpha_k(t)$ een mengcoëfficiënt is. In tegenstelling tot op taken gebaseerde omgevingen waar $\alpha_k(t) \in \{0, 1\}$, staat de taakvrije omgeving toe dat $\alpha_k(t) \in [0, 1]$, wat continue overlapping mogelijk maakt.

2. Gaussische Parametrisatie: Om realistische overgangsdynamiek te simuleren, parametriseren de auteurs de mengcoëfficiënten $\alpha_k(t)$ met behulp van een Gaussische kern gecentreerd rond $\mu_k$ (de temporale positie van taak $k$):
   $$\alpha_k(t) = \frac{\exp\left(-\frac{(t-\mu_k)^2}{2\sigma^2}\right)}{\sum_j \exp\left(-\frac{(t-\mu_j)^2}{2\sigma^2}\right)}$$
   De parameter $\sigma$ controleert de mate van temporale overlapping. Een kleine $\sigma$ herstelt harde taakwisselingen, terwijl een grote $\sigma$ gladde, globaal gemengde distributies induceert. Dit stelt de benchmark in staat om binnen één raamwerk een spectrum te beslaan van harde overgangen tot volledig continue drift.

3. Benchmark Constructie (DRIFT):

   • Datasets: Vier standaard grafiekdatasets (CoraFull-CL, Arxiv-CL, Reddit-CL, RomanEmpire-CL) worden ontleed in latente taken met behulp van klassen-incrementele splitsingen.
   • Sampling: Mini-batches worden geconstrueerd door instanties te samplen uit alle latente taken volgens de mengcoëfficiënten $\alpha_k(t)$, met behulp van strategieën met of zonder vervanging.
   • Evaluatie: Omdat expliciete taakgrenzen niet beschikbaar zijn, gebruikt de benchmark het Oppervlak Onder de Nauwkeurigheidscurve (AAUC) om prestaties over de stroom te meten en een gewijzigde Gemiddeld Vergeten (AFs)-metriek die niet afhankelijk is van expliciete taaksegmentatie.

Belangrijkste Bijdragen

• C1: Identificatie van de beperkingen van bestaande op taken gebaseerde CGL-formuleringen en het betoog dat CGL bestudeerd moet worden onder taakvrije streamingomgevingen.
• C2: Introductie van een geünificeerde formulering die taakovergangen modelleert als tijdsvariërende mengdistributies.
• C3: Voorstellen van de DRIFT-benchmark, die een continu spectrum van overgangsdynamiek bestrijkt via Gaussische mengcurven.
• C4: Empirisch aantonen dat bestaande continue leermethoden significant degraderen onder realistische niet-stationaire omgevingen waar taakidentiteit niet beschikbaar is.

Experimentele Resultaten
De auteurs evalueerden representatieve CGL-methoden (op herhaling gebaseerd, op regularisatie gebaseerd en specifiek voor grafieken) over vier datasets onder variërende overgangsgladheid ($\sigma$).

• Prestatie-degradatie: Bestaande methoden lijden aan aanzienlijke prestatiedalingen wanneer de expliciete taakstructuur wordt verwijderd. Bijvoorbeeld, op de Arxiv-CL-dataset bereikte de beste taakvrije methode slechts 34,9% AAUC vergeleken met een bovengrens van 71,6% (Gemeenschappelijke training), wat een gat van ongeveer 37 procentpunten laat.
• Contractie van Voordeel: Het relatieve voordeel van continue leermethoden ten opzichte van een "Bare"-baseline (online training zonder CL-strategieën) krimpt naarmate overgangen gladder worden. Op Arxiv-CL daalde de verbetering ten opzichte van de baseline van +43,3% onder harde overgangen tot slechts +5,5% onder Gaussische menging met hoge overlapping.
• Falen van Taak-afhankelijke Aannames: Methoden die impliciet vertrouwen op taakgrenzen (bijvoorbeeld MAS*, SSM, SEM) falen catastrofaal onder gladde overgangen. MAS*, dat vertrouwen op verliesgebaseerde verschuivingsdetectie, presteert competitief onder harde overgangen maar degradeert tot bijna-baseline-niveaus onder Gaussische menging omdat de verschuivingssignalen onbetrouwbaar worden.
• Afweging Adaptatie-Vergeten: Verhoogde overlapping (hogere $\sigma$) verbetert online adaptatie (hogere AAUC) door impliciete herhaling (gemengde batches), maar verhoogt tegelijkertijd het vergeten (slechtere AFs) omdat het effectieve trainingssignaal voor enige enkele latente distributie wordt verzwakt.
• Robuustheid: Op replay gebaseerde methoden (bijvoorbeeld ER, A-GEM) en de diversiteitsgedreven DMSG-methode toonden grotere stabiliteit, hoewel DMSG het meest stabiele vergeten-gedrag vertoonde over variërende overlapping-niveaus.

Betekenis en Claims
Het artikel claimt dat de waargenomen prestatiedegradatie aangeeft dat veel bestaande CGL-benaderingen impliciet vertrouwen op onrealistische grensaannames en zich niet goed generaliseren naar realistische streamingomgevingen. Het werk benadrukt het belang van het bestuderen van continue grafieklering onder realistische niet-stationaire omstandigheden waar taakidentiteit niet waarneembaar is.

De auteurs positioneren DRIFT bescheiden als een stap richting "open-world grafiekomgevingen", met de opmerking dat huidige methoden fundamenteel verbonden zijn aan op taken gesplitste structuren. Zij concluderen dat toekomstig onderzoek voorbij taakgrens-afhankelijke formuleringen moet gaan om technieken te ontwikkelen die expliciet rekening houden met continue distributiedrift en overlappende taakstructuren. Het artikel erkent beperkingen, waaronder de beperking tot knoopclassificatie, het gebruik van synthetische streamingprotocollen op statische datasets, en het specifieke gebruik van Gaussische dynamiek om drift te modelleren, wat suggereert dat complexere realistische driftpatronen nog moeten worden onderzocht.