Technische Samenvatting: Attentieverspreiding in Dynamische Graph-Transformers

Probleemstelling

Het leren van Continuous-Time Dynamic Graphs (CTDG) heeft steeds vaker Transformer-gebaseerde architecturen overgenomen om variabele lengte historische interactieseries te verwerken. Hoewel deze modellen de dominante paradigma zijn geworden op standaard benchmarks, stagneert hun prestatie op datasets die gekenmerkt worden door significante temporele distributieveranderingen tussen trainings- en testvensters. Bestaand onderzoek heeft zich voornamelijk gericht op het verbeteren van de constructie van series (bijv. codering van co-voorkomen van buren, temporele patching) en het ontwerp van kenmerken, doch deze benaderingen falen in het oplossen van prestatiedegradatie op datasets met hoge veranderingen, zoals US Legis., UN Trade en UN Vote.

Het artikel identificeert dat deze beperking niet het gevolg is van een gebrek aan informatiebeschikbaarheid of onvoldoende modelcapaciteit. In plaats daarvan is de kern van het falen attentieverspreiding: onder temporele distributieveranderingen falen standaard softmax-attentiemechanismen om waarschijnlijkheidsmassa te concentreren op kritieke historische tokens, wat resulteert in overmatig vlakke attentieverdelingen die betrouwbare onderscheiding van voorspellende signalen van ruis niet mogelijk maken.

Methodologie

1. Diagnose van Attentieverspreiding

De auteurs stellen eerst vast dat prestatiedegradatie sterk correleert met de omvang van de temporele distributieverandering, gemeten door Maximum Mean Discrepancy (MMD). Om de oorzaak te lokaliseren, introduceren zij het concept van kritieke knopen: historische buren die ofwel structureel centraal zijn (verbonden met meerdere knopen in de lokale interactiestructuur) ofwel temporeel stabiel (betrokken bij herhaalde, stabiele relaties).

Via gecontroleerde ablatiestudies demonstreren de auteurs:

• Informatiebeschikbaarheid: Kritieke knopen dragen onevenredig veel voorspellende informatie. Het maskeren ervan veroorzaakt aanzienlijke prestatiedalingen, vooral op datasets met hoge veranderingen.
• De Bottleneck: Zelfs wanneer alle kritieke knopen aanwezig zijn in de input, presteren bestaande Transformer-modellen slecht op datasets met hoge veranderingen. Dit wijst erop dat het falen ligt in attentieverdeling, niet in informatieherwinning.
• Mechanisme: Temporele verschuivingen verminderen het relatieve contrast in query-key scores ($QK^\top$), waardoor de daaropvolgende softmax vlakkere, meer verspreide verdelingen produceert. Het model wijst onvoldoende gewicht toe aan de meest informatieve tokens.

2. Het Voorgestelde Oplossingsmechanisme: Differentiële Attentie

Om attentieverspreiding aan te pakken, stelt het artikel voor om standaard self-attention te vervangen door Differentiële Attentie. Oorspronkelijk voorgesteld voor taalkundig modelleren, berekent dit mechanisme het verschil tussen twee softmax-attentiekarten die zijn afgeleid van dezelfde input:
$$\text{DiffAttn}(Z) = (A_1 - \lambda A_2)V$$
waarbij $A_1$ en $A_2$ attentiekarten zijn berekend uit twee query-key paren, en $\lambda$ een leerbare scalair is.

• Functie: De aftrekking onderdrukt "common-mode" attentie (signalen die op vergelijkbare wijze in beide karten verschijnen, vaak ruis of generieke patronen vertegenwoordigend) en versterkt onderscheidende token-niveau signalen.
• Doel: Dit herstelt contrast tussen historische tokens, waardoor het model wordt gedwongen waarschijnlijkheidsmassa te concentreren op de meest voorspellende, kritieke knopen.

3. DiffDyG Implementatie

De auteurs concretiseren deze oplossing in DiffDyG, een referentie CTDG Transformer.

• Architectuur: Het behoudt standaard componenten voor inputconstructie (RoPE, codering van co-voorkomen van buren, codering van ruimtelijke afstand), maar vervangt de self-attention lagen door differentiële attention.
• Efficiëntie: Door de verbeterde temporele denoising-capaciteit van differentiële attention bereikt DiffDyG superieure prestaties met een kleinere embedding-dimensie (36 versus 50 in baselines) en minder parameters, wat resulteert in snellere trainingstijden wanneer gecombineerd met FlashAttention en Grouped Query Attention.

Belangrijkste Bijdragen

1. Diagnose: Het artikel identificeert attentieverspreiding als een gedeelde faalmodus van Transformer-gebaseerde CTDG-modellen onder temporele distributieverandering. Het toont aan dat kritieke voorspellende signalen aanwezig zijn in de input, maar worden genegeerd vanwege afgevlakte attentieverdelingen.
2. Validatie: De auteurs valideren deze diagnose over drie architectonisch verschillende baselines (DyGFormer, TIDFormer, TCL). Het vervangen van alleen het attentiemechanisme door differentiële attention levert consistente prestatiewinst op, met name op datasets met hoge veranderingen. Directe metingen bevestigen dat de oplossing de attentie-entropie verlaagt en de attentiemassa op kritieke knopen verhoogt.
3. SOTA Prestaties: DiffDyG bereikt state-of-the-art resultaten op 9 benchmarks onder drie negatieve sampling protocollen (willekeurig, historisch en inductief). Het sluit de prestatiekloof aanzienlijk op de meest uitdagende verschoven datasets waar eerdere methoden stagneerden.

Resultaten

• Prestatiewinst: Op datasets met hoge veranderingen toont DiffDyG aanzienlijke verbeteringen ten opzichte van de beste bestaande baselines:
  • US Legis.: 71,1% $\to$ 87,5% AP
  • UN Trade: 66,5% $\to$ 99,0% AP
  • UN Vote: 69,0% $\to$ 88,8% AP
• Mechanismeverificatie: Attentie-niveau metingen tonen aan dat differentiële attention consistent de entropie verlaagt (wat wijst op scherpere focus) en het aandeel attentiemassa dat aan kritieke knopen wordt toegewezen, verhoogt in vergelijking met standaard attention.
• Efficiëntie: DiffDyG traint 1,5$\times$ tot 2,5$\times$ sneller dan vergelijkbare Transformer-gebaseerde modellen (bijv. DyGFormer, TIDFormer) terwijl het minder parameters gebruikt.

Betekenis en Aanspraken

Het artikel betoogt dat de weg vooruit voor CTDG-leren op moeilijke, verschoven datasets niet alleen betere constructie van historische series vereist, maar betere mechanismen voor het toewijzen van attention over die series. Het werk toont aan dat een gerichte wijziging in het attentiemechanisme prestatieknelpunten kan oplossen die innovaties in inputcodering niet hebben kunnen verhelpen.

De auteurs handhaven een bescheiden houding, waarbij zij opmerken dat hun analyse voornamelijk empirisch van aard is. Zij erkennen dat zij geen formele theoretische karakterisering bieden van wanneer softmax-attention verspreid raakt of wanneer differentiële attention gegarandeerd helpt. Bovendien dient hun definitie van "kritieke knopen" als een diagnostische sonde in plaats van een unieke optimale definitie, en is de evaluatie momenteel beperkt tot dynamische linkpredictie op standaard benchmarks. Toekomstig werk wordt voorgesteld om deze bevindingen uit te breiden naar andere dynamische graph-taken en grotere industriële graphs.