Technische Samenvatting: Temporele Motief-signaturen voor Temporele Grafische Neurale Netwerken

Probleemstelling

Realistische temporele interactiestromen (bijv. sociale communicatie, financiële transacties, online beoordelingen) bevatten voorspellende structuren binnen korte-horizon motiefpatronen, zoals herhaling, wederkerigheid, ster-diversiteit en triadische flow. Hoewel moderne Temporele Grafische Neurale Netwerken (TGNN's) expressieve sequentiemodellen zijn die theoretisch elke functie van een temporele stroom kunnen extraheren, voorkomen hun inductieve biases en beperkte trainingsbudgetten hen er vaak van om specifieke, korte-horizon structurele regelmatigheden te vangen. Deze regelmatigheden zijn vaak eenvoudig analytisch te berekenen, maar zijn cruciaal voor downstream-taken. Het artikel adresseert de kloof tussen wat standaard TGNN's leren en de expliciete korte-horizon statistieken die temporele stromen karakteriseren, door de vraag te stellen of een principieel, architectuur-agnostisch augmentatie deze resterende kloof kan overbruggen.

Methodologie

1. Empirische Diagnostiek en Signature-identificatie

De auteurs analyseren eerst de motief-tellingen per kandidaat binnen een verleden venster over een diverse set van 13 reële en synthetische temporele datasets (waaronder MOOC, Bitcoin Alpha/OTC en TGB-benchmarks). Zij identificeren dat motiefactiviteit consistent wordt georganiseerd langs drie schaalstabiele assen:

• A1 (Dyadische Recentheid/Wederkerigheid): Legt de timing en frequentie vast van directe interacties tussen een kandidaat-paar $(u, v)$.
• A2 (Ster-diversiteit): Meet de diversiteit van buren die interageren met $u$ of $v$ binnen een tijdsvenster (bijv. het aantal verschillende items waarmee een student heeft geïnteracteerd).
• A3 (Triadische Flow): Legt de flow van interacties vast via derde partijen die $u$ en $v$ overbruggen (bijv. gemeenschappelijke buren).

2. De Motief Feature Map $h(u, v, t)$

Op basis van deze assen ontwerpen de auteurs een compacte, 13-coördinaat, kandidaat-lokale motief feature map, $h(u, v, t) \in \mathbb{R}^{13}$. Belangrijke ontwerpbeperkingen zijn:

• Leakage Veiligheid: Kenmerken worden strikt berekend vanuit het verleden venster $W_{t}^{past}(\Delta) = \{i : t - \Delta \le t_i < t\}$, wat ervoor zorgt dat er geen toekomstige informatie lekt in de kandidaat-representatie.
• Vaste Dimensie: De 13 kenmerken worden geconcateneerd via een leerbare lineaire embedding-matrix $M$ in elke statische of temporele encoder zonder architecturale wijzigingen.
• Sub-families: De 13 coördinaten komen overeen met de drie assen:
  • A1 (5 kenmerken): Tellingen van $u \to v$ en $v \to u$ events, gepaarde events, burstiness, en genormaliseerde tijd sinds het laatste wederkerige event.
  • A2 (4 kenmerken): Grootte van de onderscheidende buren-sets ($N_{u}^{out}, N_{u}^{in}, N_{v}^{out}, N_{v}^{in}$) binnen het venster, begrensd om hubs te verwerken.
  • A3 (4 kenmerken): Grootte van de gerichte cross-wedge en bi-wedge intersecties tussen de buren-sets van $u$ en $v$.
• Normalisatie: Heavy-tailed telling-coördinaten ondergaan een $\log_{10}(1+x)$ transformatie om vergelijkbaarheid te garanderen.

3. Theoretische Plaatsing (Temporele Weisfeiler-Leman)

Het artikel stelt een theoretische grens vast voor standaard temporele message-passing GNN's (MP-GNN's). Onder een algemene edge-scoring abstractie zijn deze modellen begrensd door het eerste niveau van een kandidaat-geankerde temporele Weisfeiler-Leman (WL) hiërarchie (temporele-1-WL).

• De auteurs bewijzen dat er geankerde temporele stromen bestaan (bijv. een $C_6$ cyclus versus twee disjuncte driehoeken $2K_3$) die temporele-1-WL niet kan onderscheiden (ze reduceren tot dezelfde kleur), terwijl de motief feature map $h$ hen perfect onderscheidt.
• Dit plaatst de motief-augmentatie strikt boven de expressiviteit van standaard temporele MP-GNN's, waarbij het fungeert als een "getuige" die de WL-bottleneck doorbreekt.

Belangrijkste Bijdragen

1. Diagnostiek (Sectie 4): Het artikel stelt dat per-kandidaat motief-tellingen temporele stromen organiseren langs drie dominante, schaalstabiele assen (A1, A2, A3). Deze per-dataset signaturen voorspellen waar motief-augmentatie de grootste prestatiewinst zal opleveren.
2. Temporele Expressiviteit (Sectie 6): De auteurs bieden een theoretische plaatsing van standaard temporele MP-GNN's binnen een kandidaat-geankerde temporele-WL hiërarchie. Zij tonen een specifiek paar stromen aan waarbij motief-kenmerken kandidaten onderscheiden die temporele-1-WL samenvoegt, wat aantoont dat de augmentatie het model boven het eerste niveau van deze hiërarchie tilt.
3. Empirische Prestaties (Sectie 7): Het artikel demonstreert dat motief-augmentatie consequent de prestaties verhoogt over heterogene taken (TGB link-property prediction, edge classificatie, en graph-level classificatie) vergeleken met sterke TGNN-baselines. De winst is interpreteerbaar: deze is het grootst waar de baseline faalt om korte-horizon structuren te vatten (bijv. MOOC) en verwaarloosbaar waar de baseline de relevante structuur al vat (bijv. bij andere datasets).

Experimentele Resultaten

Het framework werd geëvalueerd op:

• TGB Link-Property Prediction: Over vijf baselines (TPNet, HyperEvent, DyGFormer, TNCN, TGN) en drie datasets (Wiki, Review, Coin).
  • Resultaat: Motief-augmentatie verhoogde de prestaties op alle geëvalueerde baseline-dataset paren. De meest significante winst werd waargenomen bij DyGFormer voor de tgbl-review-v2 dataset, waarbij de Mean Reciprocal Rank (MRR) steeg van 0.224 naar 0.413.
  • Observatie: Winsten waren binnen één standaarddeviatie van nul voor baselines zoals TPNet op tgbl-coin-v2, wat consistent is met het feit dat die baselines al de relevante korte-horizon structuur voor die specifieke dataset vatten.
• Edge Classificatie:
  • MOOC: Een binaire classificatietaak voor het voorspellen van student drop-out. Een vanilla GraphSAGE encoder bereikte een PR-AUC van 0.0164. Het toevoegen van de 4-feature ster-count subset (A2) bracht dit naar 0.1430, en de volledige 13-feature map bereikte 0.1659.
  • Bitcoin Alpha/OTC: Trust classificatie-taken toonden matige maar consistente verbeteringen (bijv. SAGE PR-AUC van 0.9282 naar 0.9667 op Alpha).
• Graph-Level Classificatie: Op synthetische temporele generatoren verbeterde motief-augmentatie de nauwkeurigheid aanzienlijk, waarbij het met name GAT verhoogde van een geërodeerde 16.7% (majority class prediction) naar 94.0% zonder architecturale wijzigingen.

Ablatie en Controles:

• Leave-one-out analyse bevestigde dat geen enkele coördinaat uniform redundant is; verschillende datasets vertrouwen op verschillende assen (bijv. MOOC vertrouwt sterk op A2 ster-diversiteit, terwijl Bitcoin Alpha vertrouwt op A1 wederkerigheid).
• Controles sloten uit dat de winst voortkwam uit "extra capaciteit" (random features repliceerden de lift niet) en bevestigden dat de winst niet louter een proxy is voor eenvoudige node activiteit-tellingen.

Betekenis en Claims

Het artikel claimt dat temporele motief-signaturen een compacte, interpreteerbare en architectuur-agnostische methode bieden om korte-horizon structurele regelmatigheden in TGNN's te injecteren.

• Voorspellende Kracht: De per-dataset signature langs de A1/A2/A3 assen dient als een diagnostisch instrument om te voorspellen waar augmentatie het meest gunstig zal zijn.
• Theoretische Onderbouwing: Door de augmentatie te plaatsen ten opzichte van de temporele-WL hiërarchie, verheldert het artikel waarom standaard TGNN's falen op bepaalde taken (ze zijn begrensd door temporele-1-WL) en hoe de augmentatie deze WL-bottleneck overwint.
• Praktisch Nut: De methode vereist geen wijzigingen aan de onderliggende encoder-architectuur, enkel de concatenatie van een vooraf berekende feature vector, waardoor het gemakkelijk inzetbaar is in bestaande pipelines.

De auteurs nemen een bescheiden standpunt in en merken op dat de vensterstraal $\Delta$ een gevoelige hyperparameter is en dat in ijle stromen waar triadische flow verwaarloosbaar is, de augmentatie reduceert tot een lager-dimensionale subspace met dienovereenkomstig kleinere winsten. Het framework wordt gepresenteerd als een principiële manier om specifieke structurele signalen bloot te leggen die vanilla TGNN's vaak niet kunnen blootleggen aan hun edge scorers.