TFWaveFormer: Temporal-Frequency Collaborative Multi-level Wavelet Transformer for Dynamic Link Prediction

In dit artikel wordt TFWaveFormer voorgesteld, een innovatief Transformer-architectuur die temporeel-frequentieanalyse combineert met multi-resolutie golfkleurendecompositie om complexe temporele dynamieken beter vast te leggen en zo de state-of-the-art prestaties voor dynamische linkpredictie te verbeteren.

De kern

Stel je voor dat je een enorme, levende stad bent waar mensen (de knooppunten) voortdurend contact met elkaar hebben (de lijnen). Soms praten ze even kort, soms vormen ze lange vriendschappen, en soms stoppen ze plotseling met communiceren.

Het doel van dit onderzoek is om een voorspeller te bouwen die kan zeggen: "Zullen deze twee mensen morgen weer contact maken?" Dit heet dynamische linkpredictie.

De uitdaging is dat het gedrag van mensen niet lineair is. Het is als muziek: er zijn snelle noten (een kort berichtje), maar ook een langzaam, diep ritme (een jaarlijkse conferentie waar ze elkaar altijd zien). Bestaande computersystemen zijn vaak goed in het horen van de snelle noten, maar missen het grote ritme, of ze zijn goed in het ritme maar missen de snelle details.

Hier komt TFWaveFormer in beeld. Het is een slimme nieuwe "muziektheoreticus" voor netwerken. Laten we kijken hoe het werkt, met een paar simpele vergelijkingen:

1. Het Probleem: De "Eenzijdige" Luisteraar

Vroeger hadden we twee soorten luisteraars:

• De Chronometer: Kijkt alleen naar de tijd. "Hij stuurde een bericht om 14:00, en toen om 14:05." Dit is goed voor details, maar mist het patroon van "Ze praten elke dinsdag."
• De Frequentie-analist: Kijkt alleen naar patronen. "Ze praten elke dinsdag." Dit is goed voor ritmes, maar mist de details van "Vandaag was het gesprek korter dan normaal."

Deze systemen faalden vaak omdat ze niet konden zien hoe het ritme en het moment samenwerken.

2. De Oplossing: TFWaveFormer (De "Tijds-Frequentie" Meester)

De onderzoekers hebben een nieuw systeem gebouwd dat beide werelden combineert. Ze noemen het TFWaveFormer. Het werkt in drie stappen, alsof je een complexe symfonie analyseert:

Stap 1: De "Muziekstijl" (Golven)

In plaats van te kijken naar de data als een rechte lijn, kijkt TFWaveFormer ernaar als een golfbeweging (vandaar de naam Wavelet).

• De Analogie: Stel je voor dat je een foto van een golven in de oceaan hebt. Je kunt de hele oceaan zien (grote golven = lange trends) of je kunt de schuimkoppen op de top van de golven zien (kleine golven = korte gebeurtenissen).
• De Innovatie: Oude methoden gebruikten vaste "schermen" om deze golven te meten. TFWaveFormer leert echter zelf welke schermen het beste werken. Het is alsof de computer zelf zijn eigen brillen maakt om precies te zien wat er belangrijk is op dat moment.

Stap 2: De "Orkestleider" (De Transformer)

Nadat de golven zijn opgesplitst in grote en kleine patronen, moet alles weer samengevoegd worden.

• De Analogie: Stel je een orkest voor. De violisten spelen de snelle noten (tijdsdetails), en de cellisten spelen de diepe bas (frequentiepatronen). Een oude dirigent zou misschien alleen naar de violisten luisteren.
• De Innovatie: TFWaveFormer is een dirigent die alleen naar de juiste sectie luistert op het juiste moment. Als er een plotselinge gebeurtenis is, schakelt hij over naar de snelle noten. Als er een langdurig patroon is, schakelt hij over naar de bas. Hij zorgt dat beide groepen perfect samenwerken.

Stap 3: De "Voorspeller"

Uiteindelijk heeft het systeem een compleet beeld van de relatie tussen twee mensen. Het kan dan met veel zekerheid zeggen: "Op basis van hun lange ritme én hun recente gedrag, is de kans 99% dat ze morgen weer contact zoeken."

Waarom is dit zo goed?

De onderzoekers hebben dit systeem getest op tien verschillende "steden" (datasets), variërend van sociale media (Wikipedia, Reddit) tot zakelijke netwerken (e-mails) en zelfs internationale handel.

• Het resultaat: TFWaveFormer was overal de beste. Het was sneller en accurater dan alle vorige systemen.
• De kracht: Het kan zowel de snelle, chaotische momenten begrijpen als de stille, lange termijn trends.

Samenvattend

Stel je voor dat je een waarzegger bent die niet alleen kijkt naar wat er vandaag gebeurt, maar ook naar de ritmes van de afgelopen jaren. TFWaveFormer is die waarzegger die niet alleen luistert naar de woorden die gezegd worden, maar ook naar de muziek die erachter zit. Door de tijd en de frequentie samen te laten werken, kan het netwerken voorspellen die voorheen onbegrijpelijk leken.

Het is een grote stap voorwaarts in het begrijpen van hoe onze digitale wereld zich voortdurend verandert.

Technische samenvatting

Probleemstelling

Dynamische linkpredictie is een kernopgave in de analyse van tijdsafhankelijke grafen, met toepassingen in sociale netwerken, communicatievoorspelling en financieel modelleren. Bestaande methoden, vooral die gebaseerd op recurrente neurale netwerken (RNN's) en standaard Transformer-architecturen, kampen met fundamentele beperkingen bij het modelleren van complexe, multi-schaal temporele dynamieken:

1. RNN's: Lijden onder het verdwijnen of exploderen van gradienten, waardoor ze moeite hebben met het vastleggen van lange-termijn afhankelijkheden.
2. Standaard Temporele Attention (bijv. TGAT, DyGFormer): Zijn vaak tekortkomingen in het onderscheiden van verschillende frequentiepatronen in niet-stationaire tijdsintervallen (bijv. periodieke fluctuaties versus plotselinge veranderingen).
3. Frequentiedomein-methoden: Zijn effectief voor globale frequentiekenmerken maar verliezen lokale temporele details, wat ze ongeschikt maakt voor niet-stationaire signalen.
4. Vaste vensterlengtes: Kunnen zich niet aanpassen aan variabele periodieke patronen in real-world netwerken.

Het centrale probleem is dus het ontbreken van een unified framework dat zowel lokale temporele dynamiek als globale evolutionaire trends (frequentiepatronen) gelijktijdig en adaptief kan modelleren.

Methodologie: TFWaveFormer

Het voorgestelde TFWaveFormer is een nieuwe Transformer-architectuur die tijds-frequentie analyse combineert met multi-resolutie wavelet-decompositie. De architectuur bestaat uit drie hoofdkomponenten:

1. Feature Integratie

Voor elke node worden diverse modaliteiten geïntegreerd:

• Node- en Edge-features: Inherent attributen en interactiesemantiek.
• Temporele features: Verwerkt via een tijds-encoder (tijdverschillen tussen interacties).
• Node Interaction Frequency (NIF): Topologische relaties en interactiefrequentie.
  Deze features worden uitgelijnd naar een gemeenschappelijke ruimte en samengevoegd tot een enkele feature-representatie ($X_v$).

2. Multi-Level Wavelet Decompositie (Learnable Wavelet Module)

In plaats van traditionele, vaste wavelet-basisfuncties (zoals Daubechies), gebruikt TFWaveFormer een leerbare, multi-schaal convolutie-architectuur:

• Parallelle Decompositie: In plaats van iteratieve transformaties, worden meerdere convolutie-kernen met verschillende schalen ($k$) parallel toegepast om tijdsafhankelijkheden op verschillende granulariteiten te extraheren (kleine kernen voor korte-termijn patronen, grote kernen voor lange-termijn trends).
• Learnable Kernen: De wavelet-kernen ($\Psi$) zijn trainbare parameters die data-gedreven optimaal patronen leren.
• Schaal-Attention: Een leerbaar mechanisme weegt de output van de verschillende schalen om de meest relevante temporele patronen te selecteren.
• Gated Reconstruction: Een gating-mechanisme (gebaseerd op MLP's en Sigmoid) modereert de multi-schaal features om de reconstructie van de wavelet-transformatie adaptief te sturen, waardoor ruis wordt onderdrukt en belangrijke features worden benadrukt.

3. Temporal-Frequency Hybrid Transformer

De gereconstrueerde frequentie-domein features worden gefuseerd met de oorspronkelijke temporele features:

• Fusie: De temporele features (via MLP) en de wavelet-features worden samengevoegd en voorzien van positionele encoding.
• Hybride Attention: Een Multi-Head Self-Attention (MHSA) mechanisme verwerkt deze gecombineerde representatie, waardoor het model zowel lokale interacties als globale frequentie-afhankelijkheden kan modelleren.
• Predictie: Na aggregatie van de sequentie-outputs (via mean pooling) worden de embeddings van de bron- en doelnodes gebruikt om de kans op een link te voorspellen via een dot-product en sigmoid-functie.

Belangrijkste Bijdragen

1. Leerbare Wavelet-Decompositie: Een nieuw module dat traditionele vaste basis-transformaties vervangt door parallelle, multi-schaal convolutie-kernen. Dit stelt het model in staat om zowel fijne lokale als grove globale temporele patronen adaptief en efficiënt te extraheren.
2. Tijd-Frequentie Coördinatie: Een mechanisme dat representaties uit zowel het tijds- als het frequentiedomein synergetisch integreert. Dit stelt het model in staat om complementaire dynamieken vast te leggen, variërend van transient events tot lange-termijn periodiciteit.
3. Unificatie en State-of-the-Art Prestaties: TFWaveFormer is een unified Transformer-architectuur die deze modules naadloos combineert en experimenteel is gevalideerd als de nieuwe state-of-the-art.

Resultaten

De auteurs hebben TFWaveFormer getest op 10 real-world datasets (o.a. Wikipedia, Reddit, MOOC, LastFM, Enron) onder zowel transductieve als inductieve settings.

• Prestaties: TFWaveFormer presteert consistent superieur ten opzichte van bestaande methoden (zoals DyRep, TGN, DyGFormer, FreeDyG, CorDGT).
  • In transductieve settings behaalde het een gemiddelde ranking van 1.20 voor Average Precision (AP) en 1.40 voor AUC.
  • Op specifieke datasets zoals Wikipedia en Reddit werden AP-scores van respectievelijk 99.33% en 99.32% behaald.
  • Op uitdagende, schaarse datasets (zoals UN Trade) behaalde het ook de beste resultaten (66.06% AP).
• Efficiëntie: Het model biedt een optimale balans tussen prestaties en trainings-efficiëntie, met een trainingstijd per epoch die vergelijkbaar is met de beste bestaande methoden.
• Robuustheid: De resultaten blijven stabiel onder verschillende negatieve sampling strategieën (random, history-based, en inductief), wat aantoont dat het model goed generaliseert naar onzichtbare nodes en tijdspatronen.
• Ablatie-studies: Verwijdering van de frequentie-component ("w/o Frequency") leidt tot aanzienlijke prestatieverlies, vooral op datasets met complexe periodieke patronen, wat de noodzaak van de wavelet-module bevestigt.

Significantie

TFWaveFormer markeert een belangrijke doorbraak in dynamische grafenleer door de kloof tussen tijdsdomein- en frequentiedomein-analyse te overbruggen.

• Theoretische Impact: Het bewijst dat het integreren van multi-resolutie wavelet-decompositie in Transformer-architecturen essentieel is voor het modelleren van niet-stationaire, multi-schaal dynamieken in complexe systemen.
• Praktische Toepassing: De adaptiviteit van het model (leerbare schalen) maakt het zeer geschikt voor diverse real-world scenario's, van sociale netwerken met periodieke activiteiten tot communicatienetwerken met onregelmatige interacties.
• Toekomst: Het werk opent de weg voor verdere onderzoek naar hybride domein-methoden in tijdsafhankelijke data-analyse, waarbij de keuze van wavelet-schalen kan worden afgestemd op de specifieke complexiteit van de dataset.