🤖 machine learning

Never Skip a Batch: Dense Learning of Temporal GNNs via Adaptive Pseudo-Supervision

Dit artikel introduceert Moving-Averaged Labels (MAL), een adaptieve pseudo-supervisiemethode die historische labeldistributies benut om gradiëntvariantie te verminderen en de convergentie aanzienlijk te versnellen, terwijl de voorspellende prestaties in temporele grafieknetwerken wordt verbeterd.

Oorspronkelijke auteurs: Alexander Panyshev, Dmitry Vinichenko, Oleg Travkin, Roman Alferov, Alexey Zaytsev

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Panyshev, Dmitry Vinichenko, Oleg Travkin, Roman Alferov, Alexey Zaytsev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Stille Klas"

Stel je voor dat je een docent bent (het AI-model) die probeert te leren hoe leerlingen (de grafiek-nodes) interageren met verschillende onderwerpen (de labels, zoals muziekgenres of aandelen).

In een normale klas krijgt de docent elke dag een toets om te zien hoe het met de leerlingen gaat. Op basis van de resultaten van de toets past de docent de lesmethode aan. Dit is supervised learning (begeleid leren).

Echter, in de wereld van Temporale Grafieken (dynamische netwerken die veranderen in de loop van de tijd), zijn de "toetsen" extreem zeldzaam. Stel je een school voor waar de docent, van de 100 dagen, slechts op 2 dagen een toets krijgt. Op de overige 98 dagen kijkt de docent alleen toe hoe de leerlingen interageren, maar krijgt geen enkele feedback.

Het huidige probleem:
Omdat de docent slechts 2% van de tijd feedback krijgt, past hij zijn lesmethode ook slechts 2% van de tijd aan. De overige 98 dagen kijkt hij alleen maar "toe" en doet hij niets. Dit maakt het leerproces ongelooflijk traag en inefficiënt. De docent slaat in feite 98% van de lessen over.

De Oplossing: "Moving-Averaged Labels" (MAL)

De auteurs stellen een slimme truc voor genaamd Moving-Averaged Labels (MAL). In plaats van te wachten op een echte toets om de lesmethode aan te passen, creëert de docent een "oefentoets" gebaseerd op wat hij in het verleden heeft geleerd.

Denk aan een weersverwachting:

De oude manier: Je controleert de temperatuur alleen als je op dit moment een thermometer bij de hand hebt. Als je die niet hebt, gok je niets.
De MAL-manier: Je kijkt naar de temperatuur van de afgelopen paar dagen. Als het gisteren 21°C was en de dag ervoor 22°C, neem je aan dat het vandaag waarschijnlijk rond de 21,5°C is. Je gebruikt deze "geschatte" temperatuur om je dag te plannen, zelfs als je op dit moment geen thermometer hebt.

In de methode uit het paper:

Historisch Geheugen: De AI kijkt naar de labels (antwoorden) die het in het verleden voor een specifieke gebruiker heeft gezien.
Het "Voortschrijdend Gemiddelde": Het berekent een "zachte" voorspelling. In plaats van te zeggen "De gebruiker houdt van Jazz", zegt het: "De gebruiker heeft een kans van 60% om van Jazz te houden en 40% van Rock, gebaseerd op hun geschiedenis."
Never Skip a Batch: Nu kan de AI, zelfs op de dagen zonder echte toetsen, blijven leren door middel van deze "oefentoetsen". Het werkt zijn brein elke dag bij, niet alleen op de 2 dagen dat er echte feedback is.

Waarom dit werkt (De Theorie)

Het paper beargumenteert dat dit werkt omdat menselijke voorkeuren (zoals muziekstijl of handelsgewoonten) niet plotseling veranderen. Ze verschuiven langzaam.

De Analogie van Ruis: Stel je voor dat je probeert naar een liedje te luisteren in een lawaaierige kamer. Als je slechts een fractie van een seconde luistert (één datapunt), kan de ruis ervoor zorgen dat je denkt dat het liedje anders is. Maar als je langer luistert en het geluid middelt (het voortschrijdend gemiddelde), filter je de ruis weg en hoor je de ware melodie veel duidelijker.
Het Resultaat: Door deze historische gemiddelden te gebruiken, vermindert de AI de "ruis" in het leerproces. Theoretisch zorgt dit ervoor dat het leerproces veel sneller convergeert (klaar is met leren)—het paper beweert specif으로 dat het 6 keer sneller kan gaan om hetzelfde niveau van vaardigheid te bereiken.

Wat ze hebben getest

De onderzoekers hebben deze methode getest op vier real-world datasets (zoals internationale handel, muziekgenres, Reddit-activiteit en crypto-transacties). Ze vergeleken hun methode met:

Vanilla Training: De standaardmanier (dagen met geen labels overslaan).
Andere Pseudo-labeling: Voorspellen op basis van alleen de allerlaatste keer dat ze een label zagen (Persistent Forecast).
Smoothing: Een techniek die de antwoorden iets minder scherp maakt (blurring).

De Resultaten:

Snelheid: Hun methode bereikte de top prestaties 6 keer sneller dan de standaardmethode.
Kwaliteit: Ondanks dat ze op de meeste dagen "nep" (pseudo) labels gebruikten, was het uiteindelijke model daadwerkelijk beter in het voorspellen van de toekomst dan de standaardmethode.
Veelzijdigheid: Het werkte goed op verschillende soorten grafieken, van kleine handelsnetwerken tot enorme cryptonetwerken.

Het "Geheime Sausje"

Het paper benadrukt een paar kenmerken die dit bijzonder maken:

Geen Extra Breinen: Het vereist niet dat de AI een nieuwe, complexe manier leert om labels te raden. Het is een simpele wiskundige formule (gemiddelden berekenen) toegepast op bestaande data.
Robuustheid: Zelfs als de data rommelig is of de labels door elkaar staan, houdt de methode het beter vol dan andere methoden.
De "Window" Grootte: De methode werkt het best als je naar de "juiste hoeveelheid" geschiedenis kijkt. Te weinig geschiedenis bekijken is te ruizig; te veel geschiedenis bekijken maakt de AI te traag om zich aan te passen aan veranderingen. De auteurs vonden een "sweet spot" (een window size van ongeveer 7) die goed werkt voor de meeste situaties.

Samenvatting

Het paper lost het probleem op van "saaie" trainingsdata waarbij labels ontbreken. In plaats van het leerproces te stoppen wanneer labels ontbreken, gebruiken ze een tijdreisend gemiddelde van eerdere labels om de AI elke seconde te laten leren. Dit zorgt ervoor dat de AI 6 keer sneller leert en slimmer wordt, zonder dat er extra rekenkracht of complexe nieuwe architecturen nodig zijn.

Technische Samenvatting: Never Skip a Batch: Dense Learning of Temporal GNNs via Adaptive Pseudo-Supervision

1. Probleemstelling

Temporale Graph Networks (TGNs) zijn state-of-the-art modellen voor dynamische grafentaken, maar hun trainingsefficiëntie wordt ernstig gehinderd door supervisie-schaarsheid in real-world datasets. In veel toegepaste problemen (bijv. aanbevelingen, fraudedetectie) vormen gelabelde interacties minder dan 2% van de totale gebeurtenissen. Geconsequentieerd verwerken standaard TGN-implementaties batches in twee verschillende modi:

Gesuperviseerde Batches: Volledige trainingsstappen met gradiëntupdates en geheugenupdates.
Ongesuperviseerde Batches: Alleen geheugen- en buur-samplerupdates vinden plaats; er vindt geen gradiëntgebaseerde training plaats omdat grondwaarheid-labels ontbreken.

Dit "skip-a-batch"-gedrag creëert een significante bottleneck. Het model slaat parameterupdates over voor het overgrote deel van de data, wat leidt tot gradiëntupdates met een hoge variantie wanneer labels eindelijk beschikbaar zijn, en een trage wall-clock convergentie. Het artikel stelt dat voorkeuren van knopen langzaam evolueren, wat suggereert dat historische supervisiesignalen kunnen worden aangewend om informatieve pseudo-doelstellingen te genereren voor deze anders inactieve batches.

2. Methodologie: Moving-Averaged Labels (MAL)

De auteurs stellen Moving-Averaged Labels (MAL) voor, een pseudo-labeleringsschema dat zachte doelstellingen (soft targets) genereert voor ongesuperviseerde batches op basis van historische supervisiesignalen. Deze aanpak is orthogonaal aan de onderliggende modelarchitectuur (bijv. TGNv2, DyRep) en introduceert geen extra leerbare parameters.

Kernmechanisme

Voor een knoop $v$ in een batch $B_t$ die geen grondwaarheid-labels heeft, construeert MAL een pseudo-doelstelling $\tilde{y}^{(v)}_t$ met behulp van eerdere geobserveerde targets. De pseudo-doelstelling wordt gedefinieerd als:
$\tilde{y}^{(v)}_t = \bar{y}^{(v)}_t + \gamma \cdot \epsilon$
Waarbij:

$\bar{y}^{(v)}_t$ een aggregatie is van historische targets.
$\epsilon$ een ruis met een gemiddelde van nul is, getrokken uit een uniforme verdeling, genormaliseerd om ervoor te zorgen dat $\tilde{y}^{(v)}_t$ een geldige waarschijnlijkheidsverdeling blijft (optelt tot 1).
$\gamma$ een ruis-schalingsfactor is die fungeert als regularisator.

Aggregatiestrategieën

Het artikel evalueert drie strategieën voor het berekenen van de historische aggregatie $\bar{y}^{(v)}_t$ :

Persistent Forecast (PF): Hergebruikt de meest recent geobserveerde label voor de knoop.
Moving Average (MA): Update de pseudo-label incrementeel met behulp van een venstergrootte $w$ . Wanneer een nieuwe target $y^{(v)}_t$ arriveert, wordt de aggregatie bijgewerkt als:
$\bar{y}^{(v)}_t = \frac{w-1}{w}\bar{y}^{(v)}_{t-1} + \frac{1}{w}y^{(v)}_t$
Historical Average (HA): Aggregeert alle voorgaande targets met gelijke wegingsfactoren (theoretische baseline).

Trainingspipeline

De methode wijzigt de standaard TGN-trainingslus. Wanneer een batch arriveert zonder grondwaarheid-labels, berekent het model de pseudo-targets $\tilde{y}$ met behulp van de gekozen aggregatiestrategie. Het model voert vervolgens een volledige forward pass uit, berekent de cross-entropy loss tegen deze pseudo-labels, en voert backpropagation uit om zowel de GNN-parameters als de geheugenmodules bij te werken. Dit transformeert "inactieve" berekeningen in productieve trainingsstappen.

3. Theoretische Analyse

Het artikel biedt een theoretische rechtvaardiging voor waarom MAL de convergentiesnelheid verbetert door de variantie van stochastische gradiënten te verminderen.

Variantiereductie: Onder de aanname van constante (of langzaam verschuivende) gebruikersvoorkeuren, modelleren de auteurs labelgeneratie als een proces waarbij ware labels one-hot vectoren zijn. Ze bewijzen dat het aggregeren van $h$ historische labels (History Average) de variantie van de label-schatter vermindert vergeleken met een enkele observatie.
Convergentie-grens: Voor Stochastic Gradient Descent (SGD) met een $\mu$ -sterk convexe loss, is de regret-bound $R_T$ proportioneel aan de gradiëntvariantie $\sigma^2$ . De auteurs leiden af dat voor History Average Labels (HA), de variantie schaalt met $\frac{1}{\min(h, k)}$ , waarbij $h$ de geschiedenislengte is en $k$ het aantal mogelijke interactieklassen.
Resultaat: Dit impliceert een theoretische versnelling in convergentie met een factor $\min(h, k)$ vergeleken met vanilla training, mits de aanname van temporele consistentie standhoudt.

4. Experimentele Resultaten

De auteurs evalueerden MAL op de Temporal Graph Benchmark (TGB) met vier grootschalige datasets: tgbn-trade, tgbn-genre, tgbn-reddit, en tgbn-token. Ze implementeerden MAL op TGNv2 en een gemodificeerde DyRepv2 (met incorporatie van TGNv2's bron-doel identificatie).

Belangrijkste bevindingen

Voorspellende Prestaties: MAL presteerde consequent beter dan vanilla training en alternatieve baselines. Op het TGNv2-model bereikte Moving Average (MA) verbeteringen in NDCG@10 variërend van 3% tot 17% over de datasets vergeleken met vanilla training.
Convergentiesnelheid: De meest significante winst zat in de trainingsefficiëntie. MAL verminderde de tijd-tot-accuratesse (tijd om de hoogste score te bereiken) met gemiddeld 6× over alle datasets. In sommige gevallen (bijv. tgbn-token) bereikte de methode de prestaties van een volledig geconvergeerd vanilla model in een fractie van de tijd.
Vergelijking met Baselines:
- Vanilla Modellen: Veel bestaande architecturen (JODIE, TGAT, CAW-N, etc.) stortten in naar triviale oplossingen (presterend vergelijkbaar met een mean-target baseline) op TGB-datasets zonder de specifieke architecturale verbeteringen van TGNv2.
- Alternatieve Pseudo-Labelering: MAL presteerde beter dan Persistent Forecast (PF), Label Smoothing, en Self-Supervised (SSL) next-edge voorspellingsstrategieën.
- Venstergrootte: Een ablatie-studie toonde aan dat optimale venstergroottes variëren per dataset (bijv. $w=3$ voor trade, $w=9$ voor Reddit), maar dat een standaard van $w=7$ over het algemeen robuuste prestaties leverde.
Robuustheid:
- Ruis: De methode bleef stabiel over variërende ruisfactoren ( $\gamma$ ).
- Temporele Shuffling: Wanneer trainingslabels werden gehusseld (waardoor de temporele consistentie werd vernietigd), daalde de prestatie aanzienlijk voor alle methoden, wat bevestigt dat de winsten voortkomen uit temporele consistentie in plaats van louter regularisatie.
- Schaarsheid: Onder gecontroleerde labelverwijdering nam het relatieve voordeel van MAL ten opzichte van vanilla training toe naarmate de supervisie schaarser werd.

5. Betekenis en Claims

Het artikel beweert een fundamentele inefficiëntie in dynamisch grafenlernen aan te pakken: de verspilling van computationele middelen op ongesuperviseerde batches.

Paradigmaplantverschuiving: Het werk verschuift het paradigma van "alleen trainen wanneer gesuperviseerd" naar "altijd trainen, intelligent extrapoleren."
Efficiëntie zonder Complexiteit: De methode bereikt state-of-the-art (SOTA) resultaten en significante versnellingen zonder de modelarchitectuur te wijzigen, extra leerbare parameters toe te voegen of een aparte pre-training fase te vereisen.
Theoretische Onderbouwing: Het biedt een theoretisch bewijs dat het aggregeren van historische supervisie de gradiëntvariantie vermindert, wat leidt tot snellere convergentie onder milde aannames van temporele stabiliteit.
Praktische Impact: Door dense learning op schaarse data mogelijk te maken, maakt MAL het trainen van grootschalige temporele grafen aanzienlijk sneller en effectiever, met name in domeinen waar gelabelde gebeurtenissen zeldzaam zijn.

De auteurs concluderen dat temporele consistentie een onbenut supervisiesignaal is dat, wanneer het wordt benut via eenvoudige voortschrijdende gemiddelden, een principieel en lichtgewicht oplossing biedt voor de gradiënt-schaarsheid in temporeel grafenlernen.