Technische Samenvatting: Incrementele Evaluatie en Training in Relational Deep Learning

1. Probleemstelling

Relational Deep Learning (RDL) is naar voren gekomen als een transformerend paradigma voor het modelleren van multi-tabulaire databases als temporele heterogene grafen, wat end-to-end representatieleer mogelijk maakt zonder handmatige feature engineering. De heersende RDL-evaluatiepraktijken vertrouwen echter op statische, enkelvoudige episodische dataset-snapshots. Deze aanpak negeert de continue, tijd evoluerende aard van real-world databases, waarbij data dynamisch uitbreidt en verschuift. Bijgevolg slagen huidige benchmarks er niet in om te vatten hoe de modelprestaties in de loop van de tijd verslechteren door temporele concept drift. Het bestaande statische evaluatiekader, hoewel het temporele lekkage voorkomt via chronologische splitsingen, beoordeelt modellen in geïsoleerde episodes, waardoor het niet voldoet aan de vereisten voor robuuste, real-world RDL foundation models die moeten adapteren aan continu groeiende data.

2. Methodologie

2.1 Incrementeel, Multi-Episodisch Paradigma

De auteurs stellen een nieuw evaluatie- en trainingsparadigma voor dat de real-world levenscyclus van databasisgroei simuleert. In plaats van een enkele statische split, gaat het framework over naar een multi-episodisch setting:

• Episodes: Tijd wordt verdeeld in incrementen ($\Delta I$). Elke episode $i$ introduceert een nieuwe batch doeldata die binnen een specifieke tijdsperiode arriveert.
• Append-Only Groei: De trainingsset breidt zich strikt uit door nieuwe dataincrementen toe te voegen aan de historische context, wat temporele lekkage garandeert.
• Verschuivende Horizonten: Bij elke episode verschuiven de validatie- en testhorizonten chronologisch vooruit. Het model wordt geëvalueerd op nieuw onthulde doeldata, terwijl het getraind wordt op de cumulatieve historie tot dat punt.

2.2 Trainingsregimes

Om adaptiviteit te beoordelen, benchmarkt het artikel vier verschillende trainingsstrategieën voor elke episode $i$:

1. From Scratch (Baseline): Het model wordt vanaf nul opnieuw getraind met behulp van alle beschikbare data tot de huidige validatietijdstip $t^{(i)}_{val}$. Dit dient als een computationeel dure upper-bound baseline.
2. Finetune (Cumulative): Het model behoudt de gewichten van episode $i-1$ en wordt gefinetuned op de gehele historische dataset tot $t^{(i)}_{val}$.
3. Finetune (Incremental): Het model wordt uitsluitend bijgewerkt op de nieuwste dataincrement om de trainingssnelheid en directe responsiviteit te maximaliseren.
4. Finetune (Upsampled): Een hybride strategie die finetunet op een distributie die is geupsampled uit de meest recente increment, terwijl de historische data wordt behouden (gesampled met een specifieke waarschijnlijkheid) om catastrofale vergetelheid te mitigeren.

2.3 Tijd-Gewogen Evaluatiemetrieken

In het besef dat voorspellingen voor de nabije toekomst vaak operationeel kritischer zijn dan langetermijnvoorspellingen, introduceren de auteurs een tijd-gewogen exponentiële vervalmetriek.

• Standaard metrieken (bijv. MAE, AUROC) worden gewogen op basis van de temporele afstand tot de trainingshorizon.
• Een vervalrate $\alpha \in [0, 1]$ wordt toegepast, waarbij $\alpha=0$ een uniforme gemiddelde oplevert, en $\alpha \to 1$ de onmiddellijke volgende increment prioriteert.
• Het gewicht $W_{s,i}$ voor een sample in venster $i$ wordt berekend als:
  $$W_{s,i} = \frac{(1 - \alpha)^{i-1}}{\sum_{j=1}^{N} |S_j|(1 - \alpha)^{j-1}}$$

2.4 Experimentele Opzet

• Datasets: 12 taken (regressie en binaire classificatie) over 4 databases uit de RelBench benchmark.
• Architectuur: Standaard RDL-architectuur bestaande uit tabulaire ResNet node encoders (via PyTorch Frame) gekoppeld aan GraphSAGE (2 message-passing lagen).
• Implementatie: Gebouwd op PyTorch, PyTorch Lightning en PyTorch Geometric, gebruikmakend van mini-batch training met uniforme temporele neighbor sampling om lekkage te voorkomen.

3. Belangrijkste Resultaten

3.1 Temporele Concept Drift

De studie demonstreert empirisch dat temporele concept drift wijdverspreid is in standaard RDL-taken.

• Analyse van datadistributies (Figuur 3b) onthult duidelijke verschuivingen in cumulatieve doelwaarde-distributies over de tijd voor de meeste taken (bijv. rel-stack, rel-trial).
• "From Scratch" baseline modellen die incrementeel getraind worden, vertonen een algemene trend van prestatieverslechtering over de tijd wanneer ze op opeenvolgende horizonten worden geëvalueerd, wat bevestigt dat statische snapshots onvoldoende zijn om langetermijnmodelrobuustheid te vangen.

3.2 Effectiviteit van Incrementele Fine-Tuning

Incrementele trainingsregimes evenaren consequent of overtreffen de dure "From Scratch" baselines:

• Prestaties: Fine-tuning strategieën (Cumulative, Incremental, Upsampled) bereiken prestaties die vergelijkbaar met of beter zijn dan opnieuw trainen vanaf scratch voor de meeste taken.
• Efficiëntie: De "Finetune (Incremental)" en "Finetune (Upsampled)" regimes demonstreren een hoge computationele efficiëntie. Opvallend genoeg bereiken voorgetrainde modellen prestaties die gelijk zijn aan volledig getrainde baselines binnen slechts 100 trainingsstappen, wat de haalbaarheid van transfer learning in RDL onderstreept.
• Robuustheid: De "Finetune (Upsampled)" strategie balanceert effectief tussen responsiviteit op nieuwe data en het behoud van historische kennis, waardoor catastrofale vergetelheid wordt gemitigeerd.

3.3 Impact van Tijd-Gewogen Metrieken

Het toepassen van de verval-gewogen evaluatiemetrieken onthult duidelijke patronen in de bruikbaarheid van modellen:

• Het variëren van de vervalfactor $\alpha$ behoudt over het algemeen de rangorde van optimale trainingsregimes.
• Echter, absolute metriekwaarden verschuiven op basis van de temporele volatiliteit van de dataset. Zo vertoont study-adverse een consistente daling in prestaties naarmate de focus verschuift naar de directe toekomst, terwijl driver-position verbetering laat zien bij specifieke vervalrates, wat suggereert dat er variërende snelheden van gelokaliseerde temporele volatiliteit zijn over verschillende datasets.

4. Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen aan het veld van Relational Deep Learning:

1. Paradigmaverschuiving: Het introduceert een incrementeel, multi-episodisch evaluatie- en trainingsparadigma dat de RDL-benchmarking in lijn brengt met de continue, dynamische realiteit van real-world databases, waarbij verder wordt gegaan dan statische snapshots.
2. Empirische Validatie van Drift: Het biedt de eerste formele benchmark die aantoont dat temporele concept drift een dominante factor is in standaard RDL-taken, wat dynamische evaluatiemethoden noodzakelijk maakt.
3. Haalbaarheid van Transfer Learning: Het stelt vast dat incrementele fine-tuning niet alleen haalbaar maar ook zeer effectief is in de RDL-setting, wat een computationeel superieur alternatief biedt voor opnieuw trainen vanaf scratch terwijl de voorspellende nauwkeurigheid gelijk blijft of verbetert.
4. Operationele Afstemming: Door tijd-gewogen evaluatiemetrieken voor te stellen, stemt dit werk de benchmark-evaluatie af op praktische operationele prioriteiten die de voorkeur geven aan nauwkeurigheid in de nabije toekomst.

5. Beperkingen

De auteurs erkennen verschillende beperkingen:

• Data Mutaties: De huidige experimentele opzet richt zich op append-only groei. Real-world systemen bevatten updates en verwijderingen (CRUD-operaties), die complexe attribuutafhankelijkheden introduceren die verdere investigatie vereisen (bijv. dynamische node state updates).
• Catastrofale Vergetelheid: Hoewel incrementele fine-tuning schaalbaar is, blijft het mitigeren van catastrofale vergetelheid over uitgebreide horizonten een uitdaging, wat mogelijk geavanceerde continual learning technieken vereist zoals dynamische replay buffers.
• Foundation Models: Het uitbreiden van deze continue evaluatie naar opkomende monolithische RDL foundation models blijft een openstaande uitdaging om hun specifieke veerkracht tegen temporele drift volledig te begrijpen.