🤖 machine learning

Invariant Graph Representations for Continuous-Time Dynamic Graphs Under Distribution Shifts

Het artikel stelt CIR voor, een framework dat een nieuw structureel causaal model (ICCM) en een genormaliseerde gewogen geometrisch gemiddelde-benadering benut om efficiënt invariante graafrepresentaties te leren voor continue-tijd dynamische grafen, waardoor robuuste prestaties worden bereikt onder out-of-distribution verschuivingen waar bestaande methoden falen.

Oorspronkelijke auteurs: Lanting Fang, Yulian Yang, Yawei Zhang, Shanshan Feng, Kaiyu Feng, Hanning Yuan

Gepubliceerd 2026-06-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lanting Fang, Yulian Yang, Yawei Zhang, Shanshan Feng, Kaiyu Feng, Hanning Yuan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De Toekomst Voorspellen Zonder Erdoor Bedrogen te Worden

Stel je voor dat je probeert te voorspellen of twee mensen, Alice en Bob, vrienden zullen worden. Je kijkt naar hun geschiedenis: met wie ze praatten, wanneer ze praatten en wie er nog meer in de kamer was.

De meeste computerprogramma's (AI) die dit doen, zijn erg goed in het herkennen van patronen in de gegevens waarop ze zijn getraind. Maar ze zijn slecht in het omgaan met verandering. Als de regels van het spel licht verschuiven (een "distribution shift"), raken deze programma's vaak in de war en maken ze slechte voorspellingen.

Dit paper introduceert een nieuw systeem genaamd CIR (Continuous-time Invariant Representation). Het doel ervan is om een AI te leren de echte redenen te vinden waarom dingen gebeuren, zodat het goede voorspellingen kan doen, zelfs wanneer de wereld om het heen verandert.

Het Probleem: De "Valstrik van de Valse Aanwijzing"

Om te begrijpen waarom dit moeilijk is, kijken we naar een specifiek voorbeeld uit het paper (Figuur 1).

Het Scenario:
Je wilt voorspellen of Alice en Bob een band zullen opbouwen.

De Echte Reden (De Invariante Waarheid): Alice en Bob worden vrienden omdat ze beiden een gemeenschappelijke vriend kennen, Charlie. Dit is een "triadische sluiting" (A kent B, B kent C, dus A en C ontmoeten elkaar). Dit is een solide, onveranderlijke regel van menselijk gedrag.
De Valse Aanwijzing (De Spuriouse Correlatie): In jouw trainingsdata was er elke keer dat Alice en Bob vrienden werden, ook een willekeurige vreemde, Dave, die toevallig net voor Alice zwaaide.

De Fout:
Een standaard AI kijkt naar de data en zegt: "Aha! Elke keer als Dave zwaait, worden Alice en Bob vrienden. Ik wed op Dave!"

In de trainingswereld: De AI heeft 100% van de tijd gelijk.
In de echte wereld (OOD - Out of Distribution): Je test de AI op een nieuwe groep mensen waar Dave nooit zwaait. De AI, die de "Dave-regel" heeft geleerd, faalt nu volledig omdat het de echte reden (Charlie) heeft genegeerd.

Het paper noemt dit spurious correlation (schijncorrelatie). De AI onthoudt sluiproutes in plaats van de werkelijke oorzaak te leren.

De Oplossing: CIR en de "Tijdreizende Detective"

De auteurs stellen CIR voor, een systeem dat is ontworpen om een "Tijdreizende Detective" te zijn. Het kijkt niet alleen naar wat er is gebeurd; het vraagt: "Wat heeft dit veroorzaakt, ongeacht de vreemde toevalligheden?"

Hier is hoe CIR werkt, opgedeeld in drie eenvoudige stappen:

1. De Twee Detective-teams (Structureel & Temporeel)

Het paper stelt dat je in een voortdurend veranderende wereld (Continuous-Time Dynamic Graphs) twee dingen apart moet bekijken:

Het Structurele Team: Wie is met wie verbonden? (bijv. de driehoek van Alice, Bob en Charlie).
Het Temporele Team: Wanneer gebeurden de dingen? (bijv. vond het gesprek plaats direct na een groot evenement?).

CIR gebruikt speciale instrumenten om deze twee soorten aanwijzingen te extraheren. Het scheidt de "echte oorzaken" van de "achtergrondruis".

2. De "Wat Als"-Machine (Interventie)

Dit is het slimste deel. Het paper maakt gebruik van een concept uit de causale wetenschap genaamd Interventie.

Stel je voor dat je een foto hebt van een plaats delict. Een normale AI kijkt naar de foto en doet een gok.
CIR vraagt: "Wat als we de zwaai van Dave magisch uit de foto zouden wissen? Zouden Alice en Bob dan nog steeds vrienden worden?"

Als het antwoord "Ja" is, dan was de zwaai niet de oorzaak. Als het antwoord "Nee" is, dan was de zwaai de oorzaak.

Het Probleem met deze aanpak:
In een echte grafiek met miljoenen verbindingen die elke seconde plaatsvinden, kun je niet fysiek elke "Dave" wissen en het resultaat controleren. Dat zou eeuwig duren (computationeel onmogelijk).

De Truc (De NWGM):
De auteurs gebruiken een wiskundige afkorting genaamd de Normalized Weighted Geometric Mean (NWGM).

Analogie: In plaats van te proberen elke persoon in een stad te interviewen om te zien hoe ze zouden reageren op een nieuwe wet, interview je een paar representatieve groepen en gebruik je een slimme formule om de gemiddelde reactie van de hele stad te raden.
Dit stelt CIR in staat om "Wat als?"-scenario's direct te simuleren zonder de onmogelijke wiskunde te hoeven doen van het controleren van elke mogelijke optie.

3. De "Geheugenbank" (Environment Memory)

De wereld verandert. Soms zien "valse aanwijzingen" er als het ene uit, en soms als het andere.

CIR houdt een Geheugenbank bij. Denk aan dit als een notitieblok waarin de AI verschillende "typen" valse aanwijzingen opschrijft die het in het verleden heeft gezien (bijv. "Dave die zwaait", "Regenachtige dagen", "Feestdagen").
Wanneer de AI een nieuwe situatie ziet, controleert hij zijn notitieblok om te zien of hij te maken heeft met een bekend type "valse aanwijzing". Vervolgens past hij zijn voorspelling aan om die specifieke ruis te negeren.

Waarom is dit beter dan wat we nu hebben?

Het paper heeft CIR getest tegen andere top AI-modellen op vier real-world datasets (zoals Wikipedia-bewerkingen, Reddit-berichten en interacties tussen universiteitsstudenten).

De Oude Modellen: Wanneer de "valse aanwijzingen" (sluiproutes) werden verwijderd of veranderden in de testdata, stortten de oude modellen in. Hun nauwkeurigheid daalde met enorme marges (soms verloren ze 30-50% van hun prestaties). Ze waren te afhankelijk van de specifieke patronen in de trainingsdata.
CIR: Zelfs toen de regels veranderden, bleef CIR goed presteren. Het slaagde erin om de "zwaaiende Dave's" te negeren en zich te concentreren op de "Charlie-verbindingen".

Samenvatting in één zin

CIR is een nieuw AI-framework dat computers leert om toevallige patronen te negeren en zich alleen te concentreren op de ware, onveranderlijke oorzaken van gebeurtenissen, waardoor ze nauwkeurige voorspellingen kunnen doen, zelfs wanneer de wereld op onverwachte manieren verandert.

Wat het Paper Niet Beweert

Het beweert niet dat dit bedoeld is voor medische diagnoses of klinisch gebruik.
Het beweert niet dat dit voor statische grafieken (grafieken die niet veranderen in de loop van de tijd) beter werkt dan bestaande methoden; het is specifiek gebouwd voor grafieken die continu veranderen.
Het beweert niet dat het alle AI-problemen oplost, maar alleen het specifieke probleem van het voorspellen van links in dynamische grafieken wanneer de datadistributie verschuift.

Technische Samenvatting: CIR voor Invariante Representaties in Continue-Tijd Dynamische Grafen

Probleemformulering
Continue-Tijd Dynamische Grafen (CTDGs) modelleren evoluerende relationele systemen waarbij knopen en randen worden toegevoegd of verwijderd op willekeurige tijdstippen, waardoor fijnmazige structurele en temporele veranderingen worden vastgelegd. Hoewel bestaande methoden voor representatieleer voor CTDGs succes hebben geboekt in in-distributie settings, vertonen zij een beperkte robuustheid onder out-of-distribution (OOD) verschuivingen. Specifiek maken standaardmodellen vaak gebruik van spuriave correlaties—zoals specifieke temporele patronen of structurele motieven die frequent voorkomen in de trainingsdata maar niet causaal verbonden zijn met de doelinteractie. Wanneer deze correlaties verschuiven in testomgevingen (bijvoorbeeld door veranderingen in het onderliggende datageneratieproces), degradeert de prestatie van het model aanzienlijk.

De kernuitdaging die in dit werk wordt aangepakt, is het tekort aan methoden die in staat zijn om invariante representaties te leren voor CTDGs onder OOD-verschuivingen. Bestaande causale benaderingen, die vertrouwen op structurele causale modellen (SCMs) en interventies, zijn primair ontworpen voor statische of discrete-tijd grafen. Het toepassen hiervan op CTDGs is computationeel onhaalbaar vanwege de combinatorische explosie van mogelijke structurele en temporele subgrafen, waardoor uitputtende interventie onhaalbaar is.

Methodologie: Het CIR-framework
Om deze uitdagingen aan te pakken, stellen de auteurs CIR (Continuous-time Invariant Representation) voor, een framework dat geworteld is in een nieuw Structureel Causaal Model (SCM) genaamd het Independent and Confounded Causal Model (ICCM).

Het ICCM-framework:
Het ICCM modelleert expliciet de causale mechanismen in CTDGs door onderscheid te maken tussen:
- Invariante Causale Subgrafen: $C_s$ (structureel) en $C_t$ (temporeel), die worden gecodeerd in latente representaties $H_S$ en $H_T$ .
- Confounders: Structurele ( $D_s$ ) en temporele ( $D_t$ ) confounders die spuriave correlaties introduceren, met name in OOD-omgevingen.
- Voorspellingsmechanismen: Het model definieert een in-distributie voorspelling $Y^I$ gebaseerd uitsluitend op invariante kenmerken, en een OOD-voorspelling $Y^C$ die rekening houdt met confounders. Het doel is om causale interventies uit te voeren (met behulp van de $do$-operatie van Pearl) om backdoor-paden veroorzaakt door confounders te blokkeren, om zo de invariante causale effecten te isoleren.
Efficiënte Interventie via NWGM:
Direct interveniëren op alle mogelijke structurele en temporele subgrafen is computationeel onhandelbaar. Om dit te overwinnen, maakt CIR gebruik van de Normalized Weighted Geometric Mean (NWGM) benadering. Deze techniek stelt het model in staat om de verwachte intersectionele uitkomst efficiënt te benaderen door de verwachtingsoperator binnen de niet-lineariteit (bijv. sigmoid) te plaatsen, waardoor de noodzaak voor uitputtende enumeratie van subgraafconfiguraties wordt vermeden.
Neurale Architectuur:
De ICCM wordt geïnstantieerd binnen een deep learning architectuur bestaande uit:
- Duale Subgraaf-extractoren: Dedicated modules extraheren causale structurele en temporele patronen.
  - Temporele Extractie: Gebruikt continue-tijd codering (cosine-gebaseerd) en cross-node aandacht om temporeel relevante randen te identificeren die een doel-link causaal ondersteunen, door deze te scheiden van niet-causale temporele ruis.
  - Structurele Extractie: Codeert knoopkenmerken op basis van $n$ -hop buren binnen een tijdsvenster, waarbij aandachtmechanismen worden gebruikt om achtergrondknopen te filteren die spuriave correlaties introduceren.
- Environment Memory Bank: Om de distributies van latente confounders ( $D_s, D_t$ ) te benaderen zonder deze direct te observeren, houdt het model een memory bank bij van prototype vectoren. Deze prototypes representeren clusters van niet-causale subgrafen en ongeobserveerde factoren. De bank wordt bijgewerkt via zelfgesuperviseerde alignment en diversity losses om ervoor te zorgen dat prototypes onderscheidende confounding-modi vastleggen.
- Fusie en Voorspelling: Een multi-head attention module aggregeert de memory bank-entries om de verwachte bijdrage van confounders te schatten. Deze schattingen worden gefuseerd met de invariante representaties ( $H_S, H_T$ ) om de uiteindelijke OOD-voorspelling te produceren. Het model wordt getraind om zowel in-distributie als intersectionele (OOD) doelstellingen simultaan te optimaliseren.

Belangrijkste Bijdragen

Eerste Onderzoek naar OOD in CTDGs: Het artikel beweert het eerste te zijn dat invariant representatieleer specifiek voor CTDGs onderzoekt voor OOD-verschuivingen, waarmee een gat wordt gedicht waar bestaande causale methoden falen door de continue en niet-stationaire aard van de data.
ICCM en NWGM Benadering: De auteurs introduceren de ICCM om invariante causale subgrafen in CTDGs te karakteriseren en ontwikkelen een efficiënte interventiestrategie met behulp van NWGM. Dit voorkomt de combinatorische explosie die geassocieerd wordt met traditionele causale interventies in dynamische settings.
Het CIR-framework: Een praktische deep learning architectuur is ontworpen om ICCM te instantiëren, wat het gelijktijdig leren van invariante structurele/temporele representaties en omgeving-specifieke kenmerken via een memory bank mechanisme mogelijk maakt.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op vier benchmark datasets (MOOC, REDDIT, WIKI, UCI) met gesimuleerde distributieverschuivingen (geïntroduceerd via structurele perturbaties).

Prestaties: CIR presteert consistent beter dan state-of-the-art baselines, inclusief CTDG-specifieke modellen (TGN, TGAT, GraphMixer) en robuuste DTDG modellen (DIDA, EAGLE, Ada-DyGNN).
Robuustheid: Onder toenemende niveaus van distributieverschuiving (shortcut ratios van 0.2 tot 0.6), lijden bestaande modellen onder significante prestatie-degradatie (bijv. de AUC van GraphMixer daalt met meer dan 50% op MOOC). In contrast behoudt CIR hoge AUC en AP scores met een lage variantie, wat superieure generalisatie demonstreert.
Efficiëntie: CIR bereikt een hoge inferentie-efficiëntie (ongeveer $5.4 \times 10^{-4}$ seconden per rand op REDDIT), vergelijkbaar met of beter dan complexe baselines zoals TGAT en TGN, en aanzienlijk sneller dan DIDA, dat interventiesets voor elke snapshot vereist.
Ablatie: Het verwijderen van sleutelcomponenten (structurele/temporele encoders, de OOD-voorspellingsvertakking $Y^C$ , of de memory bank) leidt tot substantiële prestatiedalingen, wat de noodzaak van de volledige architectuur valideert.

Betekenis
Het artikel positioneert CIR als een belangrijke stap naar de ontwikkeling van robuuste, zelf-interpreteerbare Graph Neural Networks voor continue-tijd dynamische systemen. Door de focus te verschuiven van het enkel modelleren van temporele dynamiek naar het identificeren van invariante causale structuren onder distributieverschuivingen, biedt het werk een theoretische en praktische oplossing voor scenario's waar datadistributies niet-stationair zijn. De auteurs beweren dat CIR effectief spuriave correlaties mitigeert, waardoor voorspellingen vertrouwen op stabiele causale mechanismen in plaats van transiënte omgevingsartefacten, wat de betrouwbaarheid van dynamische grafenmodellen in real-world applicaties verhoogt.