🤖 machine learning

Temporal Sheaf Neural Networks with Dynamic Orthogonal Transport

Dit artikel introduceert Temporal Sheaf Neural Networks (TSNN), een causaal tijdelijk link-voorspellingsframework dat gebruikmaakt van dynamische, knooppunt-specifieke orthogonale kaders en expliciet transport om evoluerende interactiesemantiek te modelleren, waarbij de state-of-the-art prestaties op heterogene grafen worden bereikt door geometrische consistentie en monotone daling te waarborgen via een nieuw sheaf-gebaseerd diffusieproces.

Oorspronkelijke auteurs: Md Sadek Hossain Asif, Tanzila Khan, Md. Mosaddek Khan

Gepubliceerd 2026-06-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Md Sadek Hossain Asif, Tanzila Khan, Md. Mosaddek Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te voorspellen wie er na elkaar met wie zal praten in een enorme, chaotische groepschat die nooit slaapt. Dit is het probleem van temporele linkvoorspelling: het kijken naar een geschiedenis van interacties om de volgende verbinding te raden.

De meeste bestaande AI-modellen proberen dit op te lossen door iedereen in één enkel, gigantisch "gedeeld woordenboek" te plaatsen. Ze gaan ervan uit dat het woord "vriend" precies hetzelfde betekent voor een tiener in Tokio als voor een CEO in New York, en dat deze betekenis nooit verandert.

Dit artikel stelt dat dit een fout is. Mensen veranderen rollen, contexten verschuiven en relaties evolueren. Een "vriend" voor een gamer is anders dan een "vriend" voor een handelaar in aandelen. Als je iedereen dwingt hetzelfde woordenboek te gebruiken, raak je uiteindelijk in de war.

De auteurs introduceren TSNN (Temporal Sheaf Neural Networks), een nieuw systeem dat dit oplost door elk individu zijn eigen persoonlijke woordenboek te geven dat in realtime wordt bijgewerkt.

Zo werkt het, met eenvoudige analogieën:

1. Het "Persoonlijke Woordenboek" (Dynamische Lokale Frames)

Stel je voor dat iedereen in het netwerk zijn eigen notitieblok heeft (een "frame") waarin zij definiëren wat hun relaties betekenen.

De Oude Manier: Iedereen schrijft in hetzelfde notitieblok. Als de definitie van "vriend" verandert voor de groep, raken de aantekeningen van iedereen door elkaar gehusseld.
De TSNN-Manier: Iedereen heeft zijn eigen notitieblok. Wanneer Alice met Bob praat, schrijft Alice het in haar notitieblok, en Bob schrijft het in het zijne. Hun definities kunnen net iets verschillend zijn, en dat is oké. Dit notitieblok verandert terwijl ze interageren, waardoor hun begrip actueel en accuraat blijft.

2. De "Vertaler" (Orthogonale Transport)

Wanneer Alice haar aantekeningen wil vergelijken met die van Bob om een toekomstige interactie te voorspellen, kan ze niet rechtstreeks in zijn notitieblok lezen omdat ze verschillende talen (coördinatensystemen) gebruiken.

De Oplossing: TSNN gebruikt een ingebouwde vertaler (genaamd "orthogonale transport"). Voordat de aantekeningen worden vergeleken, vertaalt het de invoer van Alice perfect naar de taal van Bob, zonder enige betekenis te verliezen.
De Analogie: Het is alsof Alice Frans spreekt en Bob Spaans, in plaats van hen te dwingen Engels te spreken (wat nuances zou kunnen verliezen), vertaalt de AI de Franse zin van Alice direct naar perfect Spaans, zodat Bob precies begrijpt wat ze bedoelde, binnen zijn eigen context.

3. De "Geheugenbewaker" (Coördinaat-Consistente Overdracht)

Wat gebeurt er als Alice haar notitieblok bijwerkt? Vergeet ze dan alles wat ze gisteren heeft opgeschreven?

Het Probleem: In oude modellen zorgde het bijwerken van het woordenboek er vaak voor dat oude herinneringen werden verstoord.
De TSNN-Oplossing: Het systeem gebruikt een "magische overdracht". Wanneer Alice haar notitieblok bijwerkt, verschuift het systeem haar oude herinneringen wiskundig naar het nieuwe formaat, zodat ze perfect intact blijven. Het is als het herschrijven van een boek in een nieuw lettertype; de woorden (de betekening) blijven exact hetzelfde, zelfs al is de vorm (de coördinaten) veranderd.

4. De "Smoothie Mixer" (Sheaf Diffusie)

Na een gesprek werkt het systeem niet alleen Alice en Bob bij; het verspreidt de informatie ook voorzichtig over hun directe kring van vrienden om ervoor te zorgen dat ieders begrip consistent is.

De Analogie: Stel je voor dat je een druppel kleurstof in een glas water laat vallen. De kleurstof verspreidt zich. TSNN doet dit wiskundig, maar doet het zorgvuldig zodat de "kleur" (de betekenis) niet verwatert of troebel wordt. Het zorgt ervoor dat als Alice en Bob het ergens over eens zijn, het begrip van hun vrienden over dat evenement ook op één lijn ligt.

Waarom is dit beter?

Het artikel testte TSNN op enorme datasets (zoals Wikipedia-bewerkingen, Amazon-reviews en politieke stemgegevens).

Het Resultaat: TSNN versloeg bijna alle andere bestaande methoden.
Waarom het won: Het kon veel beter omgaan met heterogeniteit (verschillende soorten mensen en rollen). In grafieken waar knooppunten zeer verschillende rollen hebben (zoals een complex sociaal netwerk), faalt het afdwingen van één "globale" visie voor iedereen. TSNN slaagde omdat het respecteerde dat iedereen zijn eigen perspectief heeft en ze pas vergeleek nadat ze correct vertaald waren.

De Kern van het Verhaal

Beschouw TSNN als een superintelligente matchmaker die niet iedereen dwingt om dezelfde taal te spreken. In plaats daarvan geeft het iedereen een evoluerende woordenschat, vertaalt deze perfect tussen hen voordat er een vergelijking wordt gemaakt, en zorgt het ervoor dat herinneringen helder blijven, zelfs wanneer de woordenschat verandert. Dit stelt het systeem in staat om toekomstige verbindingen met veel hogere nauwkeurigheid te voorspellen dan modellen die proberen iedereen in één enkel, rigide systeem te dwingen.

Technische Samenvatting: Temporal Sheaf Neural Networks met Dynamische Orthogonale Transport

1. Probleemstelling

Temporele linkvoorspelling houdt in dat toekomstige verbindingen worden afgeleid in continu evoluerende grafen op basis van een chronologische stroom van het verleden. Een fundamentele uitdaging in bestaande modellen voor grafen in continue tijd is het representatie-uitlijndingsprobleem. Huidige architecturen opereren doorgaans binnen één gedeelde globale inbeddingsruimte, waarbij wordt aangenomen dat de coördinatastaven die de toestand van een knoop definiëren, semantisch consistent blijven over de tijd. Echter, in dynamische systemen driften de rollen van knopen (bijv. gebruikers die van gemeenschap veranderen, eiwitten die nieuwe partners verwerven), waardoor de onderliggende basis van de geleerde representaties verschuift. Hoewel opgeslagen vectoren numeriek stabiel kunnen blijven, kan hun semantische betekenis ontstemd raken, wat leidt tot incorrecte voorspellingen bij het vergelijken van toestanden die in verschillende lokale contexten zijn geleerd. Bestaande methoden, inclusief geheugengebaseerde architecturen en event-centrische encoders, erven deze onuitgesproken globale uitlijningsaanname en missen een expliciet mechanisme om interagerende toestanden uit te lijnen vóór vergelijking.

2. Methodologie: Temporal Sheaf Neural Networks (TSNN)

TSNN pakt deze uitdaging aan door sheaf-gebaseerde representatieleer uit te breiden naar interactiestromen in continue tijd. In plaats van een gedeelde globale ruimte, voorziet TSNN elke knoop van een tijdvariërend orthogonaal frame (een lokaal coördinatensysteem). Het model werkt onder een strikt predict-then-update protocol, wat ervoor zorgt dat alle berekeningen strikt causaal zijn en uitsluitend steunen op de geschiedenis vóór het event.

Kerncomponenten

Dynamische Lokale Frames: Elke knoop $v$ onderhoudt een stalk-vector $h_v(t)$ (semantisch geheugen) en frame-parameters $F_v(t)$ die een orthogonaal transformatie $U_v(t) \in \mathbb{R}^{d \times d}$ parametriseren. Deze frames worden efficiënt geparametriseerd via low-rank Householder-producten, waarbij slechts $O(kd)$ parameters per knoop nodig zijn.
Expliciete Orthogonale Transport: Om toestanden van verschillende knopen te vergelijken of te aggregeren, transporteert TSNN deze expliciet naar een gemeenschappelijk lokaal frame. De transportkaart tussen knopen $u$ en $v$ wordt gedefinieerd als $Q_{uv}(t) = U_u(t)^\top U_v(t)$ . Dit zorgt ervoor dat interacties worden gescoord op basis van geometrische afstanden in een gesynchroniseerd coördinatensysteem, waardoor de semantische inhoud behouden blijft ondanks evoluerende lokale frames.
Coördinaat-Consistente Toestandsevolutie: Wanneer het frame van een knoop wordt bijgewerkt, wordt de opgeslagen verborgen toestand niet weggegooid of opnieuw geïnitialiseerd. In plaats daarvan wordt deze exact overgedragen via de transformatie $\bar{h}_v^- = (U_v^+)^\top U_v^- h_v(t^-)$ . Dit garandeert dat de semantische inhoud van het geheugen invariant blijft onder veranderingen in de lokale coördinatenbasis.
Geometrisch-Residuele Decoder: Het scoringsmechanisme combineert een geometrische tak, die voorspellingen verankert op de getransporteerde gekwadrateerde Euclidische afstand tussen uitgelijnde toestanden, met een residuele tak (MLP) die correcties leert op basis van relatietypes, recentheid en knoopmetadata. Dit ontwerp dwingt een contrastieve inductieve bias af terwijl het flexibiliteit biedt voor systematische afwijkingen.
Full-Active Sheaf Diffusie: Na een event voert het model $K$ rondes van feature-geschaalde genormaliseerde sheaf-diffusie uit over een event-lokale actieve graaf. Deze diffusie wordt geformuleerd als een metriek-gradiëntafdaling op de combinatorische sheaf Dirichlet-energie, wat monotone energieafdaling en niet-expansiviteit garandeert.

Algoritmische Pipeline

Voor elk inkomend event $(u, v, t, r, x)$ :

Scoring: Kandidaat-bestemmingen worden gerangschikt met behulp van uitsluitend de geschiedenis vóór het event ( $E_{<t}$ ) via de geometrisch-residuele decoder.
Update: Bij het observeren van het positieve event worden de frames van de eindpunten bijgewerkt met behulp van getransporteerde partner-toestanden.
Carry-Over: Pre-event stalks worden getransformeerd naar de nieuwe lokale coördinaten.
Message Passing: Berichten worden berekend in de bijgewerkte lokale coördinaten en verwerkt door een GRU.
Diffusie: Full-active diffusie wordt toegepast op de lokale buurt om toestanden te verzachten en te verfijnen voordat ze aan de state-store worden vastgelegd.

3. Belangrijkste Bijdragen

Sheaf-Gestructureerde Temporele GNN: Een nieuw framework voor causale linkvoorspelling waarbij elke knoop een tijdvariërend orthogonaal frame bezit. Kandidaat-links worden strikt gescoord vanuit de geschiedenis vóór het event met behulp van een geometrisch-residuele decoder.
Coördinaat-Consistente Geheugenevolutie: Een mechanisme dat interagerende toestanden naar een gemeenschappelijk frame transporteert vóór aggregatie en opgeslagen verborgen toestanden exact overdraagt over frame-updates heen, waardoor de semantische betekenis behouden blijft terwijl lokale coördinaten evolueren.
Spectrale en Stabiliteitsgaranties:
- De geïnduceerde graad-genormaliseerde sheaf-Laplaciaan is orthogonaal 비슷 aan de symmetrische genormaliseerde graaf-Laplaciaan, met een spectrum begrensd in $[0, 2]$ .
- De full-active feature-geschaalde diffusie-operator is bewezen een metriek-gradiëntstap te zijn op de combinatorische sheaf Dirichlet-energie, wat graad-vrije monotone afdaling en niet-expansiviteit garandeert.
- Frame-drift verstoort updates slechts lineair, waarbij stabiliteit wordt gecontroleerd door een smoothing-regularisator.
Empirische Prestaties: TSNN behaalt state-of-the-art resultaten over de TGB v2, temporele heterogene en DGB benchmark-suites, waarbij het met name uitblinkt in grafen met sterke knoop-rol-heterogeniteit.

4. Experimentele Resultaten

De auteurs hebben TSNN geëvalueerd op twee tracks:

Track A (TGB v2): Bevat link-voorspellingsdatasets (tgbl-wiki, tgbl-review) en een temporele heterogene graaf (thgl-software). TSNN evenaart of overtreft 15 officiële baselines, waarbij het de hoogste MRR behaalt op tgbl-wiki (82,82%) en thgl-software (71,13%), en significante verbeteringen laat zien op tgbl-review.
Track B (DGB): Beslaat 13 standaard benchmarks (bijv. Wikipedia, Reddit, MOOC, Enron). TSNN behaalt de laagste gemiddelde rang over zowel Average Precision (AP) als AUC-metrieken. Opvallende winsten zijn +2,97 AP op MOOC en +6,50 AP op US Legis. vergeleken met de sterke baseline TPNet.
Inductieve Setting: In inductieve linkvoorspelling (onbekende knopen) behaalt TSNN ook de laagste gemiddelde rang, wat een robuuste generalisatie aantoont zonder te vertrouwen op gememoriseerde trajecten.
Ablatieonderzoeken: Experimenten bevestigen dat de residuele scorer, de expliciete orthogonale transport en de tijdvariërende lokale frames de primaire drijfveren van prestaties zijn, waarbij transport en dynamische frames consistente verbeteringen bieden over verschillende datasets.

5. Betekenis en Claims

Het artikel claimt dat TSNN een kritiek gat in dynamische relationele leer aanpakt: het gebrek aan een operator-niveau mechanisme voor het behoud van de betekenis van representaties onder veranderende knoop-lokale semantiek. Door evoluerende knoop-lokale frames, expliciet transport en online causale geheugenupdates te verenigen, biedt TSNN een basis-consistente benadering van temporele graafleer.

De auteurs benadrukken dat de empirische winst niet voortkomt uit een rijker diffusiespectrum (aangezien de spectrale eigenschappen equivalent zijn aan standaard graaf-diffusie wanneer frames gefixeerd zijn), maar uit dynamische lokale frames, exacte carry-over over frame-veranderingen, full-active event-lokale diffusie en niet-lineaire updates in lokale coördinaten. Het model wordt beschreven als "basis-consistent" in plaats van volledig gauge-equivariant, aangezien de frame-update en message MLPs opereren in gekozen lokale coördinaten, terwijl het transport en de decodering de gesynchroniseerde orthogonale veranderingen respecteren. Het werk stelt vast dat expliciete uitlijning van interagerende toestanden noodzakelijk is voor nauwkeurige temporele voorspelling wanneer knoop-rollen over de tijd driften.