🤖 AI

GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention

Het artikel introduceert GRATE, een parameter-vrije temporele coderingmethode met behulp van gated rotary attention die Knowledge Graph-fundamentele modellen in staat stelt om inductieve transfer te bereiken over disjuncte temporele datasets, gevalideerd door nieuw geconstrueerde benchmarks met niet-overlappende entiteiten, relaties en tijdstempels.

Oorspronkelijke auteurs: Jiaxin Pan, Osama Mohammed, Daniel Hernández, Steffen Staab

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaxin Pan, Osama Mohammed, Daniel Hernández, Steffen Staab

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme detective hebt die mysteries kan oplossen door naar een gigantische kaart van verbindingen tussen mensen, plaatsen en dingen te kijken. Deze detective, een "Knowledge Graph Foundation Model" genoemd, is geweldig omdat hij nieuwe verbindingen kan ontdekken die hij nog nooit eerder heeft gezien, zelfs als de namen van de mensen of de soorten relaties totaal anders zijn dan wat hij op school heeft geleerd. Het is als een detective die weet hoe hij een "vriendschap" of een "rivaliteit" kan herkennen door simpelweg naar het patroon van interacties te kijken, zonder dat hij elke individuele naam ter wereld uit zijn hoofd hoeft te leren.

Maar er is een addertje onder het gras: het echte leven gebeurt in de tijd. Een ontmoeting tussen twee presidenten in 1974 is heel anders dan een ontmoeting tussen hen in 2024, ook al ziet de kaart er hetzelfde uit. De oude detectives (bestaande modellen) zaten vast in het verleden; ze behandelden een feit uit 1974 en een feit uit 2024 alsof ze even belangrijk waren, of ze moesten vanaf nul opnieuw worden getraind telkens wanneer er een nieuw jaar aanbrak. Ze konden de stroom van de tijd niet aan.

Maak kennis met GRATE (Gated Rotary Attention for Temporal Encoding). Denk aan GRATE als een magische, onzichtbare tijd-bril upgrade voor onze detective. Het voegt geen nieuwe zware hersencellen (leerbare parameters) toe aan het hoofd van de detective; in plaats daarvan verandert het hoe de detective naar de aanwijzingen kijkt.

Hoe GRATE werkt: De Tijd-Spin en Het Filter

GRATE gebruikt twee slimme trucs om de detective tijd-bewust te maken:

De Tijd-Spin (Rotary Encoding): Stel je voor dat elke aanwijzing die de detective vindt een tol is die ronddraait. Als een aanwijzing heel lang geleden is gebeurd, laat GRATE die tol heel veel draaien. Als een aanwijzing pas gisteren is gebeurd, draait GRATE die slechts een klein beetje. Deze "spin" is gebaseerd op het verschil in tijd tussen de aanwijzing en de vraag, niet op de specifieke datum op de kalender. Dit betekent dat de detective kan begrijpen dat een ontmoeting uit 2024 "dichterbij" een vraag uit 2024 ligt dan een ontmoeting uit 1974, zelfs als de detective het jaar 2024 nog nooit heeft gezien. Het verandert tijd in een vloeiende, continue rotatie in plaats van een rigide lijst met datums.
Het Slimme Filter (Query-Conditioned Gating): Alleen omdat een aanwijzing dicht in de tijd ligt, betekent niet dat het de juiste is. Als je vraagt: "Met wie heeft de Amerikaanse president in 2024 afgesproken?", kan een ontmoeting met een sportster dicht in de tijd liggen maar irrelevant zijn, terwijl een ontmoeting met een buitenlandse leider cruciaal is. GRATE werkt als een uitsmijter bij een club. Het kijkt naar de vraag (de query) en de draaiende aanwijzing, en beslist: "Ja, deze aanwijzing is relevant, laat hem binnen," of "Nee, deze aanwijzing is niet ter zake, blokkeer hem." Dit filter is super slim omdat het niet geleerd hoeft te worden wat "relevant" is; het ontdekt het ter plekke op basis van de vraag zelf.

De Grote Test: Kan het het Onbekende Aan?

De auteurs hebben dit niet alleen gebouwd; ze hebben het door een loodzware hindernisbaan gestuurd. Ze creëerden speciale testsets genaverd GDELTINDT en WIKIINDT. Dit zijn als "eindexamens" waarbij de detective een mysterie krijgt met mensen, relaties en datums die hij nog nooit heeft gezien. Het is de ultieme "zero-shot" test: niet spieken, niet opnieuw trainen, alleen puur logisch redeneren.

De resultaten waren indrukwekkend. Wanneer de detective GRATE gebruikte:

Op standaardtests (zoals ICEWS14), verbeterde het de nauwkeurigheid (MRR) met ongeveer 25% tot 38% vergeleken met de detective zonder de tijd-bril.
Op de "nog nooit eerder geziene" tests, versloeg het consequent de oude methoden. Bijvoorbeeld, op de GDELT dataset zorgde het toevoegen van GRATE voor een stijging van 0,16 tot 0,21 punten in interpolatie (gokken binnen bekende tijdsperioden) en 0,12 tot 0,18 punten in extrapolatie (gokken in de toekomst).
Zelfs in vergelijking met gigantische taalmodellen (LLM's) die tekst gebruiken om te gokken, hield GRATE stand en versloeg het ze soms op specifieke metrieken zoals Hits@10 op ICEWS18.

Wat GRATE NIET is

Het is belangrijk om te weten wat dit papier niet beweert. De auteurs zijn zeer duidelijk:

GRATE is geen wondermiddel dat elk tijdsprobleem oplost. Het werkt het best wanneer er veel aanwijzingen zijn om uit te kiezen. Op zeer schaarse datasets (zoals WIKI, waar feiten geïsoleerd en zeldzaam zijn), heeft de "uitsmijter" niet genoeg bewijs om goede keuzes te maken, waardoor de verbetering kleiner is.
Het modelleert niet expliciet complexe kalenderonregelmatigheden zoals "schrikkeljaren" of onregelmatige tijdsintervallen. Het behandelt tijd als een eenvoudig verschil in getallen. Als de tijdstappen te grof of rommelig zijn, verzwakt het effect.
Het papier beweert niet dat dit een "opgelost" probleem is voor alle toekomstige AI. Ze suggereren dat het combineren hiervan met snellere, schaalbaardere manieren om data te verwerken, een taak is voor toekomstige onderzoekers.

De Kernboodschap

Het paper suggereert dat door deze "tijd-spin" en dit "slimme filter" toe te voegen aan bestaande AI-detectives, we ze het verloop van de tijd kunnen laten begrijpen zonder dat ze elke datum uit de geschiedenis uit hun hoofd hoeven te leren. Het is een lichtgewicht, parameter-vrije upgrade die deze modellen in staat stelt hun kennis over te dragen naar nieuwe, onbekende werelden van tijd en gebeurtenissen. De auteurs hebben dit gemeten over meerdere datasets en vonden dat in de meeste gevallen, vooral waar oude patronen zich niet herhalen, GRATE de model helpt om de toekomst iets duidelijker te zien.

Technische Samenvatting: GRATE: Temporele Extensies voor Inductieve KG Foundation Modellen via Gated Rotary Attention

1. Probleemdefinitie

Het artikel behandelt de uitdaging om inductieve Knowledge Graph (KG) foundation modellen (zoals ULTRA en TRIX) uit te breiden naar Temporele Knowledge Graphs (TKGs). Terwijl bestaande foundation modellen sterke inductieve transfer bereiken door vocabulaire-onafhankelijke representaties te leren die generaliseren naar ongeziene entiteiten en relaties, missen zij mechanismen om temporele dynamiek te verwerken.

Huidige TKG-modellen vertrouwen doorgaans op transductieve settings, waarbij dataset-specifieke embeddings worden geleerd voor entiteiten, relaties en tijdstippen. Dit maakt ze ongeschikt voor scenario's waarin nieuwe vocabulaire (entiteiten, relaties of tijdstippen) continu binnenkomt, zoals opkomende politieke actoren of snel evoluerende evenementenstromen. Bestaande inductieve KG-modellen behandelen feiten uit alle tijdstippen bovendien als evenzeer uitgelijnd met een query, waarbij geen rekening wordt gehouden met het feit dat de relevantie van een ondersteunend feit vaak afhangt van de relatieve temporele verplaatsing ten opzichte van de query-tijd. De auteurs identificeren een gat: er is geen methode die inductief temporeel redeneren mogelijk maakt (generalisatie naar disjuncte vocabularia en tijdstippen) zonder de parameter-vrije transferbaarheid van foundation modellen op te offeren.

2. Methodologie: GRATE

De auteurs stellen GRATE voor (Gated Rotary Attention for Temporal Encoding), een parameter-vrije berichtfunctie ontworpen om NBFNet-stijl KG foundation modellen aan te vullen. GRATE integreert in het entiteits-zijde bericht-passingsmechanisme zonder extra leerbare parameters te introduceren, waardoor het vermogen van het model om te transfereren naar grafen met disjuncte vocabularia behouden blijft.

GRATE werkt via twee complementaire mechanismen:

A. Rotary Relative-Time Encoding
In plaats van geleerde timestamp-embeddings te gebruiken, codeert GRATE tijd via relatieve tijdsverschillen. Voor een query op tijd $\tau$ en een geobserveerde edge $(u, r, v)$ op tijd $t_{uv}$ , wordt het relatieve tijdsverschil gedefinieerd als $\Delta t_{uv} = \tau - t_{uv}$ .

De methode past Rotary Position Embeddings (RoPE) aan, oorspronkelijk afkomstig van Transformers, om de structurele boodschap $m_{uv}$ te roteren op basis van $\Delta t_{uv}$ .
De rotatiematrix $R(\Delta t_{uv})$ past een frequentie-afhankelijke rotatie toe op de berichtvector. Dit transformeert de structurele boodschap in een continue functie van de temporele verplaatsing, waardoor het model in staat is om feiten te onderscheiden die temporeel dichtbij versus ver weg liggen ten opzichte van de query, onafhankelijk van absolute timestamp-identiteiten.

B. Query-Conditioned Gating
Rotatie alleen bepaalt niet welke temporeel verschoven feiten relevant zijn voor een specifieke query. GRATE introduceert een gating-mechanisme om berichten te wegen op basis van hun uitlijning met de query.

Een query-toestand $Q_q$ wordt geconstrueerd door de representatie van de query head-entiteit en de query-relatie-embedding op te tellen.
Een scalaire gate $g_{uv}$ wordt berekend met een sigmoid-functie: $g_{uv} = \sigma(Q_q^\top m_{uv}^{rot} / \sqrt{d})$ , waarbij $m_{uv}^{rot}$ de geroteerde boodschap is.
Deze gate evalueert elke edge onafhankelijk, waarbij signalen die zowel temporeel als semantisch relevant zijn voor de query worden benadrukt, terwijl irrelevante signalen worden onderdrukt. In tegenstelling tot softmax attention is deze onafhankelijke gating stabiel onder inductieve transfer waarbij de grootte van de burenstand significant kan variëren.

C. Multi-TKG Pretraining
Om gelijktijdig op meerdere TKGs te trainen, mappen de auteurs de timestamps van elk bron-dataset naar disjuncte gehele getallenbereiken voordat de gezamenlijke training plaatsvindt. Omdat GRATE enkel leunt op relatieve gaten ( $\Delta t$ ), behoudt deze mapping de per-bron temporele relaties, terwijl ID-botsingen tussen datasets worden voorkomen.

3. Belangrijkste Bijdragen

GRATE Mechanisme: Een nieuw, parameter-vrij temporeel berichtfunctie dat inductieve KG foundation modellen in staat stelt om temporeel redeneren uit te voeren via relatieve-tijd rotatie en query-geconditioneerde gating.
Inductieve Transfer Benchmarks: De constructie van GDELTINDT en WIKIINDT, benchmark-suites die specifiek zijn ontworpen om cross-dataset temporele transfer te testen. Deze benchmarks bevatten disjuncte entiteiten, relaties en tijdstippen tussen trainings- en inferentie-grafen, wat zowel interpolatie- als extrapolatie-regimes dekt.
Zero-Shot Temporeel Redeneren: De demonstratie dat een enkel gezamenlijk voorgetraind GRATE-checkpoint de prestaties van temporeel redeneren op ongeziene datasets kan verbeteren zonder fine-tuning, waarbij het bestaande statische base-modellen en inductieve baselines overtreft.

4. Experimentele Resultaten

De auteurs evalueren GRATE over drie regimes met behulp van een enkel gezamenlijk voorgetraind checkpoint:

Transductieve In-Distribution (ICEWS14, ICEWS05-15): Het toevoegen van GRATE aan ULTRA en TRIX verbetert de prestaties aanzienlijk. De relatieve winsten variëren van +25% tot +38% in MRR en +38% tot +58% in Hits@1, wat aangeeft dat relatieve tijd-uitlijning primair de top-rank precisie verbetert.
Inductieve Transfer (GDELTINDT, WIKIINDT):
- Op GDELT (een dichte event-graaf) presteert TRIX + GRATE beter dan een recurrente baseline met +0,16 tot +0,21 MRR in interpolatie en +0,12 tot +0,18 MRR in extrapolatie. Het gating-mechanisme discrimineert effectief tussen overvloedige naburige feiten.
- Op WIKI (een ijle graaf van geïsoleerde beweringen) zijn de winsten variabeler. Wanneer de "letterlijke recurrente" (DRec) hoog is (feiten die exact één jaar eerder herhaald werden), verankert GRATE zich op deze matches en behaalt het significante winsten. Echter, in settings met lage recurrente presteert het statische base-model soms beter dan GRATE, hoewel GRATE over het algemeen nog steeds de recurrente baseline verslaat.
Zero-Shot Transfer (ICEWS18, YAGO): GRATE presteert beter dan LLM-gebaseerde forecasting methoden (ICL, GenTKG) op Hits@10 voor ICEWS18 en bereikt een hogere Hits@1 en MRR op YAGO, ondanks dat het puur structuur-gestuurd is zonder tekstuele priors.
Ablatie-studies: Het verwijderen van de rotatie of de query-geconditioneerde gate verslechtert de prestaties. De ablatie bevestigt dat relatieve tijd-uitlijning het merendeel van het temporele signaal vastlegt, terwijl de gate aanvullende winsten biedt, met name in zero-shot settings waar structurele aanwijzingen zwakker zijn.

5. Betekenis en Claims

Het artikel claimt dat temporeel redeneren kan worden toegevoegd aan inductieve KG foundation modellen zonder de parameter-vrije transferbaarheid op te offeren. GRATE demonstreert dat modellen kunnen generaliseren naar TKGs met volledig ongeziene entiteiten, relaties en tijdstippen door te vertrouwen op relatieve tijdsverschillen en query-geconditioneerde relevantie in plaats van dataset-specifieke embeddings.

De auteurs merken op dat de impact van GRATE schaalt met de rijkdom van de relatie-graaf van het base-model (bijv. de iteratieve verfijning van TRIX profiteert meer dan de single-pass aggregatie van ULTRA). Ze erkennen ook beperkingen: GRATE codeert tijd momenteel puur via relatieve indexverschillen en modelleert geen expliciete temporele granulariteit of onregelmatige intervallen, wat de prestaties op grofmazige datasets kan verzwakken. Toekomstig werk suggereert het verkennen van mixed-granularity pretraining en meer schaalbare propagatiestrategieën.