🤖 AI

GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention

Das Papier stellt GRATE vor, eine parameterfreie temporale Kodierungsmethode mittels Gated Rotary Attention, die es Wissensgraph-Foundation-Modellen ermöglicht, einen induktiven Transfer über disjunkte temporale Datensätze hinweg zu erreichen, was durch neu konstruierte Benchmarks mit nicht-überlappenden Entitäten, Relationen und Zeitstempeln validiert wird.

Ursprüngliche Autoren: Jiaxin Pan, Osama Mohammed, Daniel Hernández, Steffen Staab

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiaxin Pan, Osama Mohammed, Daniel Hernández, Steffen Staab

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Detektiv, der Geheimnisse löst, indem er eine riesige Karte von Verbindungen zwischen Menschen, Orten und Dingen betrachtet. Dieser Detektiv, genannt „Knowledge Graph Foundation Model“, ist erstaunlich, weil er neue Verbindungen entdecken kann, die er noch nie zuvor gesehen hat, selbst wenn die Namen der Personen oder die Arten der Beziehungen völlig anders sind als das, was er in der Schule gelernt hat. Es ist wie ein Detektiv, der weiß, wie man eine „Freundschaft“ oder eine „Rivalität“ erkennt, indem er einfach nur das Muster der Interaktionen betrachtet, ohne jeden einzelnen Namen der Welt auswendig lernen zu müssen.

Aber es gibt einen Haken: Das echte Leben geschieht in der Zeit. Ein Treffen zwischen zwei Präsidenten im Jahr 1974 ist etwas ganz anderes als ein Treffen zwischen ihnen im Jahr 2024, selbst wenn die Karte identisch aussieht. Die alten Detektive (bestehende Modelle) steckten in der Vergangenheit fest; sie behandelten ein Faktum aus dem Jahr 1974 und ein Faktum aus dem Jahr 2024 so, als wären beide gleichermaßen wichtig, oder sie mussten jedes Mal von Grund auf neu trainiert werden, wenn ein neues Jahr anbrach. Sie konnten dem Fluss der Zeit nichts anfangen.

Hier kommt GRATE (Gated Rotary Attention for Temporal Encoding) ins Spiel. Betrachten Sie GRATE als ein magisches, unsichtbares Upgrade in Form einer Zeit-Brille für unseren Detektiv. Es fügt dem Gehirn des Detektivs keine neuen schweren Gehirnzellen (lernbare Parameter) hinzu; stattdessen verändert es die Art und Weise, wie der Detektiv die Hinweise betrachtet.

Wie GRATE funktioniert: Der Zeit-Spin und der Filter

GRATE nutzt zwei clevere Tricks, um den Detektiv zeitbewusst zu machen:

Der Zeit-Spin (Rotary Encoding): Stellen Sie sich vor, jeder Hinweis, den der Detektiv findet, ist ein Kreisel. Wenn ein Hinweis vor langer Zeit geschah, lässt GRATE diesen Kreisel sehr schnell rotieren. Wenn er erst gestern geschah, rotiert er nur ein kleines bisschen. Dieser „Spin“ basiert auf dem Unterschied in der Zeit zwischen dem Hinweis und der Frage, nicht auf dem spezifischen Datum im Kalender. Das bedeutet, dass der Detektiv verstehen kann, dass ein Treffen aus dem Jahr 2024 „näher“ an einer Frage aus dem Jahr 2024 liegt als ein Treffen aus dem Jahr 1974, selbst wenn der Detektiv das Jahr 2024 noch nie gesehen hat. Es verwandelt die Zeit in eine sanfte, kontinuierliche Rotation statt in eine starre Liste von Daten.
Der intelligente Filter (Query-Conditioned Gating): Nur weil ein Hinweis zeitlich nah liegt, bedeutet das nicht, dass er auch der richtige ist. Wenn Sie fragen: „Wen hat der US-Präsident im Jahr 2024 getroffen?“, dann mag ein Treffen mit einem Sportstar zeitlich nah liegen, aber irrelevant sein, während ein Treffen mit einem ausländischen Staatsführer entscheidend ist. GRATE fungiert hier wie ein Türsteher in einem Club. Er betrachtet die Frage (die Query) und den rotierenden Hinweis und entscheidet: „Ja, dieser Hinweis ist relevant, lass ihn rein,“ oder „Nein, dieser Hinweis ist am Thema vorbei, block ihn ab.“ Dieser Filter ist superintelligent, weil er nicht lernen muss, was „relevant“ bedeutet; er findet es basierend auf der Frage selbst im laufenden Betrieb heraus.

Der große Test: Kann es mit dem Unbekannten umgehen?

Die Autoren haben dies nicht nur gebaut, sondern es einem gnadenlosen Hindernislauf unterzogen. Sie erstellten spezielle Testsets namens GDELTINDT und WIKIINDT. Dies sind wie „Abschlussprüfungen“, bei denen der Detektiv mit einem Geheimnis konfrontiert wird, das Menschen, Beziehungen und Daten beinhaltet, die er noch nie zuvor gesehen hat. Es ist der ultimative „Zero-Shot“-Test: Kein Schummeln, kein erneutes Training, nur reine Logik.

Die Ergebnisse waren beeindruckend. Als der Detektiv GRATE benutzte:

Auf Standardtests (wie ICEWS14) verbesserte er seine Genauigkeit (MRR) um etwa 25 % bis 38 % im Vergleich zum Detektiv ohne die Zeit-Brille.
Auf den „noch nie gesehen“-Tests war er den alten Methoden konsistent überlegen. Beispielsweise steigerte das Hinzufügen von GRATE auf dem GDELT-Datensatz die Punktzahl um 0,16 bis 0,21 Punkte in der Interpolation (Schätzen innerhalb bekannter Zeitbereiche) und um 0,12 bis 0,18 Punkte in der Extrapolation (Schätzen in die Zukunft hinein).
Selbst im Vergleich zu riesigen Sprachmodellen (LLMs), die Text verwenden, um zu raten, hielt GRATE mit ihnen Schritt und schlug sie manchmal bei spezifischen Metriken wie Hits@10 auf ICEWS18.

Was GRATE NICHT ist

Es ist wichtig zu wissen, was dieses Paper nicht behauptet. Die Autoren sind sich sehr bewusst:

GRATE ist kein Allheilmittel, das jedes Zeitproblem löst. Es funktioniert am besten, wenn es viele Hinweise zur Auswahl gibt. Auf sehr spärlichen Datensätzen (wie WIKI, wo Fakten isoliert und selten sind) hat der „Türsteher“ nicht genug Beweise, um gute Entscheidungen zu treffen, wessoeben die Verbesserung geringer ausfällt.
Es modelliert nicht explizit komplexe Kalender-Eigenheiten wie „Schaltjahre“ oder unregelmäßige Zeitlücken. Es behandelt die Zeit als einen einfachen Unterschied in Zahlen. Wenn die Zeitschritte zu grob oder ungeordnet sind, schwächt das den Effekt ab.
Das Paper behauptet nicht, dass dies ein „gelöstes“ Problem für die gesamte zukünftige KI ist. Sie schlagen vor, dass die Kombination mit schnelleren, skalierbareren Wegen zur Datenverarbeitung eine Aufgabe für zukünftige Forscher ist.

Das Fazate

Das Paper legt nahe, dass wir durch das Hinzufügen dieses „Zeit-Spins“ und des „intelligenten Filters“ zu bestehenden KI-Detektiven diese Modelle dazu bringen können, den Fluss der Zeit zu verstehen, ohne jedes Datum der Geschichte auswendig lernen zu müssen. Es ist ein leichtgewichtiges, parameterfreies Upgrade, das diesen Modellen ermöglicht, ihr Wissen auf neue, ungesehene Welten der Zeit und der Ereignisse zu übertragen. Die Autoren haben dies über mehrere Datensätze hinweg gemessen und festgestellt, dass GRATE in den meisten Umgebungen, insbesondere dort, wo alte Muster sich nicht wiederholen, hilft, die Zukunft ein wenig klarer zu sehen.

Technische Zusammenfassung: GRATE: Temporale Erweiterungen für induktive KG-Foundation-Modelle mittels Gated Rotary Attention

1. Problemdefinition

Die Arbeit adressiert die Herausforderung, induktive Wissensgraph-Foundation-Modelle (wie ULTRA und TRIX) auf temporale Wissensgraphen (TKGs) zu erweitern. Während bestehende Foundation-Modelle eine starke induktive Transferleistung erzielen, indem sie vokabularunabhängige Repräsentationen erlernen, die auf ungesehene Entitäten und Relationen generalisieren, fehlt ihnen ein Mechanismus zur Handhabung temporaler Dynamiken.

Aktuelle TKG-Modelle verlassen sich typischerweise auf transduktive Settings, die datensatzspezifische Embeddings für Entitäten, Relationen und Zeitstempel lernen. Dies macht sie ungeeignet für Szenarien, in denen kontinuierlich neues Vokabular (Entitäten, Relationen oder Zeitpunkte) eintrifft, wie etwa bei aufkommenden politischen Akteuren oder sich schnell entwickelnden Ereignisströmen. Bestehende induktive KG-Modelle behandeln zudem Fakten aus allen Zeitstempeln als gleichermaßen mit einer Abfrage kompatibel, wobei sie nicht berücksichtigen, dass die Relevanz eines unterstützenden Fakts oft von dessen relativer temporaler Verschiebung zum Zeitpunkt der Abfrage abhängt. Die Autoren identifizieren eine Lücke: Es gibt keine Methode, die induktives temporales Schließen ermöglicht (Generalisierung auf disjunkte Vokabulare und Zeitstempel), ohne die parameterfreie Übertragbarkeit von Foundation-Modellen zu opfern.

2. Methodik: GRATE

Die Autoren schlagen GRATE (Gated Rotary Attention for Temporal Encoding) vor, eine parameterfreie Nachrichtenfunktion, die darauf ausgelegt ist, NBFNet-artige KG-Foundation-Modelle zu ergänzen. GRATE integriert sich in den entitätsseitigen Message-Passing-Mechanismus, ohne zusätzliche lernbare Parameter einzuführen, wodurch die Fähigkeit des Modells bewahrt wird, über Graphen mit disjunkten Vokabularen hinweg zu transferieren.

GRATE operiert durch zwei komplementäre Mechanismen:

A. Rotary Relative-Time Encoding
Anstatt gelernte Zeitstempel-Embeddings zu verwenden, kodiert GRATE die Zeit durch relative Zeitdifferenzen. Für eine Abfrage zum Zeitpunkt $\tau$ und eine beobachtete Kante $(u, r, v)$ zum Zeitpunkt $t_{uv}$ ist die relative Zeitlücke als $\Delta t_{uv} = \tau - t_{uv}$ definiert.

Die Methode adaptiert Rotary Position Embeddings (RoPE), ursprünglich aus dem Transformer-Kontext, um die strukturelle Nachricht $m_{uv}$ basierend auf $\Delta t_{uv}$ zu rotieren.
Die Rotationsmatrix $R(\Delta t_{uv})$ wendet eine frequenzabhängige Rotation auf den Nachrichtenvektor an. Dies transformiert die strukturelle Nachricht in eine kontinuierliche Funktion ihrer temporalen Verschiebung, was es dem Modell ermöglicht, zwischen Fakten zu unterscheiden, die zeitlich nah oder fern im Verhältnis zur Abfrage liegen – unabhängig von absoluten Identitäten der Zeitstempel.

B. Query-Conditioned Gating
Die Rotation allein bestimmt nicht, welche zeitlich verschobenen Fakten für eine spezifische Abfrage relevant sind. GRATE führt einen Gating-Mechanismus ein, um Nachrichten basierend auf ihrer Übereinstimmung mit der Abfrage zu gewichten.

Ein Abfragezustand $Q_q$ wird durch die Summation der Repräsentation der Abfrage-Kopfentität und des Abfrage-Relations-Embeddings konstruiert.
Ein skalares Gate $g_{uv}$ wird mittels einer Sigmoid-Funktion berechnet: $g_{uv} = \sigma(Q_q^\top m_{uv}^{rot} / \sqrt{d})$ , wobei $m_{uv}^{rot}$ die rotierte Nachricht ist.
Dieses Gate evaluiert jede Kante unabhängig und betont Signale, die sowohl temporal als auch semantisch relevant für die Abfrage sind, während irrelevante Signale unterdrückt werden. Im Gegensatz zur Softmax-Attention ist dieses unabhängige Gating unter induktivem Transfer, bei dem die Nachbarschaftsgrößen stark variieren können, stabil.

C. Multi-TKG Pretraining
Um auf mehreren TKGs gleichzeitig zu trainieren, bilden die Autoren die Zeitstempel jedes Quell-Datensatzes vor dem gemeinsamen Training auf disjunkte Integer-Bereiche ab. Da GRATE sich nur auf relative Lücken ( $\Delta t$ ) stützt, bewahrt diese Abbildung die pro-Quell-bezogenen temporalen Beziehungen, während sie ID-Kollisionen zwischen Datensätzen verhindert.

3. Zentrale Beiträge

GRATE-Mechanismus: Eine neuartige, parameterfreie temporale Nachrichtenfunktion, die es induktiven KG-Foundation-Modellen ermöglicht, temporales Schließen mittels relativer Zeitrotation und Abfrage-konditioniertem Gating durchzuführen.
Induktive Transfer-Benchmarks: Die Konstruktion der Benchmark-Suites GDELTINDT und WIKIINDT, die speziell darauf ausgelegt sind, den zeitlichen Transfer über Datensätze hinweg zu testen. Diese Benchmarks weisen disjunkte Entitäten, Relationen und Zeitstempel zwischen Trainings- und Inferenzgraphen auf und decken sowohl Interpolations- als auch Extrapolationsregime ab.
Zero-Shot Temporales Schließen: Der Nachweis, dass ein einzelner, gemeinsam vortrainierter GRATE-Checkpoint die Performance des temporalen Schließens auf ungesehenen Datensätzen verbessern kann, ohne dass ein Fine-Tuning erforderlich ist, und dabei bestehende statische Basismodelle sowie existierende induktive Baselines übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluieren GRATE über drei Regime hinweg mit einem einzigen gemeinsam vortrainierten Checkpoint:

Transduktiver In-Distribution (ICEWS14, ICEWS05-15): Das Hinzufügen von GRATE zu ULTRA und TRIX verbessert die Performance signifikant. Die relativen Gewinne liegen zwischen +25 % und +38 % in MRR sowie +38 % und +58 % in Hits@1, was darauf hindeutet, dass die relative zeitliche Ausrichtung primär die Präzision der Top-Rankings verbessert.
Induktiver Transfer (GDELTINDT, WIKIINDT):
- Auf GDELT (einem dichten Ereignisgraphen) übertrifft TRIX + GRATE eine reine Rekurrenz-Baseline um +0,16 bis +0,21 MRR in der Interpolation und um +0,12 bis +0,18 MRR in der Extrapolation. Der Gating-Mechanismus diskriminiert effektiv zwischen den abundanten benachbarten Fakten.
- Auf WIKI (einem spärlichen Graphen isolierter Behauptungen) sind die Gewinne variabler. Wenn die „literale Rekurrenz“ (DRec) hoch ist (Fakten, die exakt ein Jahr zuvor auftraten), verankert sich GRATE an diesen Übereinstimmungen und erzielt signifikante Gewinne. In Settings mit geringer Rekurrenz übertrifft das statische Basismodell GRATE jedoch teilweise, obwohl GRATE die Rekurrenz-Baseline generell schlägt.
Zero-Shot Transfer (ICEWS18, YAGO): GRATE übertrifft LLM-basierte Forecasting-Methoden (ICL, GenTKG) bei Hits@10 für ICEWS18 und erreicht höhere Hits@1 und MRR-Werte bei YAGO, obwohl es rein strukturgetrieben ist und ohne textuelle Priors arbeitet.
Ablationsstudien: Das Entfernen der Rotation oder des Abfrage-konditionierten Gates verschlechtert die Performance. Die Ablation bestätigt, dass die relative zeitliche Ausrichtung den Großteil des temporalen Signals erfasst, während das Gate zusätzliche Gewinne liefert, insbesondere in Zero-Shot-Settings, in denen die strukturellen Hinweise schwächer sind.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass temporales Schließen zu induktiven KG-Foundation-Modellen hinzugefügt werden kann, ohne die parameterfreie Transferierbarkeit zu opfern. GRATE demonstriert, dass Modelle zu TKGs mit völlig ungesehenen Entitäten, Relationen und Zeitstempeln generalisieren können, indem sie sich auf relative Zeitdifferenzen und Abfrage-konditionierte Relevanz statt auf datensatzspezifische Embeddings verlassen.

Die Autoren stellen fest, dass der Einfluss von GRATE mit der Reichhaltigkeit des zugrunde liegenden Relationsgraphen des Basismodells skaliert (z. B. profitiert die iterative Verfeinerung von TRIX stärker als die Single-Pass-Aggregation von ULTRA). Sie räumen zudem Einschränkungen ein: GRATE kodiert die Zeit derzeit rein über relative Indexdifferenzen und modelliert keine explizit die temporale Granularität oder unregelmäßige Intervalle, was die Performance bei grobkörnigen Datensätzen schwächen könnte. Zukünftige Arbeiten sollen die Untersuchung von Mixed-Granularity-Pretraining und skalierbareren Propagationsstrategien untersuchen.