GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention

Résumé Technique : GRATE : Extensions Temporelles pour les Modèles de Fondation de KG Inductifs via l'Attention Rotative à Porte

1. Définition du Problème

Le papier traite du défi consistant à étendre les modèles de fondation de graphes de connaissances (KG) inductifs (tels que ULTRA et TRIX) aux graphes de connaissances temporels (TKG). Alors que les modèles de fondation existants parviennent à un transfert inductif fort en apprenant des représentations agnostiques au vocabulaire qui se généralisent aux entités et relations non vues, ils manquent de mécanismes pour gérer la dynamique temporelle.

Les modèles TKG actuels reposent généralement sur des configurations transductives, apprenant des plongements (embeddings) spécifiques aux jeux de données pour les entités, les relations et les horodatages. Cela les rend inappropriés pour les scénarios où un nouveau vocabulaire (entités, relations ou points temporels) arrive de manière continue, comme pour des acteurs politiques émergents ou des flux d'événements évoluant rapidement. De plus, les modèles de KG inductifs existants traitent les faits de tous les horodatages comme étant également alignés avec une requête, omettant de prendre en compte le fait que la pertinence d'un fait de support dépend souvent de son déplacement temporel relatif par rapport au temps de la requête. Les auteurs identent une lacune : il n'existe aucune méthode permettant le raisonnement temporel inductif (généralisation à des vocabulaires et horodatages disjoints) sans sacrifier la transférabilité sans paramètres des modèles de fondation.

2. Méthodologie : GRATE

Les auteurs proposent GRATE (Gated Rotary Attention for Temporal Encoding), une fonction de message sans paramètres, conçue pour augmenter les fonctions de message de type NBFNet des modèles de fondation de KG. GRATE s'intègre dans le mécanisme de passage de messages du côté des entités sans introduire de paramètres apprenables, préservant ainsi la capacité du modèle à transférer d'un graphe à l'autre avec des vocabulaires disjoints.

GRATE opère via deux mécanismes complémentaires :

A. Encodage Temporel Relatif Rotatif
Au lieu d'utiliser des plongements d'horodatage appris, GRATE encode le temps par des différences de temps relatives. Pour une requête à l'instant $\tau$ et un arc observé $(u, r, v)$ à l'instant $t_{uv}$, l'écart temporel relatif est défini par $\Delta t_{uv} = \tau - t_{uv}$.

• La méthode adapte les Rotary Position Embeddings (RoPE), originaires des Transformers, pour faire pivoter le message structurel $m_{uv}$ en fonction de $\Delta t_{uv}$.
• La matrice de rotation $R(\Delta t_{uv})$ applique une rotation dépendante de la fréquence au vecteur de message. Cela transforme le message structurel en une fonction continue de son déplacement temporel, permettant au modèle de distinguer les faits temporellement proches des faits distants par rapport à la requête, indépendamment des identités absolues des horodatages.

B. Portage Conditionné par la Requête (Query-Conditioned Gating)
La rotation seule ne détermine pas quels faits temporellement décalés sont pertinents pour une requête spécifique. GRATE introduit un mécanisme de portage (gating) pour pondérer les messages en fonction de leur alignement avec la requête.

• Un état de requête $Q_q$ est construit en sommant la représentation de l'entité tête de la requête et l'embedding de la relation de la requête.
• Un portail scalaire $g_{uv}$ est calculé à l'aide d'une fonction sigmoïde : $g_{uv} = \sigma(Q_q^\top m_{uv}^{rot} / \sqrt{d})$, où $m_{uv}^{rot}$ est le message pivoté.
• Ce portail évalue chaque arc de manière indépendante, accentuant les signaux qui sont à la fois temporellement et sémantiquement pertinents pour la requête tout en supprimant les signaux non pertinents. Contra\times au softmax attention, ce portage indépendant est stable sous transfert inductif où les tailles de voisinage peuvent varier considérablement.

C. Pré-entraînement Multi-TKG
Pour entraîner sur plusieurs TKGs simultanément, les auteurs remappent les horodatages de chaque jeu de données source sur des plages d'entiers disjointes avant l'entraînement conjoint. Puisque GRATE repose uniquement sur des écarts relatifs ($\Delta t$), ce remappage préserve les relations temporelles par source tout en évitant les collisions d'ID entre les jeux de données.

3. Contributions Clés

1. Mécanisme GRATE : Une nouvelle fonction de message temporelle sans paramètres, qui permet aux modèles de fondation de KG inductifs d'effectuer un raisonnement temporel via une rotation de temps relative et un portage conditionné par la requête.
2. Benchmarks de Transfert Inductif : La construction de GDELTINDT et WIKIINDT, des suites de benchmarks spécifiquement conçues pour tester le transfert temporel entre jeux de données. Ces benchmarks présentent des entités, relations et horodatages disjoints entre les graphes d'entraînement et d'inférence, couvrant à la fois les régimes d'interpolation et d'extrapolation.
3. Raisonnement Temporel Zero-Shot : La démonstration qu'un seul checkpoint pré-entraîné conjointement avec GRATE peut améliorer les performances du raisonnement temporel sur des jeux de données non vus sans ajustement fin (fine-tuning), surpassant les modèles de base statiques et les bases inductives existantes.

4. Résultats Expérimentaux

Les auteurs évaluent GRATE à travers trois régimes en utilisant un seul checkpoint pré-entraîné conjointement :

• Transductif In-Distribution (ICEWS14, ICEWS05-15) : L'ajout de GRATE à ULTRA et TRIX améliore significativement les performances. Les gains relatifs varient de +25% à +38% en MRR et de +38% à +58% en Hits@1, indiquant que l'alignement temporel relatif améliore principalement la précision du rang supérieur.
• Transfert Inductif (GDELTINDT, WIKIINDT) :
  • Sur GDELT (un graphe d'événements dense), TRIX + GRATE surpasse une ligne de base de récurrence uniquement (DRec) de +0,16 à +0,21 MRR en interpolation et de +0,12 à +0,18 MRR en extrapolation. Le mécanisme de portage discrimine efficacement parmi les nombreux faits voisins.
  • Sur WIKI (un graphe creux d'assertions isolées), les gains sont plus variables. Lorsque la "récurrence littérale" (DRec) est élevée (faits se répétant exactement un an auparavant), GRATE s'ancre sur ces correspondances, obtenant des gains significatifs. Cependant, dans les contextes à faible récurrence, le modèle de base statique surpasse parfois GRATE, bien que GRAT dépasse généralement la ligne de base de récurrence.
• Transfert Zero-Shot (ICEWS18, YAGO) : GRATE surpasse les méthodes de prévision basées sur les LLM (ICL, GenTKG) sur Hits@10 pour ICEWS18 et atteint un Hits@1 et un MRR plus élevés sur YAGO, malgré un fonctionnement purement structurel sans priors textuels.
• Études d'Ablation : Supprimer la rotation ou le portage conditionné par la requête dégrade les performances. L'ablation confirme que l'alignement temporel relatif capture la majorité du signal temporel, tandis que le portail fournit des gains supplémentaires, particulièrement dans les contextes zero-shot où les indices structurels sont plus faibles.

5. Signification et Revendications

Le papier affirme que le raisonnement temporel peut être ajouté aux modèles de fondation de KG inductifs sans sacrifier la transférabilité sans paramètres. GRATE démontre que les modèles peuvent se généraliser à des TKGs avec des entités, des relations et des horodatages complètement nouveaux en s'appuyant sur des différences de temps relatives et une pertinence conditionnée par la requête plutôt que sur des plongements spécifiques aux jeux de données.

Les auteurs notent que l'impact de GRATE dépend de la richesse du graphe de relations du modèle de base (par exemple, l'affinement itératif de TRIX bénéficie davantage que l'agrégation à passage unique d'ULTRA). Ils reconnaissent également des limites : GRATE encode actuellement le temps purement par des différences d'index relatives et ne modélise pas explicitement la granularité temporelle ou les intervalles irréguliers, ce qui peut affaiblir les performances sur les jeux de données à granularité grossière. Des travaux futurs sont suggérés pour explorer le pré-entraînement à granularité mixte et des stratégies de propagation plus scalables.