GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention

Resumen Técnico: GRATE: Extensiones Temporales para Modelos de Fundación de KG Inductivos mediante Atención Rotatoria con Compuerta

1. Definición del Problema

El artículo aborda el desafío de extender los modelos de fundación de Grafos de Conocimiento (KG) inductivos (como ULTRA y TRIX) a los Grafos de Conocimiento Temporales (TKG). Mientras que los modelos de fundación existentes logran una fuerte transferencia inductiva al aprender representaciones agnósticas al vocabulario que se generalizan a entidades y relaciones no vistas, carecen de mecanismos para manejar la dinámica temporal.

Los modelos de TKG actuales suelen depender de entornos transductivos, aprendiendo incrustaciones (embeddings) específicas del conjunto de datos para entidades, relaciones y marcas de tiempo (timestamps). Esto los hace inadecuados para escenarios donde llega continuamente nuevo vocabulario (entidades, relaciones o puntos temporales), como actores políticos emergentes o flujos de eventos que evolucionan rápidamente. Además, los modelos de KG inductivos existentes tratan los hechos de todas las marcas de tiempo como igualmente alineados con una consulta, sin tener en cuenta el hecho de que la relevancia de un hecho de soporte a menudo depende de su desplazamiento temporal relativo respecto al tiempo de la consulta. Los autores identifican una brecha: no existe un método que permita el razonamiento temporal inductivo (generalizar a vocabularios y marcas de tiempo disjuntos) sin sacrificar la transferibilidad libre de parámetros de los modelos de fundación.

2. Metodología: GRATE

Los autores proponen GRATE (Gated Rotary Attention for Temporal Encoding), una función de mensaje libre de parámetros diseñada para aumentar los modelos de fundación de KG estilo NBFNet. GRATE se integra en el mecanismo de paso de mensajes del lado de la entidad sin introducir ningún parámetro aprendible, preservando así la capacidad del modelo para transferirse entre grafos con vocabularios disjuntos.

GRATE opera a través de dos mecanismos complementarios:

A. Codificación de Tiempo Relativo Rotatoria
En lugar de utilizar incrustaciones de marca de tiempo aprendidas, GRATE codifica el tiempo a través de diferencias de tiempo relativas. Para una consulta en el tiempo $\tau$ y un borde observado $(u, r, v)$ en el tiempo $t_{uv}$, la brecha de tiempo relativa se define como $\Delta t_{uv} = \tau - t_{uv}$.

• El método adapta las Incrustaciones de Posición Rotatorias (RoPE), originarias de los Transformers, para rotar el mensaje estructural $m_{uv}$ basado en $\Delta t_{uv}$.
• La matriz de rotación $R(\Delta t_{uv})$ aplica una rotación dependiente de la frecuencia al vector de mensaje. Esto transforma el mensaje estructural en una función continua de su desplazamiento temporal, permitiendo que el modelo distinga entre hechos que están temporalmente cerca o lejos en relación con la consulta, independientemente de las identidades absolutas de la marca de tiempo.

B. Compuerta Condicionada por la Consulta
La rotación por sí sola no determina qué hechos desplazados temporalmente son relevantes para una consulta específica. GRATE introduce un mecanismo de compuerta (gating) para ponderar los mensajes basándose en su alineación con la consulta.

• Se construye un estado de consulta $Q_q$ sumando la representación de la entidad cabecera de la consulta y la incrustación de la relación de la consulta.
• Una compuerta escalar $g_{uv}$ se calcula utilizando una función sigmoide: $g_{uv} = \sigma(Q_q^\top m_{uv}^{rot} / \sqrt{d})$, donde $m_{uv}^{rot}$ es el mensaje rotado.
• Esta compuerta evalúa independientemente cada borde, enfatizando las señales que son tanto temporal como semánticamente relevantes para la consulta, mientras suprime las irrelevantes. A diferencia de la atención softmax, esta compuerta independiente es estable bajo transferencia inductiva donde los tamaños de vecindad pueden variar significativamente.

C. Preentrenamiento Multi-TKG
Para entrenar en múltiples TKG simultáneamente, los autores remapean las marcas de tiempo de cada conjunto de datos de origen en rangos de enteros disjuntos antes del entrenamiento conjunto. Dado que GRATE depende solo de las brechas relativas ($\Delta t$), este remapeo preserva las relaciones temporales por fuente mientras evita colisiones de ID entre conjuntos de datos.

3. Contribuciones Clave

1. Mecanismo GRATE: Un novedoso mecanismo de mensaje temporal libre de parámetros que permite a los modelos de fundación de KG inductivos realizar razonamiento temporal mediante rotación de tiempo relativo y compuerta condicionada por la consulta.
2. Benchmarks de Transferencia Inductiva: La construcción de GDELTINDT y WIKIINDT, suites de evaluación diseñadas específicamente para probar la transferencia temporal entre conjuntos de datos. Estos benchmarks presentan entidades, relaciones y marcas de tiempo disjuntas entre los grafos de entrenamiento e inferencia, cubriendo tanto regímenes de interpolación como de extrapolación.
3. Razonamiento Temporal Zero-Shot: Demostración de que un único checkpoint de GRATE preentrenado conjuntamente puede mejorar el rendimiento del razonamiento temporal en conjuntos de datos no vistos sin realizar ajuste fino (fine-tuning), superando a los modelos base estáticos y a los baselines inductivos existentes.

4. Resultados Experimentales

Los autores evalúan GRATE a través de tres regímenes utilizando un único checkpoint preentrenado conjuntamente:

• Transductivo In-Distribution (ICEWS14, ICEWS05-15): Añadir GRATE a ULTRA y TRIX mejora significamente el rendimiento. Las ganancias relativas oscilan entre +25% y +38% en MRR y +38% y +58% en Hits@1, lo que indica que la alineación de tiempo relativo mejora principalmente la precisión de los primeros puestos (top-rank precision).
• Transferencia Inductiva (GDELTINDT, WIKIINDT):
  • En GDELT (un grafo de eventos denso), TRIX + GRATE supera a un baseline de recurrencia únicamente por +0.16 a +0.21 MRR en interpolación y +0.12 a +0.18 MRR en extrapolación. El mecanismo de compuerta discrimina eficazmente entre la abundancia de hechos vecinos.
  • En WIKI (un grafo disperso de aserciones aisladas), las ganancias son más variables. Cuando la "recurrencia literal" (DRec) es alta (hechos que se repiten exactamente un año antes), GRATE se ancla en estas coincidencias, logrando ganancias significativas. Sin embargo, en configuraciones de baja recurrencia, el modelo base estático a veces supera a GRATE, aunque GRATE generalmente sigue superando al baseline de recurrencia.
• Transferencia Zero-Shot (ICEWS18, YAGO): GRATE supera a los métodos de pronóstico basados en LLM (ICL, GenTKG) en Hits@10 para ICEWS18 y logra un mayor Hits@1 y MRR en YAGO, a pesar de ser puramente impulsado por la estructura sin priors textuales.
• Estudios de Ablación: Eliminar la rotación o la compuerta condicionada por la consulta degrada el rendimiento. La ablación confirma que la alineación de tiempo relativo captura la mayor parte de la señal temporal, mientras que la compuerta proporciona ganancias adicionales, particularmente en entornos zero-shot donde las pistas estructurales son más débiles.

5. Significado y Reivindicaciones

El artículo afirma que el razonamiento temporal puede añadirse a los modelos de fundación de KG inductivos sin sacrificar la transferibilidad libre de parámetros. GRATE demuestra que los modelos pueden generalizarse a TKG con entidades, relaciones y marcas de tiempo completamente no vistas al confiar en las diferencias de tiempo relativas y la relevancia condicionada por la consulta en lugar de en incrustaciones específicas de cada conjunto de datos.

Los autores señalan que el impacto de GRATE escala con la riqueza del grafo de relaciones del modelo base (por ejemplo, el refinamiento iterativo de TRIX se beneficia más que la agregación de una sola pasada de ULTRA). También reconocen limitaciones: GRATE actualmente codifica el tiempo puramente a través de diferencias de índice relativo y no modela explícitamente la granularidad temporal o los intervalos irregulares, lo que podría debilitar el rendimiento en conjuntos de datos de grano grueso. Se sugiere como trabajo futuro explorar el preentrenamiento de granularidad mixta y estrategias de propagación más escalables.