GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention

Resumo Técnico: GRATE: Extensões Temporais para Modelos de Fundação de KG Indutivos via Atenção Rotativa com Portão (Gated Rotary Attention)

1. Definição do Problema

O artigo aborda o desafio de estender os modelos de fundação de Grafos de Conhecimento (KG) indutivos (como ULTRA e TRIX) para Grafos de Conhecimento Temporais (TKGs). Enquanto os modelos de fundação existentes alcançam uma forte transferência indutiva ao aprender representações agnósticas ao vocabulário que se generalizam para entidades e relações não vistas, eles carecem de mecanismos para lidar com a dinâmica temporal.

Os modelos de TKG atuais geralmente dependem de configurações transdutivas, aprendendo embeddings específicos do conjunto de dados para entidades, relações e marcas de tempo (timestamps). Isso os torna inadequados para cenários onde novos vocabulários (entidades, relações ou pontos temporais) chegam continuamente, como atores políticos emergentes ou fluxos de eventos em rápida evolução. Além disso, os modelos de KG indutivos existentes tratam fatos de todos os timestamps como igualmente alinhados a uma consulta, falhando em considerar o fato de que a relevância de um fato de suporte muitas vezes depende do seu deslocamento temporal relativo em relação ao tempo da consulta. Os autores identificam uma lacuna: não há um método que permita o raciocínio temporal indutivo (generalizando para vocabulários e timestamps disjuntos) sem sacrificar a transferibilidade livre de parâmetros dos modelos de fundação.

2. Metodologia: GRATE

Os autores propõem o GRATE (Gated Rotary Attention for Temporal Encoding), uma função de mensagem sem parâmetros projetada para aumentar os modelos de fundação de KG do tipo NBFNet. O GRATE integra-se ao mecanismo de passagem de mensagens do lado da entidade sem introduzir quaisquer parâmetros treináveis, preservando assim a capacidade do modelo de transferir entre grafos com vocabulários disjuntos.

O GRATE opera através de dois mecanismos complementares:

A. Codificação de Tempo Relativo Rotativa (Rotary Relative-Time Encoding)
Em vez de usar embeddings de timestamp aprendidos, o GRATE codifica o tempo através de diferenças de tempo relativas. Para uma consulta no tempo $\tau$ e uma aresta observada $(u, r, v)$ no tempo $t_{uv}$, o intervalo de tempo relativo é definido como $\Delta t_{uv} = \tau - t_{uv}$.

• O método adapta os Embeddings de Posição Rotativos (RoPE), originalmente do Transformer, para rotacionar a mensagem estrutural $m_{uv}$ com base em $\Delta t_{uv}$.
• A matriz de rotação $R(\Delta t_{uv})$ aplica uma rotação dependente de frequência à mensagem vetorial. Isso transforma a mensagem estrutural em uma função contínua de seu deslocamento temporal, permitindo que o modelo distingua entre fatos que estão temporalmente próximos versus distantes em relação à consulta, independentemente das identidades absoltas dos timestamps.

B. Portão Condicionado pela Consulta (Query-Conditioned Gating)
A rotação sozinha não determina quais fatos temporalmente deslocados são relevantes para uma consulta específica. O GRATE introduz um mecanismo de portão (gating) para ponderar as mensagens com base em seu alinhamento com a consulta.

• Um estado de consulta $Q_q$ é construído somando a representação da entidade de cabeça da consulta e o embedding da relação da consulta.
• Um portão escalar $g_{uv}$ é computado usando uma função sigmoide: $g_{uv} = \sigma(Q_q^\top m_{uv}^{rot} / \sqrt{d})$, onde $m_{uv}^{rot}$ é a mensagem rotacionada.
• Este portão avalia cada aresta de forma independente, enfatizando sinais que são tanto temporais quanto semanticamente relevantes para a consulta, enquanto suprime os irrelevantes. Diferente da atenção softmax, este portão independente é estável sob transferência indutiva, onde os tamanhos de vizinhança podem variar significativamente.

C. Pré-treinamento Multi-TKG
Para treinar em múltiplos TKGs simultaneamente, os autores remapeiam os timestamps de cada conjunto de dados de origem para intervalos inteiros disjuntos antes do treinamento conjunto. Como o GRATE depende apenas de lacunas relativas ($\Delta t$), este remapeamento preserva as relações temporais por fonte enquanto evita colisões de ID entre os conjuntos de dados.

3. Principais Contribuições

1. Mecanismo GRATE: Uma nova função de mensagem temporal sem parâmetros, que permite aos modelos de fundação de KG indutivos realizar raciocínio temporal via rotação de tempo relativo e portão condicionado pela consulta.
2. Benchmarks de Transferência Indutiva: A construção dos conjuntos de testes GDELTINDT e WIKIINDT, projetados especificamente para testar a transferência temporal entre conjuntos de dados. Estes benchmarks apresentam entidades, relações e timestamps disjuntos entre os grafos de treinamento e inferência, cobrindo tanto regimes de interpolação quanto de extrapolação.
3. Raciocínio Temporal Zero-Shot: Demonstração de que um único checkpoint pré-treinado conjuntamente com GRATE pode melhorar o desempenho do raciocínio temporal em conjuntos de dados não vistos sem ajuste fino (fine-tuning), superando modelos base estáticos e baselines indutivos existentes.

4. Resultados Experimentais

Os autores avaliam o GRATE em três regimes usando um único checkpoint pré-treinado conjuntamente:

• Transdutivo In-Distribution (ICEWS14, ICEWS05-15): Adicionar o GRATE ao ULTRA e ao TRIX melhora significativamente o desempenho. Os ganhos relativos variam de +25% a +38% em MRR e de +38% a +58% em Hits@1, indicando que o alinhamento de tempo relativo melhora principalmente a precisão do ranking superior.
• Transferência Indutiva (GDELTINDT, WIKIINDT):
  • No GDELT (um grafo de eventos denso), o TRIX + GRATE supera o baseline de recorrência pura (DRec) em +0,16 a +0,21 MRR na interpolação e em +0,12 a +0,18 MRR na extrapolação. O mecanismo de portão discrimina efetivamente entre os abundantes fatos vizinhos.
  • No WIKI (um grafo esparso de asserções isoladas), os ganhos são mais variáveis. Quando a "recorrência literal" (DRec) é alta (fatos repetindo exatamente um ano antes), o GRATE ancora-se nesses correspondentes, alcançando ganhos significativos. No entanto, em configurações de baixa recorrência, o modelo base estático às vezes supera o GRATE, embora o GRATE geralmente vença o baseline de recorrência.
• Transferência Zero-Shot (ICEWS18, YAGO): O GRATE supera métodos de previsão baseados em LLM (ICL, GenTKG) em Hits@10 para o ICEWS18 e alcança maior Hits@1 e MRR no YAGO, apesar de ser puramente orientado por estrutura, sem priors textuais.
• Estudos de Ablação: Remover a rotação ou o portão condicionado pela consulta degrada o desempenho. A ablação confirma que o alinhamento de tempo relativo captura a maior parte do sinal temporal, enquanto o portão fornece ganhos adicionais, particularmente em cenários zero-shot onde as pistas estruturais são mais fracas.

5. Significância e Alegações

O artigo afirma que o raciocínio temporal pode ser adicionado a modelos de fundação de KG indutivos sem sacrificar a transferibilidade livre de parâmetros. O GRATE demonstra que os modelos podem generalizar para TKGs com entidades, relações e timestamps completamente não vistos, baseando-se em diferenças de tempo relativas e relevância condicionada pela consulta, em vez de embeddings específicos do conjunto de dados.

Os autores observam que o impacto do GRATE escala com a riqueza do grafo de relações do modelo base (por exemplo, o refinamento iterativo do TRIX beneficia-se mais do que a agregação de passagem única do ULTRA). Eles também reconhecem limitações: o GRATE atualmente codifica o tempo puramente através de diferenças de índices relativos e não modela explicitamente a granularidade temporal ou intervalos irregulares, o que pode enfraquecer o desempenho em conjuntos de dados de granularidade grossa. Sugere-se como trabalho futuro explorar o pré-treinamento de granularidade mista e estratégias de propagação mais escaláveis.