기술 요약: FITTER – 시계열 지식 그래프에서의 어휘 불가지론적 교차 도메인 추론

1. 문제 정의

시계열 지식 그래프(Temporal Knowledge Graphs, TKGs)는 사실을 타임스탬프가 찍힌 4원조(quadruple) $(s, p, o, \tau)$로 표현하며, 이는 시맨틱 웹 애플리케이션의 핵심입니다. 기존의 시계열 지식 그래프 임베딩(TKGE) 모델들은 링크 예측에서 성공을 거두었으나, 주로 전이적(transductive) 설정 하에서 작동합니다. 이러한 모델들은 추론 그래프의 엔티티, 관계, 타임스탬프 어휘가 훈련 시에 본 것과 동일하거나 그 부분 집합이라고 가정합니다. 결과적으로, 이들은 보지 못한 엔티티, 관계 또는 타임스탬프가 있는 그래프로 일반화할 수 없는 데이터셋 특정적 임베딩에 의존합니다.

이러한 한계는 모델이 (예: 일 단위 입도(granularity)를 가진 외교적 사건) 학습된 TKG로부터 (예: 연 단위 입도를 가진 백과사전적 사실) 완전히 다른 TKG로 일반화해야 하는 **교차 도메인 전이(cross-domain transfer)**를 저해합니다. 현재의 정적 그래프를 위한 귀납적(inductive) 방법들은 시간적 역동성을 고려하지 않으며, 기존의 시계열 모델들은 도메인 간의 이질적인 시간적 입도, 시간 범위 및 어휘를 처리하는 데 실패합니다. 본 논문은 완전 귀납적 교차 도메인 전이(fully-inductive cross-domain transfer) 문제를 다룹니다. 즉, 엔티티, 관계, 타임스탬프가 전혀 겹치지 않는 별개의 소스 TKG에서 학습된 모델을 사용하여 타겟 TKG의 누락된 링크를 예측하는 것입니다.

2. 방법론: FITTER

저자들은 TKG에서의 완전 귀납적 교차 도메인 추론을 위해 설계된 최초의 구조적 모델인 FITTER(Fully Inductive Time-aware Transferable Representation)를 제안합니다. FITTER는 데이터셋 특정적 임베딩을 피하기 위해 오직 그래프 구조와 상대적 시간 순서에 기반하여 표현을 학습합니다.

핵심 아키텍처

FITTER는 ULTRA 프레임워크(NBFNet에서 파생된 완전 귀납적 추론 모델)를 기반으로 구축되었으며, 세 가지 시계열 구성 요소를 도입했습니다.

1. 전이 가능한 시간 인코딩 (Transferable Temporal Encoding, TE):

   • 절대적 타임스탬프(데이터셋마다 다름)를 위한 임베딩을 학습하는 대신, FITTER는 스냅샷 인덱스에 대한 **사인 함수 기반 위치 인코딩(sinusoidal positional encodings)**을 사용하여 시간을 표현합니다.
   • $i$번째 스냅샷에 대한 인코딩 $TE(i)$는 단기 변동(고주파)과 장기 의존성(저주파)을 모두 포착하기 위해 주파수$\omega_n = \beta^{-2n/d}$를 사용합니다.
   • 이 표현은 **시간 이동 불변성(time-shift invariant)**을 가집니다. 즉, 유클리드 거리가 절대적 타임스탬프가 아닌 시간 차이 $\Delta \tau$에만 의존하므로, 서로 다른 입도(예: 15분 vs 연 단위)와 시간 범위를 가진 데이터셋 간의 전이가 가능합니다.

2. 시간 인지 메시지 전달 (Temporal-Aware Message Passing):

   • FITTER는 서로 다른 시간적 역동성을 가진 관계를 처리하기 위해 이중 그래프 전파 전략을 채택합니다.
     • 글로벌 엔티티 그래프 (Global Entity Graph): 전체 TKG에 걸쳐 메시지를 전파함으로써 장거리 시간 의존성을 포착합니다.
     • 로컬 엔티티 그래프 (Local Entity Graph): 쿼리 타임스탬프 주변의 시간 창 $[i-k, i+k]$ 내로 전파를 제한하여 즉각적인 이벤트 의존성을 포착합니다.
   • 시간 메시지 함수 (Temporal Message Function, T-MSG): 시간은 별도의 특징으로서가 아니라 메시지를 조절(modulating)함으로써 전파 과정에 주입됩니다. $T-MSG$ 함수는 이웃 표현, 쿼리 관계, 그리고 주입된 시간 인코딩에 대해 시간적 스코어링 함수(예: TComplEx)를 적용합니다.

3. 컨텍스트 융합 및 스코어링 (Context Fusion and Scoring):

   • 최종 엔티티 표현은 융합 파라미터 $\alpha$에 의해 제어되는 로컬 및 글로벌 표현의 가중 합입니다.
   • 다층 퍼셉트론(MLP)은 융합된 표현을 시간 인코딩과 결합하여 누락된 엔티티를 예측하기 위해 점수를 매깁니다.

훈련 목적 함수

FITTER는 네거티브 샘플링(negative sampling)을 포함한 이진 교차 엔트로피 손실(binary cross-entropy loss)을 사용하여 훈련됩니다. 모델은 유효한 4원조와 오염된 4원조를 구별하는 법을 배우는 동시에, 여러 도메인에 걸쳐 일반화될 수 있는 구조적 및 시간적 패턴을 최적화합니다.

3. 주요 기여

• 문제 공식화: 본 논문은 훈련 그래프와 추론 그래프의 엔티티, 관계, 타임스탬프 집합이 서로 상이한 상황에서의 교차 도메인 전이를 완전 귀납적 링크 예측 문제로 공식화했습니다.
• 어휘 불가지론적 프레임워크: FITTER는 엔티티, 관계, 타임스탬프에 대한 데이터셋 특정적 임베딩을 피하고, 대신 고정된 크기의 관계 상호작용 그래프와 상대적 시간 인코딩에 의존하는 최초의 TKGE 프레임워크입니다.
• 시간적 전이 가능성: 저자들은 절대적 시간이 아닌 상대적 순서에 기반한 전이 가능한 시간 표현을 도입하였으며, 사인 함수 기반 인코딩이 시간 이동 불변성을 가짐을 이론적으로 증명했습니다.
• 실증적 검증: 다양한 도메인, 입도 및 시간 범위를 포괄하는 6개의 다양한 TKG 벤치마크(ICEWS14, ICEWS05-15, GDELT, ICEWS18, YAGO, WIKI)에 대해 광범리한 실험을 수행했습니다.

4. 실험 결과

저자들은 15가지 교차 데이터셋 전이 시나리오(하나의 데이터셋에서 학습하고 재학습 없이 다른 데이터셋에서 테스트)에 대해 FITTER를 평가했습니다.

• 교차 도메인 성능: FITTER는 모든 15가지 전이 설정에서 기존의 귀납적 베이스라인(INGRAAM, ULTRA, TRIX)을 일관되로 능가했습니다. 이는 도메인(외교 vs 백과사전), 밀도, 시간적 입도의 차이에도 불구하고 견고함을 입증하며, 평균 역수 순위(MRR)와 Hits@10에서 상당한 이득을 달성했습니다.
• 보간 vs 외삽: 모델은 보간(관측된 시간 범위 내에서 테스트)과 외삽(미래 타임스탬프에서 테스트) 설정 모두에서 우수한 성능을 보였습니다.
• LLM과의 비교: 외삽 작업에서 FITTER는 순수하게 구조 중심적이며 텍스트 설명에 접근할 수 없음에도 불구하고, LLM 기반 추론 방법(ICL, GenTKG)보다 MRR과 Hits@10에서 더 높은 성능을 보였습니다.
• 전이적 경쟁력: 표준 인도메인(transductive) 설정에서 FITTER는 단일 고정 어휘 불가지론적 모델을 사용하면서도 완전히 훈련된 전이적 모델(TComplEx 등)의 MRR을 89~96% 수준까지 회복하였으며, 이는 교차 도메인 일반화를 위한 적절한 비용을 나타냅니다.
• 절제 연구 (Ablation Studies): 시간 인코딩(TE)을 제거하면 성능이 크게 저하되었으며, 이는 상대적 시간 순서가 도메인 간의 구조적 패턴(예: 엄격한 재귀성)을 전이하는 데 필수적임을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 **어휘 불가지론적 구조 학습(vocabulary-agnostic structural learning)**이 시맨틱 웹의 이질적인 지식 그래프에 대한 추론을 위한 실행 가능한 토대임을 주장합니다. 작은 특정 도메인(예: ICEWS14)에서 학습된 모델이 재학습 없이도 훨씬 다른 도메인(예: YAGO 또는 GDELT)에 대해 효과적으로 추론할 수 있음을 보여줌으로써, FITTER는 TKG의 "콜드 스타트(cold-start)" 문제를 해결합니다.

저자들은 이들의 접근 방식이 데이터셋 특정적 식별자와 독립적으로 구조적 및 시간적 규칙성(예: 상호작용 시퀀스 또는 반복되는 패턴)을 포착한다는 점을 강조합니다. 이러한 능력은 모든 시계열 그래프마다 별도의 모델을 훈련하는 것이 데이터 부족이나 계산 비용 측면에서 비효율적이거나 불가능한 실제 배포 환경에서 특히 가치가 있습니다. 이 연구는 데이터셋 특정적 최적화보다 전이 가능성을 우선시하는 새로운 시계열 추론 패러다임을 확립합니다.