💻 computer science

TeNS: A Temporal Neural Scoring Model for Temporal Knowledge Graph Completion

본 논문은 복잡한 시간적 패턴과 깊은 비선형 상호작용을 포착하기 위해 학습 가능한 시간 인코더와 다층 퍼셉트론 스코어링 네트워크를 활용하여 링크 예측 작업에서 기존 베이스라인들을 능가하는 시계열 지식 그래프 완성을 위한 시간적 신경 스코어링 모델인 TeNS를 제안한다.

원저자: Qingfan Deng, Baohua Qiang, Shihao Zhang, Hong Zheng, Ruidong Chen, Haoran Chen, Zhi Wang

게시일 2026-10-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qingfan Deng, Baohua Qiang, Shihao Zhang, Hong Zheng, Ruidong Chen, Haoran Chen, Zhi Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 시대에 우리의 집단적 지식 중 상당 부분은 지식 그래프라고 불리는 거대하고 구조화된 지도로 조직되어 있습니다. 모든 사실이 "파리"와 "프랑스"처럼 두 대상 사이의 연결이며, "수도이다"와 같은 관계로 연결된 거대한 도서관을 상상해 보십시오. 이러한 지도들은 검색 엔진부터 추천 시스템에 이르기까지 모든 것을 구동하며, 컴퓨터가 세상이 어떻게 구성되어 있는지 이해하도록 돕습니다. 그러나 현실 세계는 정지해 있지 않습니다. 끊임없이 변화하는 강물과 같습니다. 한 사람의 직업, 한 국가의 지도자, 또는 한 기업의 상태는 시간이 흐름에 따라 변합니다. 기존의 지식 지도는 이러한 사실들을 영구적인 것으로 취급하는 경우가 많아, '언제' 그 일이 일어났는지라는 결정적인 요소를 놓치곤 합니다. 이를 해결하기 위해 과학자들은 모든 사실에 타임스탬프를 추가하여, 단순히 그것이 사실이라는 것뿐만 아니라 특정 시점에 사실이었다는 것을 기록하는 "시계열 지식 그래프(temporal knowledge graphs)"를 개발했습니다. 연구자들이 여전히 해결하기 위해 노력 중인 과제는, 이 시간 민감형 지도의 빠진 조각들을 어떻게 채울 것인가 하는 점입니다. 만약 컴퓨터가 2010년의 대통령이 누구였고 2020년의 대통령이 누구였는지 안다면, 2015년에는 누구였는지, 혹은 내년에 어떤 직위를 가질 것인지를 정확하게 예측할 수 있을까요? 이것이 바로 시간과 역사의 패턴을 바탕으로 누락된 사실을 예측하는 데 전념하는 분야인 '시계열 지식 그래프 완성(temporal knowledge graph completion)' 문제입니다.

Guilin 전자 기술 대학교와 내몽고 사범 대학교의 연구팀은 TeNS라고 불리는 새로운 접근 방식을 도입했습니다. 그들의 연구는 현재 방식들의 특정 약점, 즉 시간의 복잡하고 반복되는 리듬과 사건들 사이의 깊고 비선형적인 연결을 포착하지 못하는 능력을 다룹니다. 기존 모델들은 시간을 단순한 고정 레이블로 취급하거나 정보를 결합하기 위해 기초적인 수학을 사용하는데, 이는 사실이 어떻게 진화하는지 이해하는 능력을 제한합니다. 연구자들은 시간이 고유한 주파수와 주기를 가진 파동과 같으며, 이러한 패턴을 이해하기 위해서는 더 정교한 도구가 필요하다고 주장합니다. 이 아이디어를 테스트하기 위해, 그들은 시간적 리듬을 인식하는 법을 배우고 강력한 신경망을 사용하여 서로 다른 정보 조각들이 어떻게 상호작용하는지 가중치를 두는 모델을 구축했습니다.

TeNS 모델의 핵심은 컴퓨터에게 시간을 이해시키는 새로운 방법입니다. 모델은 날짜에 단 하나의 경직된 숫자를 할당하는 대신, 시간을 연속적이고 흐르는 패턴으로 표현하는 법을 배우는 특수한 인코더를 사용합니다. 이는 라디오가 서로 다른 방송국을 튜닝하는 것과 유사하게 특정 주파수를 학습함으로써 이루어지며, 이를 통해 일일 주기, 연간 계절, 또는 더 긴 역사적 추세와 같은 주기적 패턴을 감지할 수 있게 합니다. 이를 통해 모델은 1월에 발생하는 사건이 단순히 달력 위의 고립된 점이 아니라, 반복되는 연간 패턴의 일부일 수 있음을 인지할 수 있습니다. 모델이 시간 구성 요소에 대한 풍부한 이해를 갖추게 되면, 이를 사람, 조직, 관계의 세부 사항과 결합합니다. 그런 다음 이 모든 정보를 심층 추론 엔진 역할을 하는 다층 신경망에 입력합니다. 표면적으로는 비슷해 보이지만 근본적인 의미가 매우 다른 사실들을 구별해낼 수 있도록, 이 엔진은 단순히 숫자들을 곱하는 것이 아니라 복잡하고 비선형적인 계산을 수행합니다.

이 시스템을 훈련시키기 위해 연구자들은 모델에게 실제 역사적 사실과 정교하게 만들어진 거짓 사실을 모두 제시하는 전략을 사용했습니다. 그들은 모델에게 너무 많은 노이즈로 혼란을 주지 않으면서, 하나의 정답당 무작위로 선택된 하나의 오답만을 사용하는 것이 모델이 진실과 거짓 사이의 경계를 배우는 데 가장 효과적이라는 것을 발견했습니다. 연구팀은 정치적 상호작용부터 글로벌 뉴스 보고에 이르기까지 수백만 개의 실제 사건을 포함하는 세 가지 주요 데이터셋을 사용하여 모델을 테스트했습니다. 결과는 TeNS가 기존 방식들을 크게 압도한다는 것을 보여주었습니다. 10년간의 정치적 사건을 추적하는 데이터셋에서, 이 모델은 누락된 개체를 최상위 순위에서 정확히 식별하는 성공률이 거의 95.7%에 달했으며, 이는 이전의 최고 기록보다 상당한 향상된 수치였습니다. 더욱 혼란스럽고 다양한 뉴스 사건을 다루는 데이터셋에서도 모델은 70% 이상의 높은 확률로 정답을 정확히 식별하며 강력한 성능을 유지했습니다.

연구자들은 또한 그들의 모델 중 정확히 어떤 부분이 이러한 성공을 이끌었는지 이해하기 위해 일련의 테스트를 수행했습니다. 그들은 복잡한 신경망을 제거하고 더 단순한 계산으로 대체했을 때 성능이 눈에 띄게 저하되는 것을 발견했으며, 이는 심층적인 비선형 추론이 필수적임을 입증했습니다. 마찬가지로, 시간 인코더가 새로운 패턴을 학습하지 못하도록 고정하거나, 정교한 시간 표현을 기본적인 선형 표현으로 교체했을 때 모델의 정확도가 급격히 떨어졌습니다. 이러한 발견은 유연하고 리드미컬한 시간 표현을 학습하고 이를 심층 네트워크를 통해 처리하는 능력이 개선의 핵심 동력이었음을 확인시켜 주었습니다. 이 연구는 기계가 역사의 흐름을 진정으로 이해하고 미래의 사건을 예측하기 위해서는, 단순하고 정적인 규칙을 넘어 시간 자체의 복잡하고 반복적이며 비선형적인 본질을 학습할 수 있는 모델을 수용해야 함을 시사합니다.

기술 요약: TeNS – 시계열 지식 그래프 완성을 위한 시간적 신경 스코어링 모델 (A Temporal Neural Scoring Model for Temporal Knowledge Graph Completion)

1. 문제 정의

시계열 지식 그래프 완성(Temporal Knowledge Graph Completion, TKGC)은 동적인 사실을 나타내는 사중조 $(s, r, o, t)$ 내에서 누락된 엔티티나 관계를 예측하는 것을 목표로 한다. 정적 지식 그래프 완성(KGC) 모델은 구조적 의미론을 효과적으로 포착하지만, 실세계 이벤트의 시간적 진화를 반영하는 데는 한계가 있다.

저자들은 기존 TKGC 방식의 두 가지 주요 한계점을 식별하였다:

제한된 시간적 표현력: 대부분의 모델은 고정된 시간적 표현 메커즘(예: 전역적으로 공유되는 임베딩 또는 단순 선형 변환)을 사용한다. 이러한 접근 방식은 복잡한 시간적 패턴, 주기적 진화 특성, 그리고 동적 데이터에 내재된 다양한 시간적 규칙성을 포착하는 데 어려움을 겪는다.
얕은 스코어링 메커니즘: 기존의 스코어링 모듈은 종종 엔티티, 관계, 시간적 특징을 융합하기 위해 얕은 선형 연산, 텐서 내적 또는 쌍선형 상호작용에 의존한다. 이러한 방식은 깊은 비선형 상호작용 능력이 부족하여, 복잡한 주기 간 의존성과 정교한 의미적 상관관계를 모델링하기 어렵고, 결과적으로 예측 정확도를 제한한다.

2. 방법론: TeNS 모델

이러한 과제를 해결하기 위해 저자들은 깊은 비선형 학습을 통해 시간적 인코딩과 스코어링 메커니즘을 모두 강화하도록 설계된 TeNS(Temporal Neural Scoring)를 제안한다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있다.

2.1 학습 가능한 시간적 인코더 (Learnable Temporal Encoder)

이산적인 타임스탬프를 위해 독립적인 벡터를 학습하는 전통적인 방식과 달리, TeNS는 연속적인 시간적 표현을 생성하기 위해 학습 가능한 시간 인코더를 도입한다.

메커니즘: 인코더는 학습 가능한 주파수 파라미터( $w$ )를 활용하여 사인(sine) 및 코사인(cosine) 함수를 통해 주기적 시간 특징을 구축한다: $z_t = [\sin(w_1t), \dots, \cos(w_k t)]$ .
비선형 투영: 이러한 특징들은 다층 퍼셉트론(MLP)을 통과하여 최종적인 시간 인코딩 벡터 $\tau_t$ 를 생성한다. 이를 통해 모델은 다중 스케일의 주기적 시간 특징과 복잡한 진화 역학을 적응적으로 포착할 수 있다.

2.2 시간적 신경 스코어링 함수 (Temporal Neural Scoring Function)

TeNS는 고차 상호작용을 모델링하기 위해 얕은 스코어링 함수를 깊은 비선형 네트워크로 대체한다.

입력 구성: 모델은 헤드 엔티티 임베딩( $e_s$ ), 관계 임베딩( $e_r$ ), 테일 엔티티 임베딩( $e_o$ ), 그리고 연속적 시간 인코딩( $\tau_t$ )을 하나의 통합된 벡터 $u$ 로 결합한다.
MLP 스코어링 네트워크: 전용 MLP 스코어링 함수 $\phi_s(u)$ 가 이 결합된 벡터를 처리한다. 쌍선형 또는 내적 방식과 달리, 이 네트워크는 깊은 비선형 상호작용 학습을 수행하여 시간적 사중조의 타당성을 평가한다. 이는 복잡한 시간적 사실을 구별하고 고차 의미적 상관관계를 포착하는 모델의 능력을 향상시킨다.

2.3 학습 전략

모델은 무작위 부정 샘플링(random negative sampling) 전략과 이진 분류 손실(Binary Cross-Entropy)을 결합하여 최적화된다.

각 양성 사중조 $(s, r, o, t)$ 에 대해, 테일 엔티티를 무작위로 교체하여 부정 샘플을 생성한다.
손실 함수는 이 작업을 이진 분류 문제로 취급하여, 양성 샘플의 점수는 최대화하고 부정 샘플의 점수는 억제하는 것을 목표로 한다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 명시한다:

새로운 모델 아키텍처: 복잡한 시간적 패턴과 주기적 규칙성의 표현을 강화하기 위해 사인-코사인 함수와 MLP를 결합한 학습 가능한 시간 인코더를 통합한 TeNS를 제안하였다.
깊은 비선형 스코어링: 시간 조건부 쿼리 표현과 MLP 기반의 시간 특징 판별 네트워크를 설계하였다. 이는 엔티티, 관계, 시간을 공유된 의미 공간으로 통합하여 비선형 상호작용을 통한 복잡한 시간적 의존성 모델링을 강화한다.
최적화 전략: 무작위 부정 샘플링과 이진 분류 손실을 사용하여 모델을 공동 최적화한다. 본 논문은 제안된 프레임워크 하에서의 적용 가능성을 판단하기 위해 무작위 부정 샘플링과 하드 부정 샘플링(hard negative sampling)을 비교 분석하는 내용을 포함한다.
실증적 검증: 세 가지 벤치마크 데이터셋(ICEWS14, ICEWS05-15, GDELT)에 대한 광범위한 실험을 통해 주요 베이스라인 모델 대비 일관된 개선을 입증하였다.

4. 실험 결과

저자들은 ICEWS14, ICEWS05-15, GDELT 세 가지 데이터셋에서 TeNS를 평가하였다. 성능은 평균 역순위(MRR)와 Hits@K (K=1, 3, 10)를 사용하여 측정되었다.

전반적인 성능: TeNS는 모든 지표에서 ICEWS14 및 ICEWS05-15에 대해 최첨단(SOTA) 결과를 달성하였다. 특히 ICEWS05-15에서 TeNS는 MRR 0.958, Hits@1 0.957을 기록하며, 강력한 베이스라인인 SFPL(MRR 0.866)과 HyGNet(MRR 0.693)을 크게 앞질렀다.
정적 모델과의 비교: 결과는 시간적 모델링의 필요성을 강조한다. ICEWS05-15에서 ComplEx와 같은 정적 모델은 MRR 0.481을 기록한 반면, TeNS는 0.958에 도달했다.
시계열 모델과의 비교: TeNS는 텐서 분해 기반 방식(예: TNTComplEx) 및 기타 신경망 방식(예: TeHTE, MDRQS)보다 특히 주기적 패턴을 포착하는 데 있어 우수한 성능을 보였다.
데이터셋별 특이사항:
- 정기적인 정치 및 외교적 이벤트가 특징인 ICEWS 데이터셋에서, TeNS는 학습 가능한 인코더에 의한 효과적인 주기 패턴 포착 덕분에 일관되게 높은 성능을 보였다.
- 밀도가 높고 불규칙한 이벤트 분포를 가진 GDELT 데이터셋에서 TeNS는 MRR 0.720을 달성하였다. 그러나 본 논문은 TeNS가 이 데이터셋에서 SFPL(SFPL MRR 0.816 vs. TeNS MRR 0.720)보다 성능이 떨어진다는 점을 명시하였으며, 이는 모델이 노이즈가 많고 불규칙한 시간적 패턴을 처리하는 데 있어 여전히 개선이 필요함을 시사한다.

절제 연구 (Ablation Studies)

저자들은 특정 구성 요소의 유효성을 검증하기 위해 절제 연구를 수행하였다:

스코어링 함수: MLP를 내적(TeNS-Dot) 또는 선형 함수(TeNS-Linear)로 교체했을 때 성능이 크게 하락하였으며, 이는 깊은 비선형 상호작용의 필요성을 확인시켜 준다.
시간적 인코더: 인코더 파라미터를 고정하거나(TeNS-FTE), 인코더를 선형 투영으로 교체했을 때(TeNS-LTE) 성능이 저하되었으며, 이는 학습 가능한 주파수와 비선형 매핑의 가치를 증명한다.
부정 샘플링: 연구 결과, ICEWS 데이터셋에서는 무작위 부정 샘플링( $N_{neg}=1$ )이 가장 좋은 결과를 냈고, GDELT에서는 하드 부정 샘플링이 더 효과적이었다. 부정 샘플의 수를 늘리는 것( $N_{neg} > 1$ )은 일반적으로 성능을 저하시켰는데, 특히 GDELT에서 그러했으며, 이는 아마도 노이즈가 섞인, 의미적으로는 그럴듯하지만 관찰되지 않은 엔티티들이 도입되었기 때문인 것으로 보인다.

5. 의의 및 주장

본 논문은 TeNS가 현재 TKGC 모델의 한계점인 제한된 시간적 표현력과 불충분한 비선형 상호작용 문제를 해결한다고 주장한다. 학습 가능한 시간 인코딩 메커니즘과 깊은 신경 스코어링 네트워크를 도입함으로써, 이 모델은 시계열 지식 그래프에서 누락된 링크를 예측하는 데 탁월한 능력을 보여준다.

저자들은 TeNS가 특히 강한 주기적 규칙성을 가진 데이터셋에서 상당한 이득을 얻었지만, 부정 샘플링 전략의 효과는 데이터셋의 특성(희소성 및 엔티티 분포)에 크게 의존한다는 점을 강조한다. 본 연구는 간결한 모델 구조를 유지하면서 시간적 모델링과 비선형 판별 능력을 강화하는 것이 유망한 방향임을 결론지으며, 향후 연구로서 관계 조건부 시간 인코딩(relation-conditioned temporal encoding) 및 더 견고한 부정 샘플링 전략에 대한 탐색을 제안한다.