Temporal Knowledge Graph Forecasting under Distribution Shifts: A Synthetic Evaluation

당신이 거대하고 끊임없이 변화하는 소셜 네트워크의 미래를 예측하려고 노력하고 있다고 상상해 보세요. 그곳에서는 모든 사람이 끊임없이 새로운 친구를 사귀고, 헤어지고, 비밀 클럽에 가입합니다. 이것이 바로 **시계열 지식 그래프(Temporal Knowledge Graph)**입니다. 즉, 매 초마다 변하는 사실들의 지도인 셈이죠. 수년 동안 과학자들은 이 지도 위에서 다음에 어떤 일이 일어날지 추측하기 위해 매우 똑똑한 AI 모델들을 구축해 왔습니다. 하지만 여기 함정이 있습니다. 대부분의 모델은 규칙이 절대 변하지 않는 "완벽한" 데이터에서만 테스트되었습니다. 이는 마치 운전자에게 햇살 가득한 텅 빈 고속도로에서 운전하는 법만 가르쳐 놓고, 갑작스러운 눈보라 속에서 운전하라고 요구하는 것과 같습니다.

이 연구에서 연구진은 자신들만의 "눈보라"를 직접 만들기로 했습니다. 그들은 AI 모델이 게임의 규칙이 갑자기 바뀔 때 얼마나 잘 대처하는지 테스트하기 위해 합성(인위적이지만 완로히 통제된) 세계를 구축했습니다. 그들은 단순히 추측만 한 것이 아니라, 데이터 생성 과정이 완전히 탈바 바뀔 때 어떤 일이 일어나는지 확인하기 위해 시뮬레이션을 실행했습니다.

게임의 세 가지 규칙

AI를 테스트하기 위해, 팀은 데이터가 따를 수 있는 세 가지 특정 "신호" 또는 패턴을 발명했습니다. 이는 마치 서로 다른 음악 장르와 같습니다:

1. 메아리 (재발, Recurrence): 이것은 사물이 단순히 반복되는 현상입니다. 만약 어제 어떤 사실이 일어났다면, 오늘도 일어날 가능성이 높습니다. 머릿속에 계속 맴도는 중독성 있는 노래와 같습니다.
2. 계절 (주기성, Periodicity): 이것은 명절이나 계절처럼 사실들이 하나의 순환을 따르는 경우입니다. 예측 가능한 리듬이죠.
3. 클럽 (동종 선호, Homophily): 이것은 사람들이 오직 자신들만의 비밀 그룹 안에 있는 사람들과만 어울리는 경우입니다. 마치 "운동부"는 운동부끼리만, "예술가"는 예술가끼리만 대화하는 고등학교와 같습니다.

반전: 갑작스러운 "플롯 트위스트"

진정한 테스트는 연구진이 **구조적 변화(structural break)**를 도입했을 때 찾아왔습니다. 당신이 TV 프로그램을 보고 있는데, 극 중간에 작가들이 갑자기 전체 줄거리를 바꾸기로 결정했다고 상상해 보세요. 등장인물의 성격이 뒤바뀌거나, 계절이 순식간에 바뀌거나, 듣던 노래가 멈춰버립니다. 연구진은 AI 모델이 이에 적응할 수 있을지, 아니면 완전히 무너져 버릴지를 확인하기 위해 100단계의 타임라인 중 특정 시점인 67에 "변화 지점(break date)"을 설정했습니다.

시뮬레이션이 밝혀낸 것

결과는 "나쁘지 않음"과 "안 돼!"가 섞여 있었습니다.

1. 메아리는 쉽다 (재발)
데이터가 단순히 반복될 때, AI 모델들은 전문가 수준이었습니다. 이전에 일어난 일을 보고 "다시 일어날 것이다"라고 말하는 단순한 모델들조차 놀라운 성능을 보였습니다. 안정적인(변화가 없는) 세상에서 이 단순한 모델들은 완벽한 "오라클(Oracle, 비밀 규칙을 알고 있는 초지능)" 성능의 **90%에서 100%**에 도달했습니다.

• 변화 발생: 규칙이 변했을 때, RE-GCN이나 TLogic 같은 일부 모델은 비틀거렸고 성능이 크게 떨어졌습니다. 하지만 단순한 "기억" 기반 모델들은 강력한 상태를 유지했는데, 이는 세상이 단지 반복에 관한 것이라면 복잡한 로봇이 필요하지 않다는 것을 증명했습니다.

2. 계절은 학습 가능하다 (주기성)
데이터가 리듬을 따를 때, 대부분의 모델은 뛰어난 성과를 보이며 거의 완벽한 점수에 도달했습니다.

• 변화 발생: 리듬이 변했을 때(예: 왈츠에서 헤비메탈로 전환될 때), 모델들은 따라잡기에 애를 먹었습니다. CognTKE와 같은 일부 모델은 다른 모델들보다 더 잘 대처했지만, 갑작스러운 변화는 많은 모델이 예측을 하기 위해 과거의 리듬에 너무 과하게 의존하고 있다는 점을 드러냈습니다.

3. 클럽은 가장 어려운 보스다 (동종 선호)
이것은 큰 놀라움이었습니다. 데이터가 숨겨진 그룹(클럽)에 의존할 때, 단순한 "메아리" 모델들은 처참하게 실패하며 완벽한 모델 성능의 약 **4%에서 6%**만을 기록했습니다. 그들은 비밀스러운 사회 구조를 파악하지 못했습니다.

• 변화 발생: 이것은 가장 힘든 도전이었습니다. 이전까지 잘 해왔던 똑똑한 모델들조차 클럽 멤버십이 섞이자 처참하게 무너졌습니다. 예를 들어, DiMNet이라는 모델은 변화 전에는 완벽한 점수의 **88%**까지 도 de 도달했으나, 변화 후에는 단 **48%**로 떨어졌습니다. 연구진은 이것이 모델들이 세상의 "안정적인" 부분은 계속 안정적으로 유지될 것이라고 가정하도록 설계되었기 때문이라고 설명합니다. 사회적 그룹이 갑자기 재편될 때 모델들이 혼란에 빠지는 것입니다.

핵심 결론

이 논문은 강건성(robustness)은 신호에 따라 크게 달라진다는 점을 시사합니다. 즉, AI 모델은 단순히 "좋다" 혹은 "나쁘다"로 정의되는 것이 아니라, 그 모델이 어떤 종류의 패턴을 예측하느냐에 달려 있다는 것입니다.

• 세상이 단순히 반복되는 것이라면, 단순한 모델이 매우 효과적입니다.
• 세상에 숨겨진 사회적 그룹이 존재한다면, 현재의 모델들은 그 그룹이 변할 때 어려움을 겪습니다.

저자들은 우리가 단순히 표준 벤치마크(예: 조용한 거리에서의 운전면허 시험)에서 모델이 얼마나 잘하는지만 봐서는 안 된다고 강조합니다. 그들이 실제로 변화하는 세상을 다룰 수 있는지 확인하려면 이러한 "합성 눈보라" 속에서 테스트해야 합니다. 그들은 현재의 모델들이 쓸모없다는 것을 증명한 것이 아니라, 구조적 변화(structural breaks)—세상이 조직되는 방식의 갑작스러운 변화—가 오늘날의 예측 도구들에게 매우 크고 해결되지 않은 과제라는 점을 보여주었습니다.

요약하자면: AI는 과거를 기억하고 리듬을 포착하는 데는 뛰어나지만, 세상의 사회적 구조 자체가 갑자기 뒤집힌다면 AI는 길을 잃을 가능성이 높습니다.