Benchmark Datasets for Lead-Lag Forecasting on Social Platforms

기술 요약: 소셜 플랫폼에서의 리드-래그(Lead-Lag) 예측을 위한 벤치마크 데이터셋

문제 정의: 리드-래그 예측 (Lead-Lag Forecasting, LLF)

본 논문은 **리드-래그 예측(LLF)**을 별도의 시계열 예측 패러다임으로 공식화한다. 단일 채널의 즉각적인 미래를 예측하는 전통적인 롤링 예측(rolling forecasting)이나 이산적인 이벤트 도착을 모델링하는 템포럴 포인트 프로세스(temporal point processes)와 달리, LLF는 초기 상호작용을 바탕으로 시간적으로 치우친(temporally shifted) 상관관계가 있는 결과 채널을 예측하는 문제를 다룬다.

형식적으로, 엔티티 $i$(예: 논문 또는 저장소)가 주어졌을 때, LLF의 과업은 룩백 윈도우(lookback window) $\tau$ 내의 "리드(lead)" 채널 $x$(및 잠재적으로 초기 래그 데이터)의 관측값만을 사용하여, 미래 시점 $H$에서의 "래그(lag)" 채널 $y$로부터 파생된 다운스트림 결과 $z^{(i)}$를 예측하는 것이다.

• 리드 채널 ($x$): 초기 단계의 상호작용 (예: 조회수, 다운로드, 푸시, 스타).
• 래그 채널 ($y$): 지연된 영향력 신호 (예: 인용, 판매, 포크).
• 주요 제약 조건: 예측 호라이즌 $H$는 룩백 윈도우 $\tau$보다 현저히 크며 (예: 30일간의 데이터를 통해 5년의 임팩트를 예측), 모델은 미지의 엔티티에 대해 일반화(교차 시계열 일반화)할 수 있어야 하며, 채널 간 정보를 전이(교차 채널 예측)할 수 있어야 한다.

저자들은 이러한 이중 프로세스 역학이 과학, 경제, 소셜 미디어 전반에 걸쳐 보편적으로 존재함에도 불구하고, 기존 벤치마크들이 동일 채널의 단기 예측에 집중되어 있어 이를 체계적으로 연구할 표준화된 데이터셋이 부족하다고 주장한다.

방법론 및 데이터셋

LLF 연구를 정착시키기 위해, 저자들은 큐레이션, 정제 및 익명화의 모든 기술적 세부 사항을 기록한 두 개의 고용량 벤치마크 데이터셋을 구축하여 공개하였다.

1. arXiv 데이터셋:

   • 범위: 230만 편의 학술 논문.
   • 리드: 10.7억 명의 익명 사용자로부터 얻은 주간/일간 액세스 로그 (다운로드/조회수).
   • 래그: Semantic Scholar 인용 그래프에서 파생된 인용 횟수 (인용 논문의 출판일을 통해 인용 시점을 근사화).
   • 과업: $\tau \in \{30, 100, 365\}$일 시점의 액세스 데이터를 기반으로 5년 인용 횟수($H=1825$일)를 예측.
   • 분할: 훈련, 검증, 테스트를 위한 무작위 분할을 수행하며, 데이터 누수를 방지하기 위해 훈련 컷오프 이후 제출된 논문들로 구성된 특정 "레이블 없는 테스트(unlabeled test)" 세트를 포함함.

2. GitHub 데이터셋:

   • 범위: 300만 개의 저장소 (특히 Ecosyste.ms를 통해 PyPI/Conda와 같은 패키지 매니저와 연결된 것들).
   • 리드: 푸시(Push) 이벤트 및 스타(Star) 이벤트.
   • 래그: 포크(Fork) 횟수.
   • 과업: $\tau \in \{30, 100, 365\}$일 시점의 푸시/스타 데이터를 기반으로 5년 포크 횟수를 예측.
   • 분할: 유사한 무작위 분할을 사용하며, 히스토리가 5년 미만인 저장소는 레이블 없는 테스트 세트에 배치함.

역학 분석:
저자들은 통계적 분석을 통해 리드-래그 관계의 존재를 검증하였다:

• 시간적 이동(Temporal Shift): arXiv에서는 액세스가 일관되게 인용보다 앞서 나타나며, GitHub에서는 스타가 일반적으로 포크보다 먼저 나타난다.
• 예측력: 피어슨 상관계수와 로그-로그 헥스빈(log-log hexbin) 플롯은 초기 리드 신호(액세스, 스타)가 장기 래그 결과(인용, 포크)와 강하게 상관되어 있음을 보여주며, 종종 단기적으로는 초기 래그 신호 자체보다 더 높은 성능을 보인다.
• 분포: 두 데이터셋 모두 헤비 테일(heavy-tailed) 분포(멱법칙)를 보이므로, 특정 평가 지표가 필요하다.

평가 지표:

• 분류(Classification): 고영향력 엔티티 식별 (arXiv의 경우 상위 8.1%, GitHub의 경우 상위 11.3%). 지표: AUROC, F1-score, AUC-PR.
• 회귀(Regression): 수치적 횟수 예측. 지표: 평균 절대 오차(MAE), 로그 평균 절대 오차(MAE-log), 그리고 낮은 횟수의 노이즈로 인한 불안정성을 피하기 위해 고영향력 엔티티에 국한된 평균 절대 백분율 오차(MAPE).

주요 기여

1. 데이터셋 공개: 장기 호라이즌 설정에서 교차 채널(cross-channel) 및 교차 시계열(cross-series) 일반화를 최초로 결합 테스트하는 두 개의 새로운 대규모 데이터셋(arXiv 및 GitHub)을 제공함.
2. 공식화: LLF를 기존 시계열 작업과 구별되는 통합된 예측 문제로 정의함.
3. 경험적 검증: 통계적 테스트를 통해 초기 사용 패턴이 장기 임팩트에 대한 유의미한 예측 신호를 포함하고 있음을 입증함.
4. 베이스라인 벤치마크 구축: 다음을 사용하여 성능 베이스라인을 설정함:
   • 모수적/비모수적 모델: 로지스틱 회귀(Vanilla, One-feature, Time-MoE 임베딩), KNN, MLP.
   • 딥러닝: InceptionTime, Transformer, Time-MoE (Large) 임베딩.
   • 절제 실험(Ablations): 단일 채널 대 다중 채널 입력, 그리고 동일 채널 대 교차 채널 예측의 비교.

결과

베이스라인 실험을 통해 다음과 같은 핵심적인 발견을 도출하였다:

• 예측 신호의 존재: 단일 누적 특성(예: 30일 차의 총 액세스 수)을 사용하는 단순한 모델조차 무작위 베이스라인보다 유의미하게 높은 성능을 보인다 (예: arXiv F1은 0.08에서 0.31으로, GitHub F1은 0.11에서 0.29로 상승).
• 교차 채널의 우월성: 초기 호라이즌(30~100일)에서 래그 채널 자체(예: 초기 인용 $\to$ 미래 인용)를 사용하는 것보다 리드 채널(예: 액세스 $\to$ 인용)을 사용하여 래그 결과를 예측하는 것이 일관되로 더 우수한 성능을 보인다.
• 특성 풍부성: 여러 채널(예: 푸시 + 스타)을 사용하는 것이 단일 채널 입력보다 일반적으로 성능을 향상시킨다.
• 모델 성능:
  • InceptionTime: 장기 호라이즌에 대한 순위 기반 지표(AUC)에서 우수한 성능을 보였으나, 캘리브레이션 문제로 인해 단기 호라이즌에서는 낮은 F1 점수를 보였다.
  • 딥러닝 vs 단순 모델: 딥 피처(Time-MoE 임베딩)는 일반적으로 변환되지 않은 피처보다 우수했으나, 그 격차가 항상 상당했던 것은 아니다.
  • 회귀: KNN은 특히 GitHub에서 MAE 지표에 대해 강력한 성능을 보였으나, 많은 엔티티가 0의 장기 임팩트를 갖는 왜곡된 데이터 분포로 인해 고영향력 항목에 대한 MAPE에서는 딥러닝 방법보다 낮은 성능을 보였다.
• 호라이즌 의존성: 룩백 윈도우 $\tau$가 30일에서 365일로 증가함에 따라 예측 성능이 향상되었으며, 이는 더 많은 초기 데이터가 더 나은 장기 예측을 용이하게 한다는 것을 입증한다.

의의 및 주장

본 논문은 LLF를 사회적 및 사용 데이터의 이해에 필수적인 새로운 예측 패러다임으로 자리매김한다. 그 의의는 다음과 같다:

• 공백 메우기: 교차 채널, 장기 호라이즌 예측을 위한 표준화된 데이터셋의 부재를 해결함으로써, 리드-래그 역학에 대한 체계적인 탐색을 제한하던 문제를 해결한다.
• 실제적 관련성: 임팩트가 수년에 걸쳐 전개되고 복잡하며 비결정론적인 메커니즘을 포함하는 실제 환경(학술 커뮤니케이션 및 오픈 소스 소프트웨어)으로 연구 범위를 확장한다.
• 향후 연구의 토대: 미지의 시계열에 일반화할 수 있는 확장 가능하고 유연한 예측 아키텍처를 개발하기 위한 경험적 기초와 엄격한 베이스라인을 제공한다.

저자들은 데이터셋의 한계를 겸허히 언급한다: 데이터셋은 개별 수준의 트레이스나 콘텐츠 메타데이터가 아닌 집계된 신호를 포함하고 있으며, 특정 시점의 특정 플랫폼 역학을 반영한다. 또한, 모델은 인과적 관계가 아닌 예측적 상관관계를 포착한다. 저자들은 이 데이터셋이 직접적인 인과적 개입을 추론하기 위한 용도가 아니라, 장기적 결과를 예측하는 데 따르는 약속과 위험을 이해하기 위한 도구로 사용되어야 함을 강조한다.