Benchmark Datasets for Lead-Lag Forecasting on Social Platforms

技術要約：ソーシャルプラットフォームにおけるリード・ラグ予測のためのベンチマークデータセット

問題定義：リード・ラグ予測 (Lead-Lag Forecasting: LLF)

本論文は、リード・ラグ予測 (LLF) を、明確に区別された時系列予測パラダイムとして定式化している。単一のチャネルの直近の未来を予測する従来のローリング予測や、離散的なイベント到着をモデル化するテンポラル・ポイント・プロセス（時間的点過程）とは異なり、LLFは、初期のインタラクションに基づいた、時間的にシフトした相関のあるアウトカム・チャネルの予測に対処するものである。

形式的には、エンティティ $i$（例：論文やリポジトリ）が与えられたとき、タスクは、ルックバック・ウィンドウ $\tau$ 内の「リード」チャネル $x$ （および潜在的には初期のラグ・データ）のみを使用して、将来のホライゾン $H$ における「ラグ」チャネル $y$ から派生したダウンストリーム・アウトカム $z^{(i)}$ を予測することである。

• リード・チャネル ($x$): 初期段階のインタラクション（例：閲覧数、ダウンロード数、プッシュ、スター）。
• ラグ・チャネル ($y$): 遅延したインパクト信号（例：引用数、売上、フォーク）。
• 主要な制約: 予測ホライゾン $H$ はルックバック・ウィンドウ $\tau$ よりも大幅に大きい（例：30日間のデータから5年間のインパクトを予測する）。また、モデルは未知のエンティティへの汎化（クロスシリーズ汎化）を行い、かつチャネル間で情報を転送（クロスチャネル予測）しなければならない。

著者らは、このような二重のプロセス力学は科学、経済、ソーシャルメディアにおいて遍在しているものの、既存のベンチマークは同一チャネル内かつ短期間の予測に焦点を当てているため、これらを体系的に研究するための標準化されたデータセットが不足していると主張している。

メソドロジーとデータセット

LLFの研究を定着させるため、著者らは、キュレーション、クリーニング、および匿名化のすべての技術的詳細を文書化した、2つの高ボリュームなベンチマークデータセットを精査し、公開した。

1. arXiv データセット:

   • 範囲: 230万件の学術論文。
   • リード: 10.7億人の匿名化されたユーザーからの週次/日次のアクセスログ（ダウンロード/閲覧）。
   • ラグ: Semantic Scholarの引用グラフから導出された引用数（引用される論文の出版日によって引用時間を近似）。
   • タスク: $\tau \in \{30, 100, 365\}$ 日のアクセスデータに基づき、5年間の引用数（$H=1825$ 日）を予測する。
   • 分割: トレーニング、検証、テストのためのランダム分割。データ漏洩を防ぐため、トレーニングのカットオフ後に提出された論文を含む特定の「ラベルなしテスト」セットを用意している。

2. GitHub データセット:

   • 範囲: 300万件のリポジトリ（特にEcosyste.msを介してPyPI/Condaなどのパッケージマネージャーにリンクされているもの）。
   • リード: プッシュ・イベントおよびスター・イベント。
   • ラグ: フォーク数。
   • タスク: $\tau \in \{30, 100, 365\}$ 日のプッシュ/スター・データに基づき、5年間のフォーク数を予測する。
   • 分割: 同様のランダム分割。ただし、履歴が5年未満のリポジトリはラベルなしテストセットに配置されている。

ダイナミクスの分析:
著者らは、統計的分析を通じてリード・ラグ関係の存在を検証した：

• 時間的シフト: arXivではアクセスが常に引用に先行し、GitHubではスターが通常フォークに先行する。
• 予測力: ピアソン相関およびログ・ログ・ヘックスビン・プロットは、初期のリード信号（アクセス、スター）が長期的なラグ・アウトカム（引用、フォーク）と強く相関しており、多くの場合、短期的な初期ラグ信号自体よりも優れた性能を示すことを示している。
• 分布: 両方のデータセットはヘビーテイル分布（べき乗則）を示しており、特定の評価指標を必要とする。

評価指標:

• 分類: 高インパクトなエンティティの特定（arXivでは上位8.1%、GitHubでは上位11.3%）。指標：AUROC、F1スコア、AUC-PR。
• 回帰: 数値カウントの予測。指標：平均絶対誤差（MAE）、対数平均絶対誤差（MAE-log）、および低カウントのノイズによる不安定性を避けるために高インパクトなエンティティに限定した平均絶対パーセント誤差（MAPE）。

主要な貢献

1. データセットの公開: 長期ホライゾン設定において、クロスチャネルおよびクロスシリーズの汎化を初めて共同でテストする、2つの新しい大規模データセット（arXivおよびGitHub）を提供した。
2. 定式化: LLFを、既存の時系列タスクとは異なる統一された予測問題として定義した。
3. 実証的検証: 統計的テストを通じて、初期の使用パターンが長期的なインパクトに対する意味のある予測信号を含んでいることを示した。
4. ベースライン・ベンチマークの確立: 以下の手法を用いて性能ベースラインを確立した：
   • パラメトリック/ノンパラメトリック: ロジスティック回帰（バニラ、単一特徴量、Time-MoE埋め込み）、KNN、MLP。
   • ディープラーニング: InceptionTime、Transformer、およびTime-MoE（大規模）埋め込み。
   • アブレーション: 単一チャネル入力 vs マルチチャネル入力、および同一チャネル予測 vs クロスチャネル予測の比較。

結果

ベースライン実験から、いくつかの重要な知見が得られた：

• 予測信号の存在: 単一の累積特徴量（例：30日時点の総アクセス数）を使用する単純なモデルであっても、ランダムなベースラインを大幅に上回る（例：arXivのF1は0.08から0.31へ、GitHubのF1は0.11から0.29へ上昇）。
• クロスチャネルの優位性: 初期のホライゾン（30〜100日）において、リード・チャネルを用いてラグ・アウトカムを予測すること（例：アクセス $\to$ 引用）は、ラグ・チャネル自体を用いて予測すること（例：初期の引用 $\to$ 将来の引用）よりも一貫して優れた性能を示す。
• 特徴量の豊富さ: 複数のチャネル（例：プッシュ + スター）を使用することは、一般に単一チャネル入力よりも性能を向上させる。
• モデルの性能:
  • InceptionTime: 長期ホライゾンにおけるランキングベースの指標（AUC）で優れた性能を示したが、較正の問題により、短期ホライゾンではF1スコアが低くなる傾向があった。
  • ディープラーニング vs 単純なモデル: ディープな特徴量（Time-MoE埋め込み）は、一般に変換されていない特徴量よりも優れた性能を示したが、その利得は必ずしも劇的なものではなかった。
  • 回帰: KNNは、特にGitHubにおいてMAE指標で強力な性能を示したが、多くのエンティティが長期的なインパクトを持たない歪んだデータ分布のため、高インパクト項目に対するMAPEではディープラーニング手法に劣った。
• ホライゾンの依存性: ルックバック・ウィンドウ $\tau$ が30日から365日に増加するにつれて予測性能が向上し、より多くの初期データがより良い長期予測を促進することを裏付けた。

意義と主張

本論文は、LLFを、社会的および使用データ（usage data）を理解するために不可欠な新しい予測パラダイムとして位置づけている。その意義は以下の通りである：

• ギャップの解消: クロスチャネルかつ長期ホライゾンの予測のための標準化されたデータセットの欠如に対処し、リード・ラグのダイナミクスの体系的な探索を可能にする。
• 現実世界への関連性: インパクトが数年にわたって展開し、複雑で非決定論的なメカニズムを伴う、現実世界の環境（学術コミュニケーションやオープンソースソフトウェア）へと踏み込む。
• 将来の研究への基盤: 未知のシリーズに汎化できる、スケーラブルで柔軟な予測アーキテクチャを開発するための、経験的な基礎と厳格なベースラインを提供する。

著者らは、限界についても謙虚に述べている。データセットには個別のレベルのトレースやコンテンツのメタデータではなく、集計された信号が含まれていること、特定の時期の特定のプラットフォームのダイナミクスを反映していること、そしてモデルは因果関係ではなく予測的な相関関係を捉えていることを指摘している。彼らは、これらのデータセットが直接的な因果介入を推論するために使用されるのではなく、長期的なアウトカムを予測することの約束と落とし穴を理解するためのツールとして機能すべきであることを強調している。