技術的概要：重尾時系列予測のための TailedTS ベンチマークデータセット

問題定義

時系列予測は、経済学、工学、環境科学における機械学習アプリケーションの重要な構成要素である。しかし、従来の予測モデルは主に残差に対するガウス分布の仮定に依存しており、これは現実世界の経験的データセットで観察される重尾性、ゼロ過剰、および非ガウス的な挙動によって頻繁に破綻している。M コンペティション（M4、M5）や UCI 電力データセットなどの既存のベンチマークは、さまざまな時間的ダイナミクスを捉えているが、複雑な人間の関心パターンに内在する極端なイベント駆動型のボラティリティや高次元の疎性を十分に表現できていない。具体的には、これらのデータセットは、事象の微小な割合が観測値の大部分を占めるべきべき則分布を十分に示しておらず、確率的バーストや極端な外れ値に対するモデルの頑健性を評価する上でギャップが生じている。

手法

本論文は、2024 年全体にわたるウィキペディアの時間別ページビュー観測データから導出された大規模ベンチマークデータセット「TailedTS」を導入する。手法は以下の 3 つの主要な構成要素を含む。

1. データセット構築と整合性

データセットは、毎月約 300 万の固有ウィキペディアページにわたる約 246.9 億のデータポイントで構成される。データ品質を確保し、頻繁に閲覧されるコンテンツに焦点を当てるため、著者は生データをフィルタリングし、月のすべての日において 1 日あたり最低 10 回以上のビューを維持するページのみを含めた。このフィルタリングにより、約 5% のページが総ページビューの 70% 以上を占めるデータセットが生成され、顕著なべき則分布に従う。データは高効率な Apache Parquet 形式で保存される。

2. 周期性定量化フレームワーク

時系列の周期的構造を分析するため、著者は疎性と非負制約を備えた疎自己回帰フレームワークを提案する。最適化問題は、支配的な自己相関（例えば、日次および週次のサイクル）を自動的に特定するように定式化される。

• 定式化: この問題は、係数ベクトル $w_\gamma$ に対する $\ell_0$-ノルム制約および非負制約（$w_\gamma \in \mathbb{R}^d_+$）の下で、二乗誤差を最小化する。
• 実装: この問題は混合整数二次計画（MIQP）問題として再定式化され、CPLEX アルゴリズムを用いて解かれる。モデルは、ページ人気度の異なるカテゴリ間で一貫したサポート集合を仮定する。

3. 頑健な予測モデリング

本論文は、重尾ノイズに対処するために非ガウス損失関数のスイートを用いて自己回帰予測モデルを評価する。最適化目的関数は、残差上の損失関数 $\rho(\varepsilon_t)$ の和を最小化する。本研究では以下の比較を行う：

• $\ell_2$-ノルム損失: 標準的な最小二乗法（ガウス分布の仮定）。
• $\ell_1$-ノルム損失: 最小絶対偏差（LAD）。
• Huber 損失: $\ell_2$ と $\ell_1$ の間を補間し、小さな残差には二次ペナルティ、大きな残差には線形ペナルティを適用する。
• Quantile 損失: 非対称な線形ペナルティを用いて条件付き分位数を推定可能にする。
• $\ell_p$-ノルム損失（$0 < p < 1$）: 残差を非線形にペナルティ化することで積極的な頑健性を提供するが、非凸最適化の課題を導入する。

主要な貢献

本論文は、3 つの側面での貢献を概説する。

1. ベンチマークデータセット: TailedTS は、高次元、重尾、ゼロ過剰の特性を持つ時系列データセットを提供し、長期間（2024 年の 8,784 時間ステップ）にわたる数百万の時系列を含む。これにより、研究コミュニティは非ガウス残差および確率的バーストに対するモデルを評価でき、標準的なガウスベースの推定量がしばしば失敗するシナリオを扱える。
2. 周期性の定量化: 著者は疎自己回帰を用いて、頻繁に閲覧されるページは、あまり閲覧されないページに比べて周期的構造が著しく弱いことを明らかにした。この発見は、人気のあるページは特殊なイベントや異常の影響を受けやすく、大量のトラフィックがあるにもかかわらず予測が複雑になることを示唆している。
3. 頑健な予測モデリング: 本研究は、標準的なガウスベースの推定量が高ボリュームのページカテゴリで大幅に劣化することを示す。対照的に、頑健な代替手段（Huber、$\ell_p$-ノルム、Quantile 損失）は、極端な外れ値の影響を軽減することで、すべてのトラフィック規模で一貫した改善をもたらす。

実験結果

著者は、TailedTS データセットおよび 4 つの外部ベンチマークデータセット（UCI 電力、SF 交通、大気質、気象データ）で広範な実験を実施した。

• 季節性分析: 疎性レベル $\tau=8$ および $\tau=10$ の下で、日次（24 時間）、半日次（48 時間）、週次（168 時間）のサイクルに対する支配的な自己相関が特定された。分析により、高ボリュームのページカテゴリ（例：$O(10^4)$ ビュー）は、低ボリュームのカテゴリに比べて季節性係数が低く、より高いボラティリティを示すことが確認された。
• TailedTS における予測性能:
  • 高ボリュームカテゴリ（$O(10^4)$）において、標準的な $\ell_2$-ノルム損失は RMSE 1163.08 を生じた。
  • 頑健な推定量はベースラインを大幅に上回った：$\ell_p$-ノルム損失は RMSE 129.28 を達成し、Huber 損失は 139.87 を達成した。
  • $\ell_2$-ノルム損失は低マグニチュードのカテゴリ（$O(10^2)$）では競争力のある結果を示したが、ボリュームが増加するにつれて性能は急激に劣化した。
• 外部ベンチマークにおける性能: 本研究は、標準的なベンチマーク（UCI 電力、SF 交通など）の残差も、対数 - 対数ヒストグラムを通じて重尾挙動を示すことを検証した。非ガウス損失関数は、これらのデータセット全体で MAPE と RMSE を一貫して削減した。例えば、UCI 電力データにおいて、$\ell_1$ および Huber 損失は MAPE を 0.095（$\ell_2$）から 0.083 に削減し、約 13% の相対削減を実現した。

意義と主張

本論文は、TailedTS を時系列予測モデルに対する厳密なストレステストとして位置づけ、特にガウス分布の仮定に依存する現在の最先端（SOTA）手法の限界を標的としている。著者は以下を主張する。

• 頑健性が重要である: 標準的な推定量は、重尾ノイズと極端なボラティリティを特徴とする現実世界のデジタルトラフィックには不適切である。
• 損失関数の選択が重要である: 損失関数の選択はモデルの回復力の主要な決定要因である。頑健な損失（Huber、$\ell_p$、Quantile）は、交通や気候システムに見られる物理的制約から逸脱する、不規則で相互接続された人間の関心パターンを捉えるために必要である。
• スケーラビリティと汎用性: TailedTS を既存の気象ベンチマークと統合することで、研究者は GPU ネイティブフレームワークのスケーラビリティと頑健な損失関数の有効性をより適切に評価できる。

著者は、頑健な推定量が大幅な誤差削減を提供する一方で、極端な規模と普遍的なゼロ過剰がもたらす課題は依然として困難な最前線であると結論づけている。彼らは、このベンチマークが、理論的最適化と大規模時系列データの重尾現実の間のギャップを埋める次世代の分布認識モデルの開発を促進することを意図している。

限界: 著者は、このベンチマークはウィキペディアデータのみから導出されており、急激なレジームシフトや敵対的改ざんなど、現実世界のすべての非定常性を捉えきれていない可能性があると指摘している。したがって、導き出された結論は、異なるデータ生成メカニズムによって支配される時系列に完全に一般化されるとは限らない。