MoHETS: Long-term Time Series Forecasting with Mixture-of-Heterogeneous-Experts

本論文は、多様な時間的ダイナミクスを捉えるために異種専門家の混合（MoHE）と外部変数の活用を組み合わせたエンコーダのみからなる Transformer モデル「MoHETS」を提案し、長期的な時系列予測において最先端の性能を達成したことを示しています。

要約

この論文は、**「MoHETS（モヘッツ）」**という新しい AI 模型を紹介しています。これは、天気予報や株価、電力消費量などの「時間の流れに沿ったデータ（時系列データ）」を、未来にわたって高精度に予測するための技術です。

専門用語を抜きにして、日常の例え話を使ってわかりやすく解説しますね。

🌟 核心となるアイデア：「万能な職人」から「専門職チーム」へ

これまでの AI 模型は、未来を予測する際、**「万能な職人（MLP）」**という一人の職人にすべての仕事を任せていました。

• 万能職人の問題点： 彼は「長期的なトレンド（例：10 年かけて緩やかに上がる株価）」も、「短期的なリズム（例：毎朝 9 時に起きる交通渋滞）」も、すべて同じやり方で処理しようとします。しかし、これでは「大きな流れ」も「細かい波」も、どちらも中途半端にしか捉えられず、精度が落ちたり、計算が非効率になったりします。

MoHETS の革命は、この「万能職人」を解雇し、**「専門職チーム（異質なエキスパートの混合）」**を編成したことです。

1. 2 種類の「専門家」がチームを組む

MoHETS は、予測が必要なデータを小さな「パッチ（断片）」に切り分け、それぞれを最も得意とする専門家に振り分けます。

• 🏗️ 建築職人（共有の畳み込みエキスパート）：
  • 得意分野： 「長いスパンの流れ」や「連続性」。
  • 役割： 過去から未来へ続く、緩やかなトレンド（例：季節による気温の変化）を捉えます。チーム全員が共通して使う「基礎知識」を担当します。
• 🎵 音楽家（ルーティングされたフーリエエキスパート）：
  • 得意分野： 「リズム」や「周期性」。
  • 役割： 特定の短い間隔で繰り返されるパターン（例：1 日ごとの朝のピーク、週ごとの週末の動き）を分析します。必要な時だけ呼び出され、複雑な波の形を解き明かします。

このように、「流れを見る職人」と「リズムを見る音楽家」を組み合わせることで、AI は複雑な時間の動きを、まるでオーケストラがハーモニーを奏でるように、美しく予測できるようになります。

2. 外部の「予報士」も呼ぶ（共変量の活用）

天気予報をするとき、気温だけでなく「今日は祝日だから人が集まる」「台風が近づいている」といった外部の情報も重要です。
MoHETS は、この外部情報（カレンダーや天気データなど）を、単に横に並べるのではなく、**「クロス・アテンション（相互注意）」**という仕組みで、内部のデータと深く結びつけます。

• 例え： 「今日は日曜日だから、通常より交通量が増える」という外部情報を、AI が「あ、この時間帯は特別だ！」と理解して予測に活かすような仕組みです。

3. 未来を「ブロック単位」で一気に描く（軽量なデコーダー）

従来の AI は、未来を 1 時間ずつ、1 日ずつと、細かく積み上げて予測していました。これだと、計算が重く、誤差が積み重なってしまいます。
MoHETS は、**「未来のブロック（パッチ）」を一度に描き出す「軽量なコンボリューション・デコーダー」**を使います。

• 例え： 1 枚 1 枚のタイルを丁寧に貼るのではなく、すでに完成された「壁のブロック」をパッと貼り付けるように、効率的に未来の全体像を描き出します。これにより、計算コストが下がり、どんな長さの未来予測でも 1 つのモデルで対応できるようになります。

🏆 結果：なぜこれがすごいのか？

この新しい「専門職チーム」方式（MoHETS）は、7 つの異なるデータセット（電力、気象、交通など）でテストされ、既存の最強の AI 模型よりも平均して 12% 以上、予測精度（誤差の少なさ）が向上しました。

• 長期的な予測に強い： 数ヶ月先や数年先のトレンドも、日々のリズムも、両方同時に捉えることができます。
• 非定常な変化に強い： 予期せぬ急激な変化（パンデミックや経済危機など）にも、柔軟に対応できます。
• 効率的： 無駄な計算を省き、少ないリソースで高い精度を出せます。

📝 まとめ

MoHETS は、**「時間の流れを、万能な一人の天才ではなく、得意分野を持つ専門家チームで分析する」**という発想の転換を実現しました。

まるで、複雑な交響曲を聴くとき、指揮者（AI）がヴァイオリン（リズム）とチェロ（トレンド）のそれぞれの得意な奏者に任せて、美しい音楽（未来予測）を生み出すようなものです。これにより、私たちが直面する複雑な未来を、より正確に、より早く見通せるようになるのです。

技術概要

MoHETS: 混合異種専門家（Mixture-of-Heterogeneous-Experts）を用いた長期時系列予測の技術的サマリー

本論文は、実世界の多変量時系列データが持つ複雑なマルチスケール構造（グローバルなトレンド、局所的な周期性、非定常性など）を効率的に捉えるための新しいモデルMoHETS（Mixture-of-Heterogeneous-Experts for Time Series）を提案しています。従来のTransformerベースのモデルが抱える課題を解決し、長期予測において最先端（SOTA）の性能を達成しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

• 課題: 実世界の時系列データは、グローバルなトレンド、局所的な周期性、非定常な変動、および外生的な要因が混在しており、単一の均質な処理機構（例：標準的なMLP）ではこれらを同時に効率的にモデル化することが困難です。
• 既存手法の限界:
  • Transformer の均質性: 標準的なTransformerは、すべてのトークンに対して同じMLP（Feed-Forward Network）を適用します。これは自然言語処理（NLP）には適していますが、異なる時間的ダイナミクス（高周波のノイズと低周波のトレンドなど）を持つ時系列データには「万能型」のアプローチが非効率であり、パラメータの無駄や最適化の失敗を招きます。
  • 既存の MoE（Mixture-of-Experts）: 最近のスパースなMoEアプローチはスケーラビリティを向上させましたが、専門家（Expert）がすべて同一のMLPである「均質な専門家」に依存しています。これでは、時系列特有の「トレンド」と「周期性」を構造的に分解して学習することができません。
  • 非定常性と外生変数: 既存のモデルは、カレンダー情報や気象データなどの外生変数（Covariates）を単純に結合するだけで、時系列パッチとのクロスモーダルな相互作用を十分にモデル化できていません。

2. 提案手法：MoHETS のアーキテクチャ

MoHETS は、エンコーダのみのTransformerアーキテクチャを採用し、以下の主要な技術的革新を組み合わせています。

2.1. 混合異種専門家（Mixture-of-Heterogeneous-Experts: MoHE）

これが本モデルの中核となる革新です。従来の均質なMLP専門家の代わりに、時系列の異なる特性に特化した構造的に異なる専門家を混合して使用します。

• 共有専門家（Shared Expert）: 深度方向の畳み込み（Depthwise Convolution）を使用。シーケンス全体にわたる連続的なトレンドやグローバルな依存関係を捉える役割を担います。
• ルーティング専門家（Routed Experts）: フーリエ解析に基づくネットワーク（Fourier-based Experts: FA-FFN）を使用。パッチレベルの局所的な周期性や高周波パターンを捉える役割を担います。
• 動作原理: 入力された時間パッチは、ゲート機構によって、その信号特性（トレンド性か周期性か）に応じて、最適な専門家のサブセット（共有専門家＋K 個のルーティング専門家）に動的にルーティングされます。これにより、モデルは時系列のマルチスケール構造を構造的に分解して学習できます。

2.2. マルチモーダルクロスアテンション（Multimodal Cross-Attention）

• 外生変数（気象、カレンダー情報など）をエンコードし、エンドジェナスな時系列データと統合します。
• 自己アテンションの出力をクエリ、外生変数のパッチ埋め込みをキー・バリューとして、クロスアテンションを適用します。
• これにより、モデルは「休日」や「天候の急変」などの文脈情報を、現在の時系列状態に基づいて動的に参照・統合でき、非定常な変動に対するロバスト性が向上します。

2.3. 軽量な畳み込みパッチデコーダ

• 従来の重たい線形投影ヘッド（Linear Projection Head）を廃止し、軽量な畳み込みベースのパッチデコーダを採用しました。
• これにより、パラメータ数の削減、トレーニングの不安定性の低減、および任意の予測ホライズン（予測期間）への汎化能力が実現されました。

2.4. その他の技術的要素

• パッチング（Patching）: 時系列をパッチに分割して処理し、計算複雑度を低減しつつ局所的な意味を保持。
• RMSNorm と RoPE: 訓練の安定化と、未見の未来のホライズンへの外挿能力向上のため、RMSNorm と回転位置埋め込み（RoPE）を使用。
• 損失関数: 外れ値に強い Huber Loss を予測損失として採用し、スパースなMoE構造におけるルーティング崩壊（Routing Collapse）を防ぐための補助的な負荷分散損失（Load Balancing Loss）を併用。

3. 主要な貢献

1. MoHE の導入: 時系列データの内在的な分解（トレンドと周期性）に合致するよう、構造的に異なる専門家（畳み込みとフーリエ変換）を混合した「混合異種専門家」戦略を初めて提案。
2. 外生変数の統合: 静的な外部文脈と動的な時系列パッチ間の相互作用を明示的にモデル化するマルチモーダルクロスアテンションモジュールの設計。
3. 効率的なデコーダ: 線形ヘッドに代わる畳み込みパッチデコーダによるパラメータ効率の向上と、任意の予測長への対応。
4. SOTA 性能の達成: 7 つの多変量ベンチマークデータセットにおいて、既存の最先端モデルを凌駕する性能を達成。

4. 実験結果

• ベンチマーク: ETTh1/2, ETTm1/2, Weather, ECL, Traffic の 7 つのデータセットで評価。
• 性能: 平均して、強力なベースライン（TimeXer, SOFTS など）と比較してMSE が 12% 削減されました。
  • 特に季節性が強いデータセット（ETTh1, ETTm2）や、交通データ（Traffic）において顕著な改善が見られました。
  • 長期予測（H=720）においても、TimeXer や TimeMixer などのモデルを上回る安定した性能を示しました。
• アブレーション研究:
  • MoHE の有効性: 均質なMLP専門家のみのモデルと比較し、MoHE（DwConv + FA-FFN）は平均 MSE で最大 18.5% の改善をもたらしました。
  • エンコーダのみ: デコーダベースよりもエンコーダベースの方が、長期予測の誤差蓄積を抑制し、性能が優れていることが確認されました。
  • 外生変数: カレンダー情報などの外生変数を組み込むことで、非定常性に対するロバスト性が向上しました。

5. 意義と結論

MoHETS は、時系列予測において「時系列は言語ではない（Time is not language）」という視点に立ち、NLP 由来の均質なTransformerアーキテクチャの限界を克服しました。

• 構造的な分解: グローバルなトレンド（畳み込み）、局所的な周期性（フーリエ）、および長距離依存（アテンション）をそれぞれ最適な演算子で処理する「構造的な労働分担」を実現しました。
• 実用性: 外生変数の統合や、任意の予測長への対応、パラメータ効率の向上により、エネルギー管理、気候分析、金融計画など、実世界の複雑な意思決定タスクにおいて即戦力となるスケーラブルでロバストなフレームワークを提供します。

本論文は、時系列予測の分野において、単なるモデルの巨大化ではなく、時系列データの本質的な特性に即したアーキテクチャ設計の重要性を示す重要な一歩となっています。