Time series forecasting with Hahn Kolmogorov-Arnold networks

この論文は、Hahn 多項式に基づく学習可能な活性化関数を用いた Hahn-KAN（HaKAN）を提案し、変換器の計算量制限や MLP のスペクトルバイアスを克服しながら、多変量時系列予測において最先端の手法を上回る軽量かつ解釈可能なモデルを実現したことを述べています。

要約

🌟 ハカン（HaKAN）とは？

「未来を予知する、賢くて軽い魔法の眼鏡」

これまでの AI は、未来を予測する際に 2 つの大きな問題を抱えていました。

1. Transformer（トランスフォーマー）系： 非常に頭が良いけど、計算が重すぎて時間がかかる（例：100 人の会話の全員の関係性を一度に整理しようとするので、部屋がパンクする）。
2. MLP（多層パーセプトロン）系： 計算は軽いけど、複雑な曲線や急激な変化を捉えるのが苦手（例：直線的な道しか走れない車）。

HaKANは、この「重さ」と「単純さ」の両方を克服した、**「軽くて、かつ複雑な曲線も自由自在に描ける新しい AI」**です。

---

🔍 どうやって動くの？（3 つの魔法のステップ）

HaKAN がデータを処理する仕組みを、**「長編小説を要約して未来を予測する」**ことに例えてみましょう。

1. 本を「章」に分ける（パッチング）

長い時系列データ（例えば 1 年分の天気データ）を、いきなり全部読もうとすると疲れてしまいます。
HaKAN は、データを**「小さな章（パッチ）」**に切り分けます。

• 比喩： 1 冊の分厚い本を、10 ページずつの「章」に分ける作業です。これにより、AI は全体像を見つつも、細部（その章の出来事）に集中できます。

2. 2 つの視点で読む（ハーン・カン・ブロック）

ここがこのモデルの最大の特徴です。AI は、分けた「章」を 2 つの視点で読みます。

• 視点 A：その章の中を詳しく読む（Intra-Patch）
  • 役割： 「この 10 ページの間に、どんな急な変化や細かいニュアンスがあったか？」を捉えます。
  • 比喩： 小説の 1 章の中で、登場人物の表情の変化や、短い会話のニュアンスを深く読み解くこと。
• 視点 B：章と章のつながりを読む（Inter-Patch）
  • 役割： 「前の章と今の章、そして全体のストーリーの流れはどうなっているか？」を捉えます。
  • 比喩： 第 1 章から第 10 章まで通して、「主人公がどう成長したか」という大きな流れ（トレンド）を理解すること。

この 2 つの視点を同時に使うことで、「細かい急変」と「長いトレンド」の両方を完璧に予測できます。

3. 魔法の「ハーン多項式」を使う（KAN の正体）

ここで使われているのが**「ハーン多項式（Hahn Polynomials）」**という数学的なツールです。

• 従来の AI： 固定された「直線」や「決まった形」しか描けませんでした（MLP の弱点）。
• HaKAN： **「学習できる魔法のペン」**を持っています。
  • 比喩： 普通のペン（固定の機能）ではなく、**「書く内容に合わせて、自分の形を自在に変えられるペン」**です。
  • これにより、複雑に曲がりくねったデータ（株価の急落や天気の急変）も、滑らかに描くことができます。しかも、このペンは**「計算が非常に軽くて速い」**という魔法も持っています。

---

🏆 なぜ HaKAN はすごいのか？

実験の結果、HaKAN は以下の点で他の AI を凌駕しました。

1. 正確性： 天気、電力、交通量などのデータで、既存の最強の AI たちよりも**「より正確に未来を予測」**できました。
2. 軽さ： 複雑な計算（Transformer のような重さ）をせずとも、高い精度を出せます。スマホや小さなサーバーでも動かしやすいです。
3. 透明性： 「なぜその予測をしたのか」が、使っている「魔法のペン（ハーン多項式）」の形からある程度推測でき、ブラックボックスになりにくいという利点もあります。

💡 まとめ

HaKANは、「長い物語（データ）」を「小さな章」に分け、「細部」と「全体」の両方を同時に読み解き、さらに「形を変えられる魔法のペン」を使って、最も自然な未来の続きを書き出す AIです。

これにより、私たちはより正確で、かつ計算コストの低い形で、未来の天気やエネルギー需要、経済の動きを予測できるようになるかもしれません。

技術概要

ハーン・コルモゴロフ・アルノルド・ネットワーク (HaKAN) による時系列予測の技術的サマリー

本論文は、多変量長期時系列予測タスクにおいて、従来のトランスフォーマーや MLP ベースのモデルの限界を克服する新しいフレームワーク「HaKAN (Hahn Kolmogorov-Arnold Network)」を提案するものです。コルモゴロフ・アルノルド表現定理に基づき、ハーン多項式 (Hahn Polynomials) を用いた学習可能な活性化関数を導入することで、計算効率、解釈性、そして高精度な予測性能を両立させています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義と背景

時系列予測は、小売、エネルギー、医療、金融など多岐にわたる分野で重要ですが、複雑な時間的パターンの捕捉と長距離依存関係のモデル化、そして計算効率の維持という課題に直面しています。

• トランスフォーマーベースモデルの限界: 自己アテンション機構により長距離依存性を捉える能力がありますが、系列長に対して二次的な計算複雑度 ($O(L^2)$) を持ち、時系列データの因果性を自然に保たない「置換等変性 (permutation-equivariant)」という問題があります。
• MLP ベースモデルの限界: 計算コストは低いですが、線形変換に依存するため非線形な時間的ダイナミクスを捉えるのが難しく、高周波成分のモデル化に制限がある「スペクトルバイアス (spectral bias)」を示します。
• 既存の KAN の課題: 近年注目されているコルモゴロフ・アルノルド・ネットワーク (KAN) は学習可能な活性化関数によりスペクトルバイアスを緩和しますが、標準的な B-スプラインベースの実装ではグリッド離散化が必要であり、計算コストとパラメータ数が増大する傾向があります。

2. 提案手法：HaKAN のアーキテクチャ

HaKAN は、チャネル独立性、パッチング、およびハーン多項式をパラメータとする KAN レイヤーを統合した階層的なアーキテクチャです。

主要コンポーネント

1. チャネル独立性 (Channel Independence):
   多変量時系列の各変数を独立して処理します。これにより、各変数固有の時間的ダイナミクスを保持し、ノイズや異なるスケールによる干渉を防ぎます。
2. パッチング (Patching):
   入力系列をパッチ（サブ系列）に分割します。これにより計算効率を向上させ、局所的な時間的パターンをより効果的に捉えます。
3. Hahn-KAN ブロック:
   提案モデルの中核となるブロックで、以下の 2 つの KAN レイヤーを直列に配置し、残差接続で結合しています。
   • Inter-Patch KAN レイヤー: パッチ間の関係をモデル化し、ルックバックウィンドウ全体にわたるグローバルな時間的パターンを捉えます。
   • Intra-Patch KAN レイヤー: 各パッチ内部の関係をモデル化し、ローカルな微細な時間的パターン（急激な変化など）を捉えます。
4. ハーン多項式によるパラメータ化:
   標準的な KAN が B-スプラインを使用するのに対し、HaKAN はハーン多項式を用いて活性化関数をパラメータ化します。
   • 利点: グリッド離散化が不要であり、再帰的な関係式により高速に評価可能です。
   • 計算複雑度: 標準 KAN の $O(d_{in}d_{out}[9d(G+1.5d)+2G...])$ に比べ、HaKAN は $O(d_{in}d_{out}d)$（$d$ は多項式の次数）と大幅に簡素化され、MLP と同等の効率性を維持しつつ KAN の柔軟性を保持します。
5. ボトルネック構造:
   出力層で特徴ベクトルを一度圧縮（ダウンプロジェクション）し、予測期間 $T$ まで拡張（アッププロジェクション）する 2 層の全結合層を使用します。これにより過学習を防ぎ、計算コストを削減します。

3. 主要な貢献

1. HaKAN フレームワークの提案: 多変量長期時系列予測向けに、ハーン多項式をパラメータとする KAN レイヤーを統合した新しいフレームワークを提案。
2. 階層的な Hahn-KAN ブロックの設計: Inter-Patch（グローバル）と Intra-Patch（ローカル）の両方の KAN レイヤーを組み合わせることで、異なるスケールの時間的パターンを同時に捉えることを可能にした。
3. SOTA 性能の実証: 複数のベンチマークデータセットにおいて、Transformer や MLP ベースの最先端モデルを凌駕する一貫した性能向上を示した。
4. 効率的な KAN 実装: ハーン多項式を用いることで、グリッド依存性を排除し、パラメータ数と計算コストを大幅に削減した軽量な KAN 実装を提供した。

4. 実験結果

Weather, Electricity, Illness, および 4 つの ETT データセット (ETTh1, ETTh2, ETTm1, ETTm2) などで評価を行いました。

• 性能: 32 のケース（データセット×予測長）のうち、MSE で 18 回、MAE で 19 回で最良の結果を記録しました。特に Illness データセットでは、平均 MSE が 8.98%、MAE が 3.96% 改善されました。
• 比較: PatchTST, iTransformer, DLinear, TimeKAN, TsKAN などの強力なベースラインモデルを凌駕しました。
• アブレーション研究:
  • 基底関数: ハーン多項式は、ルカス多項式、チェビシェフ多項式、B-スプラインと比較して、すべての指標で優れた性能を示しました。
  • ブロック数: ブロック数 $R=5$ が性能とパラメータ数のバランスにおいて最適でした。
  • コンポーネント: Intra-Patch レイヤーと Inter-Patch レイヤーの両方が不可欠であり、特に Intra-Patch レイヤーの除去は性能低下が最も顕著でした。
  • MLP 版との比較: KAN レイヤーを全結合層に置き換えた MLP ベースのバリアントと比較し、HaKAN がすべてのデータセットで平均 MSE を低く抑えたことを確認しました。

5. 意義と結論

HaKAN は、時系列予測において「計算効率」と「表現力」のトレードオフを解決する有望なアプローチです。

• 技術的意義: 従来の MLP のスペクトルバイアスやトランスフォーマーの計算コストの問題を、ハーン多項式に基づく KAN によって解決しました。特に、グリッド不要の多項式ベースの活性化関数は、時系列データのような離散ドメインにおける効率的な近似を可能にします。
• 解釈性: 学習可能な活性化関数を持つ KAN の特性により、モデルの決定プロセスに対する解釈性を維持しています。
• 今後の展望: 周波数領域の技術との統合による周期性パターンのモデル化能力のさらなる向上が期待されます。

本論文は、時系列予測分野において、軽量かつ高精度な新しいアーキテクチャの確立に寄与する重要な研究と言えます。