Unsupervised Feature Based Algorithms for Time Series Extrinsic Regression

技術的概要：時系列外部回帰のための教師なし特徴量ベースアルゴリズム

問題定義
時系列外部回帰（TSER）とは、トレーニング用時系列のセットに基づいて連続的な応答変数を推定する予測モデルを構築するタスクであり、応答は系列そのものから直接導出されるものではない（予測とは異なる）。時系列分類（TSC）や予測はよく研究されているが、TSER はそれらに比べて注目度が低い。以前のベンチマーク研究 [5] は 19 の問題のアーカイブを確立し、13 のアルゴリズムを評価した結果、深層学習（InceptionTime）およびカーネルベース手法（ROCKET）が良好な性能を示したが、単一のアルゴリズムが他を著しく凌駕することはなかったと結論付けた。著者らは、モデル精度の向上と初期ベンチマーク以降の進歩の欠如に対処するため、この分野ではさらなる研究が必要であると主張している。

手法
本研究は、以下の 3 つの主要な方法論的ステップを通じて TSER の領域を拡大する。

1. アーカイブの拡張：著者らは TSER ベンチマークアーカイブを 19 から 63 のデータセットに拡大した。この新しいコレクションには、Kaggle コンペティションや応用研究リポジトリから収集された、元の 19 に加えて 24 の単変量データセットと 20 の多変量データセットが含まれる。データセットは、経済分析、エネルギー監視、環境科学、設備の健全性、感情分析など、多様な分野を網羅している。データ前処理には、欠損値の線形補間と不等長の系列の切り捨てが行われた。
2. アルゴリズムの適応と実装：本研究は、最先端の TSC アルゴリズムを回帰タスクに適応させた。核心となる焦点は、変換段階でターゲット変数を使用せずに時系列を特徴量ベクトルに変換する教師なし特徴量ベースのアプローチである。
   • FreshPRINCE：TSFresh 特徴量抽出ライブラリ（約 800 の教師なし特徴量を生成）と Rotation Forest（RotF）回帰器を組み合わせたパイプライン。RotF は、C4.5 分類器を CART 回帰器に置き換え、予測を平均化することで回帰に適応された。
   • DrCIF（Diverse Representation Canonical Interval Forest）：区間ベースのアンサンブル。時系列を元の系列、1 階差分、パワースペクトル密度の 3 つの表現に分割し、これらの表現内でランダムな区間を選択して要約特徴量（Catch22 セットに加え、平均や傾きなどの 7 つの標準統計量）を抽出する。これら連結された特徴量に基づいて CART 回帰器のアンサンブルを訓練する。
   • その他のベースライン：本研究では、標準的な機械学習モデル（Ridge、SVR、Random Forest、XGBoost）、関数線形モデル（FPCR）、距離ベース手法（ユークリッド距離および DTW を用いた kNN）、畳み込み/カーネル手法（ROCKET、MultiROCKET）、深層学習アーキテクチャ（FCN、ResNet、InceptionTime 単体およびアンサンブル、CNN）を含む、合計 21 の回帰器を評価した。
3. 実験設計：統計的な頑健性を確保するため、データセットごとに 30 回のリサンプリング（訓練/テスト分割）を用いて実験を実施した。性能評価には平均二乗誤差の平方根（RMSE）を用いた。統計的有意性は、ホルム補正を施したペアワイズ・ウィルコクソンの符号順位検定により評価し、クリティカル・ディファレンス（CD）図を通じて可視化した。

主要な貢献

1. データセットの拡張：44 の新しいデータセットを公開し、TSER アーカイブの総数を 63 の問題に増やした。
2. アルゴリズムの革新：成功した TSC 手法から適応された、2 つの新しい TSER アルゴリズム、FreshPRINCE および DrCIF を導入した。
3. 包括的なベンチマーク：市販の標準モデル、関数解析、深層学習を含む 21 の異なる回帰器の厳密な評価を行い、この分野に対する新たな基準を提供した。
4. オープンソース：scikit-learn 互換の実装と詳細な再現性ガイドラインの提供。

結果

• ベースラインの再現：元の 19 のデータセットにおいて、本研究は [5] の結果を再現し、単一のアルゴリズムが他を著しく支配することはなかったことを確認したが、より保守的でない統計的補正によりアルゴリズムの順序がわずかに変化した。
• 拡張アーカイブにおける性能：63 データセット全体のアカイブにおいて、Random Forest や Rotation Forest（RotF）などの標準回帰器は、多くの時系列固有の深層学習およびカーネル手法を上回った。特に、RotF はトップクラスの標準アルゴリズムとして浮上した。
• 新規提案の優位性：本研究は、FreshPRINCE および DrCIF が、最上位の標準回帰器（RotF）や深層学習アンサンブル（InceptionTimeE）を含む、テストされた他の 18 の回帰器すべてを著しく上回ることを示している。
  • DrCIF および FreshPRINCE は、平均 RMSE ランクで最低（最良）の値を達成した。
  • InceptionTimeE は特定の問題では頻繁に上位にランクされるが、高い分散と不安定性を示し、他のモデルが成功したデータセットにおいて予測関係を発見できないことが多かった。
  • アブレーション研究：FreshPRINCE について、性能向上は TSFresh 変換と RotF 回帰器の特定の組み合わせに由来することを確認した。TSFresh を他の回帰器（Random Forest や XGBoost など）と組み合わせても、RotF との組み合わせほど結果は得られなかった。
• データ特性：性能はデータ特性によって変動した。DrCIF は短い系列やチャネル数の少ない多変量データで相対的に良好な性能を示したのに対し、FreshPRINCE はより大きなトレーニングセットと 5 つを超えるチャネルを持つデータセットで優れていた。

意義と主張
本論文は、TSER の分野が停滞しており、提案された教師なし特徴量ベースのアプローチが大きな飛躍を表すと主張している。著者らは以下を断言する。

• 以前評価された回帰器のいずれも、標準分類器（特に Rotation Forest）の回帰適応版を上回ることができない。
• FreshPRINCE および DrCIF は、標準的な Rotation Forest 回帰器を著しく上回る唯一のモデルであり、TSER における新たな最先端（SOTA）を確立している。
• トップアルゴリズム間の性能の多様性は、異種アンサンブルが将来の研究にとって有望な領域であることを示唆している。
• 本研究は、より頑健で大規模なベンチマーク（63 データセット）を提供しており、小規模なデータセットから導き出された以前の結論の限界を明らかにしている。

著者らは限界について控えめに言及しており、データがランダムにサンプリングされたものではない（特定の分野が過剰に代表されている可能性）、計算コストの制約によりハイパーパラメータ調整を行わなかった、残差分析などの複雑な診断分析は実施されなかったと指摘している。しかし、教師なし特徴量抽出と頑健なアンサンブル回帰器の組み合わせが現在最も効果的なアプローチであることを実証することで、TSER 分野の進展に重要な貢献を行ったと結論付けている。