On a joint simultaneous learning of relevant feature subsets and subspaces in regression-like problems

技術要約：エントロピー最適多様体回帰 (EOMR)

問題提起
本論文は、特にカオス的な動的システムや流体力学の文脈における、非定常かつ非線形な回帰問題のモデリングと予測という課題に取り組んでいる。特定された主要な困難は、「スモールデータ学習の課題」であり、これは特徴空間の次元 ($D$) が利用可能な観測統計量 ($T$) に対して大きい場合に発生する。このシナリオは、流体力学（高価な数値シミュレーションによる）や気候研究（短い観測履歴による）などの分野で一般的である。

著者は、勾配ブースティング決定木、ディープニューラルネットワーク (NN)、およびトランスフォーマーベースのモデル (例: TabPFN) を含む、最先端の人工知能 (AI) および機械学習 (ML) ツールが、これらのレジームにおいて苦戦していると主張している。これらの手法はしばしば以下の問題に直面する：

1. 過学習 (Overfitting): 一般化可能なパターンを学習するのではなく、訓練データを記憶する傾向があり、その結果、テストデータに対して（しばしば自明な「持続的」予測器よりも悪い）性能を示す。
2. 計算のスケーラビリティ: トランスフォーマー型アーキテクチャは、特徴次元とデータサイズの双方に対して二次的にスケールするため、大規模で現実的な問題に対して計算コストが極めて高くなる。
3. モデルの複雑性: これらのツールは、訓練データのサイズと同等かそれ以上の数の調整可能なパラメータを必要とすることが多く、高いメモリおよび反復コストを招く。

手法：エントロピー最適多様体回帰 (EOMR)
本論文は、以前に導入された教師なしのエントロピー最適多様体クラスタリング (EOMC) の教師あり拡張として、エントロピー最適多様体回帰 (EOMR) を提案している。EOMRは、回帰タスクにおける関連する特徴部分集合と部分空間を共同で特定することを目指す。

• 数学的定式化:
  モデルは、特徴ベクトル $X(:, t)$ からスカラーターゲット $Y(t)$ への $K$ 個の「局所的」な写像を仮定している。各写像は以下によって特徴付けられる：
  • 直交する $d$ 次元の線形多様体射影器 $T_k$ （部分空間削減）。
  • 対角重み行列 $W$ （部分集合選択）。ここで、対角要素 $w_i$ は特徴 $i$ が関連している確率を表す。
  • 回帰係数 $\tilde{\theta}_k$。

予測は、エントロピー項によって正則化された、これら局所線形モデルの加重期待値として定式化される。学習目的関数は、以下の要素を含む制約付き最適化問題 ($L_{EOMR}$) を最小化することである：
* 回帰のための最小二乗誤差項。
* 多様体射影の安定性を確保するためのメトリゼーション項（分散のような正則化）。
* モデル確率 $\gamma$ に対する $\phi_1$ および特徴重み $W$ に対する $\phi_2$ というエントロピー正則化項。これらは、スパース性と無偏性を強制する（最大エントロピー原理）。

• 数値解法:
  最適化は、変数を固定しながら他の変数を更新するという、5つのステップを交互に行う部分空間反復アルゴリズムによって解かれる：

  1. 多様体射影器 ($T_k$): スティフェル多様体上のリーマン勾配降下法により解決。
  2. 重心ベクトル ($\mu_k$): サンプル加重平均として解析的に解決。
  3. 回帰係数 ($\tilde{\theta}_k$): 正則化された正規方程式を介して解析的に解決。
  4. モデル確率 ($\gamma$): オイラー＝ラグランジュ原理から導出されたソフトマックス関数を用いて解析的に解決。
  5. 特徴重み ($W$): 高速エントロピー近似 (FEA) に基づく逐次射影勾配法を用いて解決。

• 複雑性:
  アルゴリズムは、部分空間次元 $d \ll D$ である限り、特徴次元 $D$ およびデータサイズ $T$ に対して、反復時間およびメモリ複雑性の両方において線形スケーリングを示す（具体的には $O(KDT)$）。これは、トランスフォーマーベースの手法に見られる二次的なスケーリングとは対照的である。

主な貢献

1. 結合学習: EOMRは、関連する特徴部分集合（$W$ による）と部分空間（$T_k$ による）を同時に学習し、次元削減と特徴選択を単一の確率的枠組みの中で統合する。
2. スケーラビリティ: EOMRは線形な計算およびメモリのスケーリングを提供し、ディープラーニングやトランスフォーマーが実行不可能または非効率である高次元・小データ問題に適している。
3. 解釈可能性とスパース性: エントロピー正則化を利用することで、EOMRはスパースでエントロピー最適なモデルを生成する。それは、システムのダイナミクスを記述するために必要な最小限の特徴集合とパラメータを特定する。
4. カオスにおける堅牢性: 本手法は、グローバルな線形性や定常性を仮定することなく、非定常かつ非線形なダイナミクスを扱うように設計されているが、それらが存在する場合には、単純で因果的かつ弱定常な自己回帰構造を抽出することができる。

実験結果
本論文では、2つの困難なベンチマークを用いてEOMRを評価している：

1. Lorenz-96 システム (F=8 および F=12):

   • タスク: 強カオスおよび極強カオス領域における、システムの主要な基本直交関数 (EOF) の予測。
   • 比較: EOMRを、Lasso正則化多重線形回帰、ランダムフォレスト/XGBoost、ディープニューラルネットワーク、およびTabPFN v3.0と比較した。
   • 知見: ディープラーニングおよび決定木ベースの手法は、テストデータにおいて「持続的」な予測器よりも悪い性能を示し、深刻な過学習を示した。EOMRは $\approx 7 \times 10^{-6}$ の平方根平均二乗誤差 (RMSE) を達成し、これは競合他社よりも数桁低い値であった。さらに、EOMRモデルは、訓練データの複雑さに比べて大幅にスパース（約100個のパラメータ）であったのに対し、他のモデルはデータサイズを超えるパラメータを必要とした。

2. 修正 Hasegawa-Wakatani (mHW) モデル:

   • タスク: トカマクプラズマの端におけるドリフト波乱流ダイナミクスの予測。
   • 知見: Lorenz-96の結果と同様に、標準的なAIツール (NN, RF/XGB, TabPFN) はテストデータ上で失敗し、持続的予測器よりも劣る性能を示した。EOMRは $\approx 4.5 \times 10^{-4}$ のRMSEを達成し、持続的予測器よりもほぼ一桁良く、Lasso MLRよりも大幅に優れた結果となった。
   • モデルの蒸留: EOMRは、複雑なダイナミクスをわずか8個の調整可能なパラメータを持つ単純な線形自己回帰移動平均 (ARMA) モデルへと蒸留した。特定されたモデルは、弱定常かつ因果的（特性多項式の根が単位円の外側にある）であることが証明された。
   • 効率性: 標準的なノートPCにおける単一のEOMR予測には約2ナノ秒を要し、これは予測対象となっている物理プロセスのラグよりも160倍高速である。対照的に、TabPFNは約0.02秒を要し、物理ラグよりも5桁遅い。

意義と主張
本論文は、EOMRが小データ制約下でのカオス的および流体動的システムのモデリングにおける「ゲームチェンジャー」であると主張している。その意義は以下の点にある：

• パラダイムシフト: モデルの容量と複雑性を増大させる「ダブル・ディセント（二重降下）」の傾向に異を唱え、代わりに、より優れた汎化性能を持つエントロピー最適、スパース、かつ単純なモデルを提唱している。
• 実用的有用性: 極めて高い計算効率（ナノ秒規模の予測）により、重いトランスフォーマーベースのモデルでは現在不可能である、高速なカオスシステムのリアルタイムなオンライン予測、最適化、および制御を可能にする。
• 堅牢性: 特定のクラスの複雑なシステムにおいては、「最良」のモデルとは最も複雑なモデルではなく、基礎となる低次元でスパースな構造を正しく特定するモデルであることを示しており、データの多いAIが陥りがちな記憶の罠を回避している。

著者は、EOMRが、非定常、非線形、およびカオス的な環境における回帰のための、堅牢で解釈可能、かつ計算可能な代替手段を提供すると結論付けている。