Robust Sparse Identification of Nonlinear Dynamics via Least Trimmed Squares

技術要約：最小トリムド最小二乗法による非線形ダイナミクスの堅牢なスパース識別

問題提起
スパース識別（SINDy）フレームワークは、観測データから支配的な微分方程式を発見するための著名なデータ駆動型手法である。しかし、標準的なSINDyの実装は、測定ノイズ、そして極めて重要なことに、外れ値に対して非常に敏感である。SINDyは時間微分の近似に有限差分を用いるため、汚染されたデータ点は微分推定を著しく歪ませ、偏った回帰問題や、偽のモデル項の特定を引き起こす可能性がある。Trimmed SINDy、Weak SINDy (WSINDy)、Ensemble SINDy (E-SINDy) といった既存の堅牢なバリアントも提案されているが、これらは限界を抱えている。Trimmedアプローチは、外れ値の検出とスパース回帰を単一の非凸最適化の中で結合させているため、汚染されたサンプルを完全に排除できない可能性がある。WSINDyはノイズへの感度を低減させるが、テスト関数や積分領域の選択における複雑さを導入する。E-SINDyは再サンプリングを通じて安定性を向上させるが、計算コストが高くなる可能性があり、汚染されたサブサンプルからバイアスを継承する可能性がある。

手法：ILTS-SINDy パイプライン
著者らは、外れ値のフィルタリングとスパース回帰を二つの連続したステージへと分離した堅牢な識別パイプラインである ILTS-SINDy を提案している。この「フィルタリングしてからスパース化する」戦略は、これらのタスクを共同で行う手法とは対照的である。

1. ステージ1：反復最小トリムド最小二乗法 (ILTS) によるフィルタリング
   第1ステージでは、モデル適合の前に外れ値を特定し除去することで、データの汚染に対処する。この手法は、反復最小トリムド最小二乗法（ILTS）アルゴリズムを採用している。

• メカニズム: ILTSは、最小の二乗残差の和を反復的に最小化する。これは、データのサブセット上で回帰係数を推定することと、最小の残差を持つ $p$ 個の観測点のみを保持するようにこのサブセットを更新することを交互に行う。
• 結果: このプロセスは、最も一貫性のあるデータポイントに漸進的に集中し、外れ値の場所に関する事前知識を必要とせずに、外れ値の影響を効果的に軽減する。出力は、「洗浄された」データセット（簡約された行列 $\hat{A}$ およびベクトル $\hat{b}$）であり、これには推定されたインライア（内点）のみが含まれる。
• パラメータ選択: インライアの数 $p$ は、既知の外れ値の割合 $q$ に基づいて設定される。中央差分を使用するため、単一の外れ値が最大3つの微分推定（当該の点とその隣接点）を汚染する可能性があることを著者らは指摘している。したがって、$p = (m+1) - \lfloor 3q(m+1) \rfloor$ と設定している。

2. ステージ2：逐次閾値付き最小二乗法 (STLS)
   第2ステージでは、洗浄されたデータセットに対してスパースモデル識別を行う。

• メカニズム: 標準的なSTLSが、フィルタリングされたデータに対して適用される。これは、全候補ライブラリを用いて最小二乗問題を解き、小さな係数をゼロへと閾値処理することで反復的にスパース性を強制する。回帰は、残ったアクティブな項のみを使用して収束するまで再計算される。
• 結果: これにより、初期のデータ汚染に対して堅牢な、支配方程式の簡潔な表現（$\dot{x}_i(t) = \sum \alpha_{i,j} \theta_j(x(t))$）が得られる。

主な貢献

• 分離されたフレームワーク: 主な貢献は、外れ値検出（ILTSによる）とスパース回帰（STLSによる）の構造的な分離である。これにより、スパース推定フェーズにおいて汚染されたサンプルがインライアとして誤分類される可能性がある、結合最適化アプローチに固有のトレードオフを回避できる。
• 深刻な汚染に対する堅牢性: 本手法は、実験における最大20%のデータ汚染を含む、深刻な外れ値汚染を扱うように設計されている。
• アルゴリズムの統合: 本論文は、SINDyアプリケーションに特化した、ILTS (Algorithm 2) と STLS (Algorithm 1) の統合（Algorithm 3）を形式化している。

数値結果
著者らは、SIRモデル、Lorenzシステム、Lotka–Volterraシステムの3つのベンチマーク力学系からの合成データセットを用いて、標準的なSINDy（STLSを使用）およびE-SINDyに対するILTS-SINDyの評価を行った。実験には、変動する加法性ガウスノイズと、2.5%から20%の範囲の $q$（外れ値の割合）を用いた。

• サポート回復精度: ILTS-SINDyは、すべてのシステムおよび条件下で、最も高い平均サポート回復精度を一貫して達成した。標準的なSINDyの性能は汚染の増加とともに著しく低下し、E-SINDyは中程度の堅牢性を示したが、ILTS-SINDyは深刻な汚染下でも1.0に近い精度を維持した。
• 正確な回復率: 重要な指標は、真のスパースパターン（アクティブな項の正しい集合）の正確な回復である。標準的なSINDyは、ほとんどの汚染シナリオで正確な回復に失敗した。E-SINDyは高いサポート精度を示したが、正確な回復率は低かった。これは、軌道は正しく再構成できても、誤ったモデル構造を特定していることを示唆している。対照的に、ILTS-SINDyは優れた正確な回復率を示し、高い外れ値レベルにおいてもSIRシステムに対してはほぼ完璧な回復を、LorenzおよびLotka–Volterraに対しては強い性能を維持した。

意義と主張
本論文は、特にデータ汚染が強い領域において、ILTS-SINDyが既存の堅牢なSINDyバリアントよりも大幅な改善を提供すると主張している。外れ値の前にフィルタリングを行うことで、よりクリーンな回帰問題が生成され、基礎となる支配方程式のより信頼性の高い識別につながる。著者らは、このアプローチが予測精度を向上させるだけでなく、より重要なことに、力学系の正しい構造的発見を保証すると断言している。

現在の範囲については、インライアの数 $p$ を決定するために外れ値の割合 $q$ の正確な知識を前提としていることから、控えめな内容となっている。今後の課題として、$q$ をデータ駆動型で推定するための適応的な手順の組み込み、制御（外部入力）を伴うSINDyへの拡張、および実世界のデータセットでの検証が挙げられている。本論文は、テストされた合成ベンチマークにおける有効性を強調しているが、あらゆる力学系に対する普遍的な適用性を主張するものではない。