技術要約：Attention-Free Transformerを用いたクープマン演算子の学習

問題提起

オートエンコーダ（KAE）を介してクープマン演算子を学習することは、非線形ダイナミクスを解析するための、状態を線形な進化が行われる潜在空間へと持ち上げる（lifting）原理的なアプローチを提供する。KAEはしばしば高い単一ステップ精度を実現する一方で、長期間のロールアウトにおいて誤差が蓄積するという課題に頻繁に直面する。具体的には、軌道が学習された多様体から逸脱し、振動における位相のずれ、振幅の減衰または爆発、そしてアトラクタからの発散を引き起こす。これらの失敗は、以下のシステムにおいて特に顕著である：

1. 連続または混合スペクトルを持つシステム（例：無減衰振動子）。
2. メタステーブルな盆地（metastable basins）間の切り替え。
3. 小さな誤差が急速に累積する過渡的なレジーム。

既存の解決策は、時間的コンテキストを捉えるためにマルチヘッド・アテンション（MHA）に依存することが多いが、MHAは二次的な計算コスト（$O(T^2)$）を伴い、大幅なパラメータオーバーヘッドを加える。さらに、標準的なKAEには、一度ドリフトが始まるとそれを修正するメカニズムが欠けており、長期のホライゾンにおいて壊滅的な失敗を招く。

手法

著者らは、計算効率を維持しながら堅牢性を高めるために設計された2つの補完的なコンポーネント、Attention-Free Latent Memory (AFT) と Dynamic Re-encoding を用いて、標準的なKAEを拡張することを提案している。

1. Attention-Free Latent Memory (AFT)

局所的な位相および振幅のドリフトに対処するため、著者らは、クープマン更新の前に過去の潜在状態の短いウィンドウ（$H_t = [z_{t-T}, \dots, z_{t-1}]$）を集約して、修正された潜在状態（$\tilde{z}_{t-1}$）を生成するAFTブロックを統合している。

• メカニズム: MHAとは異なり、AFTは線形時間（$O(Td)$）で動作し、追加パラメータも最小限である（典型的な設定で約$3d^2 + T^2$、約3万パラメータ）。これは、ドット積アテンションによる二次的なコストを回避するために、学習された線形写像（$W_Q, W_K, W_V$）と位置バイアスを利用して、要素ごとの演算を通じてアテンション重みを計算する。
• 機能: 修正された潜在変数 $\tilde{z}_{t-1}$ は、クープマン演算子 $K$ （$z_t = K \tilde{z}_{t-1}$）に供給される。これは局所的な修正ステップとして機能し、誤差が線形ダイナミクスを通じて伝播する前に、誤差の発散を抑制する。
• バリアント: このブロックは、直接的な潜在状態の置き換えとして、あるいは残差形式（$\tilde{z}_{t-1} = z_{t-1} + \text{AFT}(H_t)$）として適用できる。

2. Dynamic Re-encoding (E–D–E Projection)

蓄積されるドリフトを限定するために、著者らは予測を学習されたオートエンコーダの多様体へ周期的に投影するメカニズムを導入している。

• ドリフト検出: システムは、2つの1ステップ予測（生の潜在変数からの予測 $z_{pred} = K \tilde{z}_{t-1}$ と、再符号化された潜在変数からの予測 $z_{re-pred} = K \phi(\phi^{-1}(\tilde{z}_{t-1}))$）を比較することで、「ドリフト・プロキシ」$\delta_t$ を算出する。この大きな不一致は、軌道が多様体を離れていることを示す。
• ストリーミング・トリガー: 軽量なオンライン変化点検出器が $\delta_t$ を監視する。本論文では4つのトリガー・ファミリーを評価している：
  • ウィンドウ化Zスコア（平均 + 標準偏差）。
  • 指数加重移動平均（EWMA）。
  • CUSUM（累積和）。
  • 逐次二標本テスト（ノンパラメトリック）。
• 修正: トリガーが作動したとき、次のクープマン・ステップの前に、潜在状態はE–D–E投影（$z_{t-1} \leftarrow \phi(\phi^{-1}(\tilde{z}_{t-1}))$）を通じて多様体へと引き戻される。このメカニズムは推論時のみ適用される。

主な貢献

1. クープマン予測のためのAttention-Free Latent Memory: 短い潜在履歴を集約して、伝播前の局所的な誤差を修正する、線形時間かつ低オーバーヘッドのブロック。これは、精度とスケーラビリティの両面で、容量が一致するMHAを凌駕する。
2. ストリーミング検出によるDynamic Re-encoding: 軽量な統計的トリガー（EWMA、CUSUM、二標本テスト）を用いて潜在的なドリフトを検出し、予測を学習された多様体へ投影することで、壊滅的な発散を防ぐ推論時の戦略。
3. 包括的な評価: 3つの代表的なシステム（Duffing振動子、Repressilator、IRMA）および追加のベンチマーク（振り子、Rössler、流体流）を用いた広範なテスト。本研究には、演算子のサイズ、コンテキスト長、およびトリガー・ポリシーに関するアブレーション、ならびにGRUおよびTransformerオートエンコーダとの比較が含まれる。

結果

提案されたモデル（Koopman + AFT、オプションの再符号化付き）は、テストされたすべてのシステムにおいて、ベースラインのKAEおよび容量が一致するMHAモデルと比較して、誤差の蓄積を一貫して減少させている。

• Duffing 振動子（スイッチング/混合スペクトル）: Dynamic re-encodingは、AFT単体や周期的な再符号化よりも大幅に優れた性能を示し、200ステップおよび500ステップにおいて最も低い平均二乗誤差（MSE）を達成した。これは、ポテンシャルの井戸間の切り替えを効果的に処理している。
• Repressilator（クリーンなリミットサイクル）: AFT単体が優れたバリアントである。Dynamic re-encodingはここでは性能を低下させる。なぜなら、トリガーによって導入される不必要な位相のリセットが、滑らかな振動を損なう可能性があるためである。AFTは、MHAよりも約5〜6倍低いMSE値を達成している。
• IRMA（高次元フィードバック）: Dynamic re-encodingは最も堅牢な性能を提供し、バニラのKAEに見られる発散（1000ステップで失敗する）を防ぐ。AFT単体では劣化が始まる場面でも、低い誤差蓄積を維持している。
• RNN/Transformerとの比較: GRUおよびTransformerオートエンコーダはコンテキストの恩恵を受けるものの、クープマンベースのアプローチと比較すると、長期ホライゾンにおいて劣る。Koopman+AFTモデルは、著しく低い長期ホライゾン誤差を、大幅に低い推論レイテンシ（例：IRMAにおいてTransformerの約491msに対し、約13ms）で達成している。
• 効率性: AFTブロックはわずか約3万個のパラメータしか追加せず、線形計算量を維持しているため、組み込みモニタリングや高速なシミュレーションに適している。

意義と主張

本論文は、学習された多様体上に留まることで、長期ホライゾンにわたって安定性を維持する高速かつコンパクトな予測器を提供すると主張している。その意義は以下の通りである：

• 実用的な堅牢性: 複雑なアテンション機構に代わる実用的な選択肢を提供し、線形計算コストでより高い長期ホライゾンの忠実度を実現している。
• 直交するメカニズム: AFT（局所的な誤差成長の防止）と再符号化（蓄積されるドリフトの限定）の組み合わせは、異なる失敗モードに対処しており、モデルが滑らかなリミットサイクルと複雑なスイッチング・ダイナミクスの両方に適応することを可能にする。
• 推論時の適応性: ストリーミング・トリガーの使用により、コアとなるクープマン演算子とオートエンコーダの重みを固定したまま、再学習なしにドリフトに適応できる。

著者らは、これらの安定性の主張は経験的なものであることを注記している。すなわち、学習された演算子の収束に関する理論的な保証は提供していない。また、トリガー・ポリシーはハイパーパラメータを導入し、適切に調整されない場合にはクリーンなリミットサイクルに対して有害になり得ることも認めている。本研究は自律システムに焦点を当てており、入力および制御については今後の課題としている。