Optimization of randomized neural networks for transfer operator approximation

技術概要：転送作用素近似のためのランダム化ニューラルネットワークの最適化

問題定義
転送作用素（例えば、クープマン作用素やペロン・フロベニウス作用素）のデータ駆動型近似は、分子動力学におけるメタ安定状態や流体流れにおけるコヒーレント構造など、複雑な力学系の全球挙動を解析する上で不可欠である。拡張ダイナミックモード分解（EDMD）などの従来の手法は、多項式やガウス関数などの固定された基底関数の辞書に依存しており、その最適な選択は系に依存し、しばしば未解決の問題となっている。ニューラルネットワーク（NN）はこれらの辞書を学習できるが、完全に訓練されたネットワークは計算コストの高い逆伝播を必要とし、収束の遅さ、局所解、勾配の不安定性などの問題に悩まされる。

ランダム化ニューラルネットワーク（以前に提案された RaNNDy など）は、隠れ層の重みとバイアスを固定し、出力層のみを閉形式解によって訓練することで、これらの計算コストに対処する。しかし、このアプローチには重大な限界がある：近似の品質は、重みとバイアスの初期ランダム選択に完全に依存する。ランダムに生成された基底関数が系の固有関数を正確に表現できない場合、得られる作用素近似は不十分となり、標準的な RaNNDy 枠組み内にはこれを修正するメカニズムが存在しない。

手法
著者は、RaNNDy のランダム化基底を最適化するアルゴリズムを提案する。これは、活性化関数のハイパーパラメータと、重みおよびバイアスがサンプリングされる分布を調整するものであるが、一度サンプリングされたネットワークの構造的パラメータ（重みとバイアス）は固定されたままとする。

1. パラメトリック活性化と基底: この手法は、基底関数の定義に調整可能なパラメータ $\omega$（例えば、重み/バイアスの分布のスケール、または $\tanh$ のようなパラメトリック活性化関数のパラメータ）を導入する：$\psi(x, \omega) = \sigma(W(\omega_W)x + b(\omega_b), \omega_a)$。
2. 変分最適化: アルゴリズムは、レイリーの変分原理を利用して損失関数を定義する。自己共役作用素（可逆系）の場合、投影された作用素の固有値の和を最大化することを目的とする。非自己共役作用素（非可逆系）の場合、特異値を近似するために、投影された前方・後方作用素のトレースを最大化する。
   • 損失関数は $L(\omega) = \text{tr}(\hat{A}(\omega))$ として定式化され、ここで $\hat{A}(\omega)$ はデータ駆動型の共分散行列および相互共分散行列（$\hat{C}_{00}, \hat{C}_{01}$ など）から構成される。
3. 最適化ループ: ハイパーパラメータ $\omega$ は、作用素近似のトレースを最大化するために、勾配降下法またはベイズ最適化を用いて反復的に更新される。$\omega$ が最適化されると、出力層の重みは固有値問題の閉形式解によって計算され、ランダム化ネットワークの計算効率性が維持される。

主な貢献

1. 新規最適化アルゴリズム: 本論文は、活性化関数のハイパーパラメータと分布のスケールを調整することにより、RaNNDy のランダム化基底を最適化する手法を導入し、完全にランダム化されたネットワークと完全に訓練されたネットワークの間のギャップを埋める。
2. 多様な系への適用: このアプローチは、3 つの異なるベンチマーク問題で検証された：
   • グラフォン上のランダムウォーク: データからグラフォンと遷移密度を再構成する能力を実証。
   • ビッキージェット: コヒーレント集合を検出するための流体力学のベンチマーク。
   • タンパク質 NuG2: 折りたたみ・展開遷移を解析するための高次元分子動力学データ。

結果
数値実験は、固定された不適切に初期化されたランダム基底を使用する場合と比較して、活性化パラメータの最適化が近似精度を著しく向上させることを示している：

• グラフォン: アルゴリズムは 20 世代未満で収束し、3 つのメタ安定集合に対応するスペクトルギャップを正しく同定した。最適化された基底により、グラフォンと遷移密度の正確な再構成が可能となった。対照的に、固定分布のグリッド探索は効果が低く、学習率の高い完全に訓練されたネットワーク（VAMPnets）は発散するか、局所解に陥った。
• ビッキージェット: この手法は、最適化された特異関数をクラスタリングすることにより、コヒーレント集合を成功裡に検出した。アルゴリズムは 10 回未満の反復で収束し、初期のランダム基底よりも効果的に系のコヒーレント構造を明らかにした。
• タンパク質 NuG2: 最適化された基底は、支配的な固有値と固有関数を正確に捉え、タンパク質の折りたたみ状態と展開状態を区別した。初期のランダム基底は不十分な近似をもたらしており、提案された最適化の必要性を浮き彫りにした。

意義と主張
著者は、この研究を完全にランダム化されたネットワークと完全に訓練されたニューラルネットワークの間の「妥協点」として位置づけている。その意義は、RaNNDy の計算上の利点（閉形式解、隠れ層の逆伝播なし、低い訓練コスト）を維持しつつ、その主要な弱点である基底関数の初期ランダム選択への感応性を軽減することにある。

本論文は、隠れ層の重みとバイアスの分布を調整することは、完全なネットワークを訓練する場合と比較して単純な損失地形のためにより容易であり、ベイズ最適化のようなアルゴリズムの使用を可能にすると主張している。著者は控えめに、現在の研究は特定の活性化パラメータに焦点を当てているが、将来的にはより多くのハイパーパラメータを持つ活性化関数の検討や、より複雑な力学系における体系的な実行時間の比較を通じて、ランダム化アプローチのトレードオフをさらに評価する可能性を示唆している。