技術的概要：Lyapunov 関数のモデル化のための単一極値ニューラルネットワーク PolarNet

1. 問題定義

ニューラルネットワークを用いて、証明可能な安定性保証を伴う制御戦略を学習することは、依然として重大な課題である。最近の「ニューラル Lyapunov 制御」手法は、安定性基準を満たすために制御器 $u_\theta$ と Lyapunov 関数 $V_\theta$ を共同で学習することで有望な結果を示しているが、これらの手法は特定の学習時の失敗モードに悩まされている。

特定された核心的な問題は、既存のニューラルネットワークアーキテクチャが正定値関数のモデル化は可能であっても、学習された Lyapunov 関数が厳密に 1 つの臨界点（原点における平衡点）を持つことを構造的に保証していない点にある。漸近安定な系における有効な Lyapunov 関数 $V_\theta$ について、その勾配はすべての $x \neq 0$ に対して $\nabla V_\theta(x) \neq 0$ を満たさなければならない。しかし、標準的な柔軟なアーキテクチャ（例：MLP）は、学習中に誤った局所極小点や鞍点を持つ関数を学習しうる。

このアーキテクチャ上の欠陥は、特定の失敗シナリオをもたらす：

1. ネットワークは、点 $P$ や $Q$ などの複数の局所極小点を持つ $V_\theta$ を学習する。
2. 制御器 $u_\theta$ は、$\dot{V}_\theta \geq 0$ の経験的リスクを最小化するように学習される。もし系のダイナミクスが状態を誤った平衡点（$\dot{x}=0$ かつ $\nabla V_\theta=0$ となる点）に落ち着くことを許す場合、損失項は消滅する。
3. その結果、学習プロセスは停止し、経験的損失が収束を示唆しているにもかかわらず、合成された制御器は大域的漸近安定性を保証できなくなる。

損失マージンの追加や反例の能動的な探索などの既存の緩和戦略は、この問題を軽減するが、最適化ヒューリスティックに依存し構造的保証に基づかないため、根本的には解決しない。

2. 手法：PolarNet

これに対処するため、著者らは「単一臨界点」の性質を構造的に強制するように設計されたニューラルネットワークアーキテクチャであるPolarNetを提案する。

2.1 理論的基盤

この手法は、漸近安定な平衡点に対する有効な Lyapunov 関数（具体的には「単極関数」）は、滑らかに可逆な写像のユークリッドノルムの二乗として表現できるという重要な数学的洞察に基づいている。

• 定義 3（単極関数）： 関数 $V(x)$ が単極関数であるとは、$C^\infty$ 級に滑らかであり、正定値（$V(0)=0, x \neq 0$ に対して $V(x)>0$）であり、$x=0$ に厳密に 1 つの臨界点を持ち、かつ真（準レベル集合がコンパクト）であることと定義する。
• 定理 1： 原点に非退化な臨界点を持つ任意の単極関数 $V(x)$ に対して、$V(x) = \|\Psi(x)\|^2$ となるような、$C^\infty$ 級に滑らかで可逆かつ零点を通過するベクトル値関数 $\Psi(x)$ が存在する。
• 定理 2： $\Psi(x)$ が $C^\infty$ 級に滑らかで、零点を通過し、かつ可逆な写像であれば、$V_\theta(x) = \|\Psi(x)\|^2$ は（有限である限り）特定のパラメータ値に関わらず、単極関数であることが保証される。これにより、すべての $x \neq 0$ に対して $\nabla V_\theta(x) \neq 0$ が保証される。
• 定理 3： 局所リプシッツな動的系の任意の漸近安定な平衡点に対して、単極関数でもある Lyapunov 関数が存在する。これは、PolarNet が理論的にそのような任意の系に必要な Lyapunov 関数を近似する能力を有することを確立する。

2.2 ネットワークアーキテクチャ

PolarNet は、可逆ニューラルネットワーク（INN）の一種であるアフィン結合フローを用いて写像 $\Psi(x)$ を実装する。

• 構造： ネットワークは $L$ 層から構成され、各層 $h^{(l)}$ は入力 $y$ を 2 つの部分（$y_{\leq k}$ と $y_{>k}$）に分割する。一方の部分は変更なく通過し、他方は最初の部分に対して作用するニューラルネットワーク $f_s$ と $f_t$ によってスケーリングおよびシフトされたアフィン変換を通じて変換される。
• 可逆性： このアーキテクチャは、構造的に数学的に可逆となるように設計されている。
• 零点通過制約： $\Psi(0)=0$（$V(0)=0$ に必要）を確保するため、各層の翻訳関数 $f_t$ は、バイアス項を持たないマルチレイヤーパーセプトロン（MLP）として実装され、零点を通過する活性化関数（tanh）が使用される。
• 滑らかさ： すべての活性化関数は滑らか（tanh）であり、これにより結果として得られる $V_\theta$ が $C^\infty$ 級に滑らかであることが保証される。

最終的な Lyapunov 関数は $V_\theta(x) = \|\Psi(x)\|^2$ として計算される。

3. 主要な貢献

1. 失敗モードの特定： 本論文は、構造的保証の欠如が誤った平衡点や学習の停滞をもたらすニューラル Lyapunov 制御における特定の学習時振る舞いのクラスを特定し、特徴づけた。
2. PolarNet アーキテクチャ： 単一臨界点の性質を構造的に強制する新規ネットワークアーキテクチャの提案。これにより、学習された関数が設計上、Lyapunov 関数の有効な候補（$x \neq 0$ に対して $\nabla V \neq 0$ を満たす）となることを保証する。
3. 理論的保証：
   • PolarNet が常に単極関数を生成することを証明。
   • 普遍性の証明：PolarNet は任意の単極関数（したがって漸近安定系における任意の有効な Lyapunov 関数）を任意の精度で近似できることを証明。
4. ドロップイン代替： PolarNet を、学習目的やアルゴリズムを変更することなく、既存のニューラル Lyapunov 制御フレームワークにおける既存のネットワークバックボーンの直接の代替として使用できることを実証。

4. 実験結果

著者らは理論的主張を検証するために数値実験を実施した：

• 関数近似（単極性）：

  • 著者らは、PolarNet とベースラインアーキテクチャ（MLP、Lyapunov Net、Wei ら）を、複数の局所極小点を持つスカラー場を適合させるように学習させた。
  • 結果： ベースラインモデルは多極値関数の適合に成功し、それによって単一臨界点の制約を違反した。これに対し、PolarNet は（その構造的制約によって予想される通り）多極値の形状には適合できなかったが、すべてのケースで単一臨界点の性質を維持することに成功した。これにより、PolarNet が誤った局所極小点を生成できないことが確認された。

• 制御器合成：

  • 未知のダイナミクスを持つ 2 次元系という困難な非線形制御問題を用いて、安定化制御器を合成した。
  • ベースライン： 標準的なアーキテクチャ（[21] のようなもの）を使用すると、学習は系の安定化に失敗した。学習された Lyapunov 関数は複数の局所極小点を発達させ、制御器が誤った平衡点に留まる原因となった。
  • PolarNet： Lyapunov ネットワークを PolarNet に置き換えることで、学習は正常に収束した。得られた制御器は状態空間全体で系を安定化し、学習された Lyapunov 関数は原点に一意の極小点を維持した。

5. 意義と主張

本論文は、PolarNet がニューラル Lyapunov 制御において以前は見落とされていた失敗モードに対する原理的かつ実用的な解決策を提供すると主張している。安定性保証の負担を最適化プロセスからネットワークアーキテクチャ自体へと移行させることで、PolarNet は学習された Lyapunov 関数が安定性に必要な数学的条件に準拠することを保証する。

著者らは、PolarNet を単一臨界点の性質を構造的に強制する最初のアーキテクチャとして位置づけている。彼らは、このアプローチが反例生成などのヒューリスティックな学習戦略とは異なり、ネットワークが不正な Lyapunov 形状を学習することを根本的に防止するものであることを強調している。

6. 限界

著者らは以下の限界を明示的に指摘している：

• 系のクラス： 理論的保証は、動的系が局所リプシッツであることを仮定している。非リプシッツな系に対しては PolarNet を適用できる可能性があるが、それが有効な Lyapunov 関数を表現できるという保証（定理 3）は成り立たない。
• 範囲： この手法は連続時間系とLyapunov 安定性のために設計されている。離散時間系や他の安定性の定義には現時点では対応していない。
• タスク特異性： PolarNet は、単一の所望の平衡点に対する制御器の合成に最適化されている。複数の安定平衡点の同定を必要とするタスクには設計されておらず、その構造的制約が表現力を制限する可能性がある。