技術的概要：CAffNet（硬制約アフィンニューラルネットワーク）

問題定義

ニューラルネットワーク（NN）は、複雑な非線形関数の近似において驚異的な表現能力を有しており、自動運転車、ロボティクス、航空宇宙などの安全性が重要な分野において価値あるものとなっています。しかし、学習されたコントローラーが形式的な硬制約の満足を確実に保証することには、依然として重大な課題が残っています。

既存のアプローチには特定の限界があります：

• 軟制約： ペナルティベースの手法は安全な出力を促しますが、特に限られた訓練データや分布外のエッジケースにおいては、満足を保証するものではありません。
• 事後処理： 訓練後に制約を強制すると、最適性が損なわれる可能性があります。
• 入力非依存の硬制約： C-DGM や RAYEN などの手法は一般的な制約を処理しますが、実行可能集合が入力に依存しないと仮定しています。
• 入力依存の硬制約： 最近の研究（POLICE、KKT-hPINN、HardNet-Aff など）は入力依存の制約に対処していますが、重要な制限に直面しています。具体的には、HardNet-Affは制約行列 $A(x)$ が行フルランクであると仮定しています。これにより、制約の数が出力次元に制限され、制約が線形従属である場合に失敗し、出力が実行可能領域の外に投影される可能性があります。さらに、これらの手法は、制約行列が列フルランクでない場合に、一意ではない投影に対してしばしば困難に直面します。

手法：CAffNet フレームワーク

著者らは、標準的なフィードフォワードまたはトランスフォーマーアーキテクチャに学習可能な制約アフィン（CAffine）層を組み込む、閉形式のフレームワークであるCAffNet（Hard Constraint-Affine Neural Networks）を提案します。このフレームワークは、以下の形式の入力依存アフィン不等式制約を強制します：
$$A(x)y \leq b(x)$$
ここで、$x$ は入力、$y$ は出力であり、制約の数（$m$）や $A(x)$ のランクに制限はありません。

コアコンポーネント

1. 制約分解：
   任意の数の制約を処理するために、この手法は制約集合をより小さな部分集合（部分制約）に分解します。多面体の幾何学に触発され、著者らは実行可能領域が最小面によって定義され、それには最大でも $n_{out}$ 個の線形独立な制約が必要であると観察します。この手法は、部分行列 $A_\gamma$ と部分ベクトル $b_\gamma$ を形成するために、$k$ 個の制約の組み合わせ（ただし $1 \leq k \leq \min(m, n_{out})$）を考慮します。

2. ヌル空間を備えた学習可能な投影：
   各部分制約 $\gamma$ に対して、フレームワークは以下の閉形式の式を用いて投影 $P_\gamma(x)$ を計算します：
   $$P_\gamma(x) = f_\theta(x) - A_\gamma^\dagger(x)(A_\gamma(x)f_\theta(x) - b_\gamma(x)) + (I - A_\gamma^\dagger(x)A_\gamma(x))w_\phi(x)$$

   • $f_\theta(x)$：制約のないニューラルネットワークの出力。
   • $A_\gamma^\dagger(x)$：部分制約行列のモーア・ペンローズ擬似逆行列。
   • $w_\phi(x)$：ニューラルネットワークによってパラメータ化された学習可能なヌル空間成分。

   項 $(I - A_\gamma^\dagger A_\gamma)w_\phi(x)$ は決定的に重要です。制約が線形従属である場合（一意でない解空間が生じる場合）、この項はネットワークが単に直交投影に依存するのではなく、ヌル空間内で最適な点を学習することを可能にします（例えば、実行可能なエッジや面上の特定の点を選択するなど）。

3. 実行可能な候補の選択：
   最終出力 $P^*(x)$ は、制約のない出力 $f_\theta(x)$ からの距離を最小化する、すべての有効な投影の集合 $S_P(x)$（$A(x)y \leq b(x)$ を満たすもの）から選択されます。制約のない出力がすでに実行可能である場合、それは直接使用されます。

主要な貢献

1. 閉形式による硬制約の強制： CAffNet は、制約行列 $A(x)$ が行フルランクである必要なく、任意の数の入力依存アフィン不等式制約の硬満足を保証します。
2. 分解によるロバストな投影： 制約分解と学習可能なヌル空間モジュールを導入することで、この手法は線形従属な制約と一意ではない投影を処理し、HardNet-Aff などの以前の投影ベースの手法の限界を克服します。
3. 万能近似性： 著者らは、CAffNet が基盤となるニューラルネットワーク（フィードフォワードおよびトランスフォーマーの両方）の万能近似性を保持することを証明しました。このフレームワークは、制約付き実行可能集合内の任意の連続関数を近似できます。
4. スケーラビリティ（CAffNet-Lite）： 計算複雑性を緩和するため、すべての組み合わせではなく最小面（頂点）に探索空間を制限する縮小版 CAffNet-Lite が提案されました。これにより、制約の数に対する複雑性が指数関数的から多項式的に削減されます。

実験結果

この論文は、標準的な軟制約付き NN および HardNet-Aff と比較して、CAffNet を 3 つのシナリオで検証しました：

1. 区分的制約を伴う非線形関数の学習：

   • CAffNet の変種はすべての制約を厳密に満足しましたが、NN と HardNet は違反を示しました。
   • CAffNet-TF（トランスフォーマーベース）は最低の平均二乗誤差（MSE）を達成し、軟制約付き NN と比較して**73.33%**削減しました。
   • CAffNet はより速い収束率と低い初期損失を示しました。

2. 最適化ソルバーの学習：

   • 不等式制約と等式制約を含む問題において、CAffNet の変種はすべての制約を厳密に満足し（違反率 0%）、NN と HardNet は等式制約で著しく失敗しました。
   • CAffNet-FF は、ベンチマークソルバー IPOPT と同等の目的値を達成しましたが、推論時間が大幅に短く、リアルタイムアプリケーションに適していました。
   • CAffNet-Lite は、フルバージョンと同等のパフォーマンスを達成しながら、訓練およびテスト時間を約 45% 削減しました。

3. 安全性が重要なシステムのための制御方針の学習：

   • 障害物回避を伴うユニサイクルロボット制御タスクにおいて、CAffNet-FF は衝突や制約違反なしに目標に到達することに成功しました。
   • NN と HardNet の両方は、制約違反により障害物に衝突しました。
   • 重要なのは、事後の強制（訓練後にのみ投影を適用すること）はロボットが立ち往生する結果となり、ネットワークパラメータと投影層の間の共同最適化の必要性を実証したことです。

意義と主張

この論文は、CAffNet が安全性が重要なシステムにおけるニューラルネットワークの展開における根本的な未解決課題、すなわち近似精度と証明可能な制約満足性の同時保証に対処していると主張しています。

• 形式的保証： ペナルティベースの手法とは異なり、CAffNet は、実行可能集合が空でない限り、すべての入力に対して出力が制約を満足することを数学的に保証します。
• アーキテクチャの汎用性： このフレームワークは標準的なアーキテクチャ（フィードフォワード NN およびトランスフォーマー）と互換性があり、出力に対する制約空間の次元を制限しません。
• 最適性： ネットワークと投影層を共同で訓練することで、CAffNet は最適な実行可能解を見つけますが、事後処理手法は最適性の欠如や実行不可能性につながる可能性があります。

著者らは、このフレームワークが述べられた仮定の下で強力な保証を提供する一方で、制約の完全性やシステムモデルの精度を本質的に保証するものではないと結論付けています。したがって、現実世界の安全性が重要なアプリケーションへの展開には、独立した検証とドメイン固有の安全性分析が依然として必要です。今後の研究は、アフィン以外の制約へのフレームワークの拡張と、物理的ロボットプラットフォームにおける性能の検証に向けられています。