技術要約：形状制約のためのニューラル・スラック変数（Neural Slack Variables）

問題提起

科学計算や産業応用（制御システム、クオンツ・ファイナンスなど）において、ニューラルネットワークは、単調性、凸性、あるいは裁定機会の不在といった構造的な法則を満たさなければならない関数を近似することがしばしば求められます。これらの要件は、関数不等式制約（例：$C[f_\theta](x) \geq 0$）として現れ、ドメイン全体で成立する必要があります。

既存の手法には、以下のような重大な限界が存在します：

1. アーキテクチャによる制約: 入力凸ニューラルネットワーク（ICNN）や制約付き単調ニューラルネットワーク（CMNN）などの手法は、構成によって実現可能性を保証しますが、仮説クラスを制限してしまい、学習の硬直化、低周波バイアス、および複雑なデータへの適合性の低下を招くことがよくあります。
2. ソフト制約（ペナルティ法および主双対法）: 標準的なディープラーニングのアプローチでは、損失にペナルティ項を追加するか、主双対（ラグランジュ）法を用いる手法が一般的です。しかし、本論文では**「制約ドリフト（constraint drifting）」**と呼ばれる共通の失敗モードを特定しています。
   • ペナルティ法では、ネットワークがサンプリングされた点において実現可能になると、違反項が消失するため、実現可能性を維持するための勾配が得られなくなります。その後の学習ステップで再び違反が再導入されることがあり、違反が発生してからのみ修正が行われることになります。
   • 主双対法も同様に、相補性条件の下でラグランジュ乗数がゼロになるため、制約の勾配が消失するという問題を抱えています。
   • その結果、モデルは偽の違反を示すことがあり、これは金融（裁定機会のない曲面が必要な場合）や制御（バリア関数が厳密である必要がある場合）のような高リスクな領域では受け入れがたい、脆弱な充足状態となります。

手法：ニューラル・スラック変数（Neural Slack Variables）

著者らは、制約の強制を回帰問題へと変換する、主変数側のソフト制約手法である**ニューラル・スラック変数（NSV）**を提案しています。

コアメカニズム

$C[f_\theta](x) \geq 0$ の違反を直接罰するのではなく、この手法では補助的なニューラルネットワーク $s_\phi$（「ニューラル・スラック変数」）を導入し、これを主ネットワーク $f_\theta$ と共同で学習させます。

1. 実現可能なターゲット: 補助ネットワーク $s_\phi$ は、非負の値を出力するようにアーキテクチャが制約されています（例：$\epsilon + (\cdot)^2$ のような活性化関数を使用）。これにより、$s_\phi(x) \in K = [\epsilon, \infty)^m$ が保証されます。
2. マッチング損失: 主ネットワークの制約プロファイル $c_\theta(x) = C[f_\theta](x)$ は、二次マッチング損失を介してスラック変数 $s_\phi(x)$ に一致するように学習されます：
   $$\mathcal{L}_{slack}(\theta, \phi) = \frac{1}{2} \mathbb{E}_{x \sim U(\Omega)} \left[ \| C[f_\theta](x) - s_\phi(x) \|_2^2 \right]$$
3. 共同最適化: 全体の損失関数は $\mathcal{L}(\theta, \phi) = \mathcal{L}_{data}(\theta) + \rho \mathcal{L}_{slack}(\theta, \phi)$ となります。

主要なダイナミクス

• 勾配の持続性: ペナルティ法では実現可能性に達すると勾配が消失しますが、学習されたスラックネットワーク $s_\phi$ の有限の容量により、マッチング残差 $c_\theta - s_\phi$ が完全には消失しないことが保証されます。これにより、たとえ $c_\theta \geq \epsilon$ であっても、持続的な「アンカリング（固定）」勾配が残り、制約プロファイルが違反へとドリフトすることを防ぎます。
• 変数分離の解釈: この手法は、変数分離の学習された緩和策と見なすことができます。$c_\theta$ を実現可能集合へ正確に投影すること（一般的な制約に対しては計算量的に困難なアーキテクチャを必要とする）の代わりに、実現可能なサロゲート（代理）となる $s_\phi$ を学習し、$c_\theta$ をそれへと誘導します。
• 帰納バイアス: $s_\phi$ のアーキテクチャは、制約プロファイルの形状に対して明示的な帰納バイアスを課します。スペクトル表現力の高いアーキテクチャ（例：SIREN）を $s_\phi$ に採用することで、主ネットワーク $f_\theta$ が高度に表現力豊かであっても、コロケーションポイント間での制約充足を安定させることができます。

実装の詳細

• スケールバランス・マッチング: 制約の広いダイナミックレンジを扱うため、相対的なスケーリングメカニズムを採用しています。具体的には、マッチング損失を $s_\phi$ の大きさで正規化することで、大きな充足マージンが勾配を支配してしまうのを防いでいます。
• 安定化: 差分を取る前に引数に $\text{asinh}$ 変形を適用することで、学習の安定性を向上させています。

主な貢献

1. 新規手法: 実現可能性の要件を、主ネットワークと共同学習される非負の補助ネットワークと結合させる、ソフト制約技術としてのニューラル・スラック変数の導入。
2. ドリフトの診断: ペナルティ法および主双対法における「制約ドリフト」の失敗モードを特定・可視化し、NSVがデータ駆動型の設定においてこれを克服することを実証。
3. 正則性の転移: スラック損失が $s_\phi$ の正則性を制約プロファイル $c_\theta$ に転移させることを実証。これにより、スペクトル表現力の高い主ネットワーク（SIRENやフーリエ特徴量）を使用しても、制約充足を失うことなく利用可能になります。
4. 経験的な優位性:
   • 合成ベンチマーク: 単調性と凸性のタスクにおいて、NSVは高密度グリッド上でゼロの違反を達成しました。これは、ペナルティ法やラグランジュ法が残留違反を残すのと対照的です。
   • データフリーの認証: FOSSIL Barr3 ベンチマーク（ニューラルバリア証明書）において、NSVは、解を固定するためのデータ適合項が欠如しているためにペナルティ法が失敗する場面でも、実現可能性を誘発することに成功しました。
   • 産業応用: クオンツ・ファイナンスにおけるインプライド・ボラティリティ・サーフェスのモデリングに適用。NSVは、学習、補間、および事前サンプリングのすべてのレジームにおいて、ロバストに裁定機会のない曲面を生成できる唯一の手法であり、同時に最も低いデータ適合誤差を達成しました。

結果の要約

• 単調性 (1D): NSVは100個のシード全体で0の違反を達成しました。これに対し、ペナルティ法は2/100、拡張ラグランジュ法は73/100の違反がありました。主ネットワークにSIRENを使用した場合、NSVはアーキテクチャによる制約手法（CMNN）よりも高いデータ適合性を維持しながら、100%の実現可能性を維持しました。
• 凸性 (高次元): 次元が増加するにつれ（$d=2$ から $5$）、疎なグリッドによる呪いの影響でペナルティ法は著しく劣化しました。NSVはペナルティ法よりも長く実現可能性を維持しましたが、$d=5$ の高次元では両者とも苦戦しました。一方でICNは実現可能性を維持しましたが、データの適合性は低くなりました。
• ボラティリティ曲面: NDXオプション曲面の生成的モデリングにおいて、NSVは3つの評価レジーム（TRAIN, INTERPOLATION, PRIOR）すべてにおいて裁定機会の違反を排除（$\eta_{rate}=0$）しました。一方、ペナルティ法および拡張ラグランジュ法は残留違反を示しました。また、NSVは最も低い平均絶対誤差（MAE）を達成しました。

意義と主張

本論文は、ニューラル・スラック変数が、アーキテクチャによる制約と従来のソフト制約の両方に対する堅牢な代替案であることを主張しています。実現可能性の要件を主ネットワークのアーキテクチャから切り離し、有効なターゲットプロファイルを学習することで、NSVはペナルティ法や主双対法を悩ませる「制約ドリフト」を回避します。

著者らは、これを高インパクトな産業上の課題、すなわちクオンツ・ファイナンスにおける裁定機会のないボラティリティ曲面の生成に対する解決策として位置付けています。彼らは、アーキテクチャによる制約は理論的には正しいものの、複雑なデータに対してはあまりに硬直的であり、一方でソフト制約はあまりに脆弱であると述べています。NSVはこのギャップを埋め、柔軟で高容量なニューラルアーキテクチャの使用を可能にしながら、（実用上）厳密な関数不等式の遵守を保証します。

本論文は限界についても認めています。NSVは、高密度の制約グリッドを必要とするため、入力次元に対してスケーリングが困難であること、およびアーキテクチャによる制約とは異なり、厳密なオフグリッド認証を提供しないことです。しかし、データ適合度と制約充足の両方が極めて重要となる低〜中次元の問題においては、NSVは優れた経験的パフォーマンスを発揮します。