Embedding Linear Equality Constraints in Probabilistic Neural Networks for Dynamic Modelling

問題の背景
機械学習モデルは、化学プロセスシステムにおけるサロゲートモデリング（代理モデル構築）においてますます導入されており、専門的な知識を広範囲に必要とせずにデータから直接モデルを構築できるという利点を提供している。しかし、これらのデータ駆動型アプローチは、物理的知識の統合が欠けていることが多く、特に訓練データが限られている場合やノイズが多い場合、既知の物理法則に反する予測を行う可能性がある。さらに、標準的な決定論的モデルは、原理に基づいた不確実性の定量化を提供できない。これは、データが部分的にしか観測されていない、あるいは確率的な性質を持つ最適化や制御のアプリケーションにおいて極めて重要である。物理情報ニューラルネットワーク（PINN）は、損失関数におけるソフト制約を通じて物理的一貫性を強制しようとするが、制約の充足を保証するものではなく、ハイパーパラメータへの感度や収束の問題を引き起こす可能性がある。逆に、ハード制約手法は、出力の投影や縮小された部分空間に依存することがあるが、これはモデルの表現力を損なったり、特に非線形制約において計算負荷を増大させたりする可能性がある。加えて、既存の制約付き学習法は主に決定論的であり、アレオリック（固有）な不確実性をモデル化する能力を欠いている。

手法
著者らは、指定された許容誤差内で線形等式制約を強制しつつ、出力のアレオリックな不確実性を明示的にモデル化する確率的ニューラルネットワーク（PNN）フレームワークを提案している。本手法の核心は以下の通りである：

1. 確率的定式化： 点推定値を予測する代わりに、ニューラルネットワーク $f_\theta$ は出力 $y$ の多変量ガウス分布のパラメータを予測する。具体的には、平均ベクトル $\mu_P$ と、共分散行列 $\Sigma_P = L_P L_P^\top$ のコレスキー因子 $L_P$ を出力する。モデルは、この分布の負の対数尤度（NLL）を最小化するように訓練される。
2. 制約の定義： 線形等式制約は $Ax + By = b$として定義される。計算可能な条件付けを可能にするため、著者らは小さな数値拡散項$\epsilon \sim \mathcal{N}(0, \epsilon I)$を導入し、制約残差$z = Ax + By - b$ を、ハードなデルタ関数ではなくガウス変数として扱う。
3. 閉形式による条件付け： 線形ガウス系の共役性を利用して、本フレームワークは制約 $z=0$ で無制約出力分布 $p(y|x)$ を条件付けるための閉形式の更新式を導出する。これにより、新しい条件付き分布 $p(y|z=0, x) = \mathcal{N}(\mu_Q, \Sigma_Q)$ が得られる。この投影により、出力は許容誤差 $\epsilon$ 内で制約を満たし、制約の方向に不確実性が減少する。
4. 実装： この条件付けは、計算グラフ内に組み込まれた、学習パラメータを持たない微分可能な層を介して実装される。モデルは、条件付けられた 分布のNLLを最小化するように訓練される。このアプローチは、推論時の反復的な最適化を回避し、バックプロパゲーションのための微分可能性を維持する。

主な貢献

• 制約充足の保証： ソフト制約型のPINNとは異なり、本フレームワークは、訓練時および推論時の両方において、線形等式制約がユーザー定義の許容誤差内で満たされることを保証する。
• 不確実性の定量化： 本手法はアレオリックな不確実性を捉え、決定論的な点推定ではなく、予測分布を提供する。これはリスクを考慮した意思決定において不可欠である。
• 計算効率： 閉形式の条件付けを利用することで、本手法は、制約付き学習でよく用いられる反復的な投影法や凸最適化層に伴う計算オーバーヘッドを回避する。
• 限定的なデータにおける性能向上： 物理的制約を確率的出力に直接組み込むことで、データが乏しい場合に予測精度と不確実性の較正が大幅に向上することを本フレームワークは示している。

結果
本フレームワークは、2つのバッチ反応器のケーススタディ（一方は不可逆反応、もう一方は可逆反応を含む）を用い、4つのデータレジーム（最小、小、中、大）にわたって評価された。CPNNは、標準的な無制約ANNおよびソフト制約型PINNと比較検討された。

• データレジームへの依存性： 最小および小規模なデータレジームにおいて、CPNNは平均二乗誤差（MSE）、連続ランク確率スコア（CRPS）、および制約遵守の観点から、両方のベースラインを大幅に上回った。制約の組み込みは過学習を抑制し、モデルを物理的に実行可能な解へと導いた。データ量が増加して中規模および大規模レジームになると、性能差は縮まり、無制約モデルも最終的にはデータから不変量を学習することで同等の精度に達した。
• 訓練効率： CPNNは、すべてのデータレジームにおいて、ANNおよびPINNと比較して一貫して大幅に速い訓練時間を示した（多くの場合、時間を半分以下に短縮した）。著者らは、この理由を、条件付けステップが損失関数における探索範囲を変化させ、実行可能な解への探索を集中させ、収束を加速させたためであるとしている。
• 不確実性の較正： 95%のカバレッジ比は一貫して0.95を上回っていたが、著者らは、モデルが分散を過大評価する傾向があり、信頼区間の較正が不十分であると指摘した。これは、ノイズではなく基礎となるダイナミクスに過学習する傾向を示唆しており、確率的ディープラーニングにおける既知の課題である。
• 軌跡予測： 軌跡予測の視覚的分析により、低データレジームにおいて、CPNNはベースラインと比較して、よりタイトな信頼区間と真のシステム値に近い予測を提供することが示された。ベースラインはしばしばノイズの多いデータ点に沿った予測となった。

意義と主張
本論文は、提案されたフレームワークが、計算の実行可能性を損なうことなく、物理的知識を確率的機械学習に統合するための原理的なアプローチを提供すると主張している。主な意義は、データが限られている場合（化学プロセス工学における一般的なシナリオ）において、優れた予測精度と不確実性の定量化を実現できる点にある。著者らは、データが豊富にある場合には性能上の優位性が減少するものの、条件付けステップは訓練および推論速度の面で引き続き利益をもたらすと述べている。彼らは、この効率性が、より大規模なシステムにおけるリアルタイム制御や最適化に対して有望なアプローチであることを示唆している。また、現在の研究は解析的な実行可能性のために線形等式制約に限定されていることを謙虚に認め、今後の課題として、非線形または不等式制約への拡張や、RNNまたはTransformerのような逐次モデルとの統合を挙げている。