Thermodynamically consistent machine learning model for excess Gibbs energy

Hoffmann らによる論文「Thermodynamically consistent machine learning model for excess Gibbs energy（熱力学的整合性を有する過剰ギブスエネルギーのための機械学習モデル）」の詳細な技術的概要は以下の通りです。

1. 問題定義

モル過剰ギブスエネルギー（$g^E$）およびそこから導かれる活量係数（$\gamma_i$）の正確な予測は、気液平衡（VLE）、液液平衡（LLE）のモデル化や反応速度論において、化学工学の基礎をなすものです。

• 現在の限界:
  • 物理ベースモデル（NRTL、UNIQUAC）: 二成分相互作用パラメータを適合させるために広範な実験データを必要とします。未研究の成分や二成分データが存在しない系に対する物性予測は不可能です。単一のパラメータセットで VLE と LLE を同時に記述することにしばしば困難を伴います。
  • 基団寄与法（UNIFAC）: 分子を官能基に分解することでパラメータ数を削減しますが、事前にパラメータ化された基団に限定され、イオン性液体などの複雑な系や、VLE/LLE の同時記述において困難を伴います。
  • 量子化学的アプローチ（COSMO-RS/SAC）: 計算コストが高く、精度は選択された DFT レベルに強く依存します。
  • 既存の機械学習モデル: 近年のグラフニューラルネットワーク（GNN）アプローチの多くは、厳密な熱力学的整合性（例えば、ギブス - ダーヘムの式違反）を欠いていたり、無限希釈のみ、固定温度、または二成分系のみといった特定の条件に限定されていたりします。

核心的な課題: 分子構造のみから、任意の混合物（未研究の成分を含む）に対する $g^E$ および活量係数を予測し、かつすべての熱力学的整合性法則を厳密に遵守する柔軟な機械学習モデルを開発することです。

2. 手法：HANNA モデル

著者らは、物理法則をニューラルネットワークアーキテクチャに直接ハード制約として統合する深層学習フレームワーク、HANNA（Hybrid Architecture for Neural Network Activity）を導入しました。

A. アーキテクチャと入力

• 入力: 分子構造（SMILES 文字列）、温度（$T$）、モル分率（$x$）。
• 埋め込み: SMILES 文字列は、事前学習済みトランスフォーマーモデルChemBERTa-2を用いて処理され、分子埋め込みを生成します。
• ネットワーク構造: HANNA は 3 つのフィードフォワードニューラルネットワーク（FFNN）を利用します：
  1. 埋め込みネットワーク: 分子埋め込みを洗練させます。
  2. 混合物ネットワーク: 成分間の相互作用を処理します。
  3. 物性ネットワーク: 二成分相互作用項を計算します。
• ハード制約: アーキテクチャは以下の制約を強制します：
  • 置換等変換性: 出力順序が入力成分の順序と一致します。
  • 純粋成分極限: 純粋成分に対して活量係数は 1 に近づきます。
  • ギブス - ダーヘム整合性: 活量係数は予測された $g^E$ の自動微分を通じて導出され、数学的整合性を保証します。
  • 同一成分の処理: 半径基底関数（RBF）類似性スコアが同一成分をグループ化し、純物質に対して $g^E = 0$ となることを保証します。

B. 多成分外挿

追加パラメータなしに二成分訓練データから多成分混合物へ拡張するため、HANNA は幾何学的射影法（Muggianu 射影）を採用します。

• $N$ 成分混合物のモル分率は、すべての $N(N-1)/2$ 個の二成分部分系 onto 射影されます。
• 全 $g^E$ は、二成分部分系の寄与の重み付き和として計算されます。
• これにより、モデルは二成分データのみで訓練されながら、三成分および四成分系の予測が可能になります。

C. 訓練戦略と損失関数

HANNA は、46,543 系を網羅する Dortmund Data Bank (DDB) の大規模データセット上でエンドツーエンドに訓練されます。訓練は複合損失関数（$L_{total}$）を最小化します：

1. データ損失:
   • VLE (TPXY/TPX): 活量係数または全圧を予測します。
   • 無限希釈 (ACI): $\gamma^\infty$ を予測します。
   • 過剰エンタルピー（$H^E$）: 温度に関する $g^E$ の自動微分を通じて導出されます。
   • LLE（液液平衡）: これは主要な革新です。LLE は反復的な非線形方程式の求解を必要とし（これにより勾配の流れが断絶する）ため、著者らは微分可能な代理ソルバーを開発しました。このソルバーはニューラルネットワークを用いて凸包法（CEM）を模倣し、混合ギブスエネルギー（$\Delta g_{mix}$）を直接相組成（$x', x''$）にマッピングします。
2. ギブス損失（$L_{Gibbs}$）: 物理に着想を得た損失項であり、モデルが混和性ギャップを予測できない場合（すなわち、必要な場所で $\Delta g_{mix}$ の二次微分が負でない場合）にモデルを罰します。
3. リプシッツ正則化（$L_{Lips}$）: 予測された $g^E$ 関数の滑らかさを強制し、ロバスト性と外挿能力を向上させます。

3. 主要な貢献

1. ハード制約としての熱力学的整合性: HANNA は、ソフトペナルティに依存するのではなく、すべての関連する熱力学的制約（ギブス - ダーヘム、無限希釈極限、置換対称性）をネットワークアーキテクチャに厳密に埋め込んだ最初のモデルです。
2. エンドツーエンドの LLE 訓練: 微分可能な代理ソルバーの開発により、反復ソルバーの必要性から深層学習にとって困難とされてきた実験的 LLE 相組成データへの ML モデルの直接訓練が可能になりました。
3. 普遍的適用性: UNIFAC と異なり、HANNA は基団パラメータ化を必要としません。分子構造が既知であれば、イオン性液体や複雑な系を含む任意の混合物の物性を予測できます。
4. VLE/LLE の同時記述: このモデルは単一のパラメータ化で気液平衡と液液平衡の両方を成功裏に記述し、UNIQUAC などの従来のモデルの主要な限界を克服しました。
5. オープンソース: モデル、コード、およびインタラクティブな Web インターフェース（MLPROP）は公開されています。

4. 結果

このモデルは、訓練中に保持された未視のテスト系で評価され、**修正版 UNIFAC（Dortmund）**および他の ML ベンチマーク（GE-GNN、GDI-GNN、SolvGNN）と比較されました。

• UNIFAC に対する精度:
  • 二成分系: HANNA は、VLE、ACI、および LLE における平均絶対誤差（MAE）で修正版 UNIFAC を上回ります。特に、ACI の中央値 MAE は 0.18（UNIFAC）から 0.11（HANNA）に低下しました。
  • 多成分系: HANNA は三成分混合物において優位か同等の精度を維持します。
  • LLE 検出: HANNA は二成分 LLE 系の 89%（UNIFAC は 74%）および三成分 LLE 系の 98% で混和性ギャップを正しく識別します。
• 適用性:
  • HANNA は、UNIFAC が欠落した基団パラメータのために失敗するイオン性液体や複雑な分子を含む系の物性を成功裏に予測します。
  • 未研究の成分を含む、より広範な化学空間をカバーします。
• 他の ML モデルとの比較:
  • HANNA は、精度と適用性の面で他の ML モデル（GE-GNN、SolvGNN など）を大幅に上回ります。
  • 二成分系、固定温度、または無限希釈に限定される他の ML モデルとは異なり、HANNA は任意の $N$ 成分混合物および温度・組成依存性を処理します。
• 定性的性能: このモデルは、島型の混和性ギャップ（上部および下部臨界溶解温度）やヘテロアゼオトロープを含む複雑な相挙動を正しく予測します。

5. 意義と影響

• パラダイムシフト: HANNA は、「データへのパラメータ適合」から「データからの物理法則の学習」への転換を表しています。ニューラルネットワークが柔軟性を犠牲にすることなく熱力学に従うように制約できることを実証しています。
• 産業的有用性: 新たな実験的適合を必要とせずに、未研究の系（新しい溶媒、イオン性液体など）に対する正確な予測を提供することで、プロセス設計、溶媒選定、材料発見を加速します。
• 方法論的進展: LLE 用の代理ソルバーと幾何学的射影戦略は、複雑な物理的制約を深層学習ワークフローに統合するための新たなツールを提供します。
• 将来展望: 著者らは、訓練を固液平衡（SLE）に拡張し、投影法を洗練させるために三成分データを直接組み込むことを計画しています。

要約すると、HANNA は深層学習の汎化能力と物理法則の厳密な整合性を組み合わせ、数十年にわたる産業標準を上回る性能を発揮し、より広範な適用性を提供することで、予測熱力学における新たな最先端を確立しました。