技術要約：ハイブリッドなメカニスティック・データ駆動型モデリングからニューロ・シンボリックAIへ

1. 問題提起

ハイブリッドなメカニスティック・データ駆動型モデル（セミパラメトリックまたはグレーボックスモデルとしても知られる）は、部分的に理解されているシステムに対処するために、プロセス工学や科学的機械学習においてますます活用されている。これらのモデルは、固定された第一原理（例：質量収支、化学量論）を組み込みつつ、未知の構成要素（例：構成的クロージャ、観測されない速度論）をデータから学習する。

その有用性にもかかわらず、現在のハイブリッドモデリングの実践は、主に2つの制限に直面している：

1. 共有された意味論的インターフェースの欠如： 設計は通常、アーキテクチャと訓練損失を通じて規定される。このアーキテクチャへの焦点は、ハイブリッドモデルが推論オブジェクトとして何を表現しているのかについての統一された意味論的な説明を欠いているため、ドメインを越えた比較や検証を妨げている。
2. 不確実性の表現の不備： メカニスティックな部分におけるエピステミック（認識論的）な不確実性を、特異的に表現または伝播させるための原理的な手法が存在しないことが多い。標準的な指標であるテスト精度は、事後的な性能の変化を示すだけであり、展開前の外挿や構造的な分布シフトにおける不確実性を定量化することはできない。

本論文は、これらの問題が、ハイブリッドモデル内における「論理（構造的制約）」と「信念（学習された妥当性）」の間の形式的な分離の欠如に起因すると断じている。

2. 手法：ハイブリッドからNeSyへの変換（H2N）

著者らは、ハイブリッドなメカニスティック・データ駆動型モデルを、De SmetおよびDe Raedtによる一般的な定義に従い、ニューロ・シンボリック（NeSy）AIの一事例として再構築する体系的な変換手順、Hybrid-to-NeSy (H2N) を提案する。

2.1 NeSyフレームワーク

NeSyモデルは、タプル $(L, \mu, \Omega, b_\theta)$ として定義される：

• $L$: 解釈空間 $\Omega$ 上のセマンティクス $\mu$ を持つ言語。
• $b_\theta$: 信念重み関数。
• 推論関数： $F_{\theta,x}(\phi) = \int_{\Omega'} l(\phi, \omega) b_{\theta,x}(\omega) dm(\omega)$ と定義され、論理関数 $l$（クエリの評価）と信念 $b_\theta$ を組み合わせる。

2.2 変換原理

H2N手順は、5つの原理に基づいてハイブリッド設計をNeSyタプルへとマッピングする：

1. 言語としてのメカニスティック構造 ($L$)： 構造的な核となる方程式（例：保存則）と構成パターンが、言語とそのセマンティクスを定義する。
2. 運用セマンティクス ($\mu, l$)： 論理関数 $l$ は許容性またはスコアリングを実装し、何が構造的に有効であるかを決定する。
3. 学習されたモジュールとしての信念 ($b_\theta$)： 学習された構成要素は、未知の量（パラメータ、クロージャ、潜在状態）に対する信念関数を誘導する。決定論的な学習器はディラック信念に対応し、確率的な学習器は非退化分布に対応する。
4. 妥当領域としての論理： 厳格な制約と妥当領域は、信念側ではなく論理側に配置される（積分領域 $\Omega'$ を制限するか、あるいは $l$ を通じて）。これにより、物理法則はサンプルサイズに依存すべきではないという原則に基づき、データに依存しない許容性が保証される。
5. アーキテクチャの因子分解： 直列、並列、および混合エキスパート（Mixture-of-Experts）のパターンは、$l$ および/または $b_{\theta,x}$ の因子分解によって反映される。

この変換により、あらゆるハイブリッド設計に対して明示的な推論関数が得られ、構造的な許容性（論理側）と学習された妥当性（信念側）が分離される。

3. 主な貢献

本論文は、以下の4つの具体的な貢献を行う：

1. 原理的な変換手順： あらゆるハイブリッドモデルの記述を、明示的な推論関数を持つNeSyタプル $(L, \mu, \Omega, b_\theta)$ へとマッピングする手法。
2. マッピング・テーブル： 標準的なハイブリッド設計パターン（例：直列クロージャ、並列残差、混合エキスパート）を、それぞれのNeSy要素および推論関数への具体的な影響へと対応させたコンパクトなリファレンス（表1）。
3. 2つの指標を用いた評価プロトコル： 論理と信念の分解に基づく2つの指標の導出：
   • 構造的違反率 (Structural Violation Rate, SBR)： 構造的制約に違反する解釈に落ちる信念質量を測定する。これは論理側に属し、許容誤差に依存する。
   • 信念分散 (Belief Dispersion, BD)： 学習された信念の集中度（エピステミックな不確実性）を測定する。これは信念側に属し、許容誤差に依存せず、ディラック信念ではゼロとなる。
4. 実証的インスタンス化： ラベルノイズ下での二値分類における構造化ハイブリッドモデルへのH2Nの適用。これにより、テスト精度だけでは明らかにできない不確実性を、これらの指標がいかに定量化できるかを実証する。

4. 結果：ノイズを含む二値分類のケーススタディ

著者らは、メカニスティックな部分が特徴量のグルーピングを定義し、学習された部分がモジュールの真理値表を特定する（NoiseCut戦略を使用）構造化されたブールネットワークに対して、H2Nを適用した。

4.1 メカニスティック部分における不確実性の定量化

• 精度との相関： ラベルノイズが増加するにつれ、テスト精度が低下すると同時に、信念分散 (BD) が増加した。BDとテスト精度の間には強い負の相関（$\rho = -0.94$）が認められた。
• 予測の変動性： 極めて重要な点として、BDはテスト精度の変動を予測することが判明した。BDが高いモデルほど、シードごとのテスト精度の標準偏差が大きくなった。
• 事前推定： BDは訓練ラベルの数とメカニスティックな構造の関数であるため、展開時にモデルの不確実性を事前推定する手段となる。これに対し、テスト精度はラベル付きのテストデータを収集した後でなければ、この情報を報告できない。

4.2 外挿時における不確実性の定量化

• 分解： 構造的な分布シフト（第2層の特定の行を保持外とする）の下で、BDは $BD = BD_{seen} + BD_{unseen}$ と正確に分解される。
• 早期警告： $BD_{unseen}$ は、アウトオブディストリビューション（OOD）のサンプルが観測される前に、行の被覆率のみから計算可能である。実験では、保持された行の数が増えるにつれて $BD_{unseen}$ は単調に上昇したが、インディストリビューション内の精度は高いまま維持されており、OOD精度は崩壊した。
• 意義： これは、H2Nが、失敗が発生する前に、被覆率と外挿リスクに関するモデルのエピステミックな状態を定量化できることを示している。これは、標準的なアーキテクチャおよび損失の記述には存在しない能力である。

5. 意義と主張

本論文は、H2N変換がハイブリッドモデリングのための共有された意味論的インターフェースを提供し、ドメインを越えた体系的な比較と検証を可能にすると主張している。

• 論理と信念のデカップリング： 構造的な許容性（論理）と学習された妥当性（信念）を厳格に分離することで、どの仮定がハードな制約であり、どれがデータ依存であるかを明確にする。これにより、レジーム変化のための $l$ の修正か、不確実性のための $b_\theta$ の修正かといった、標的を絞った介入が可能になる。
• 新しい診断機能： 指標であるSVRとBDは、従来のアーキテクチャ記述には定義されていない診断ツールを提供する。特に、BDはメカニズム成分におけるエピステミックな不確実性のプロキシとして機能し、構造的な分布シフトや外挿リスクの検出を可能にする。
• 双方向の利益： 本研究は2つの分野を橋渡しするものである。ハイブリッドモデラーには厳密な意味論的インターフェースを与え、NeSy研究者には、エンジニアリングの実践から派生した構造化された不確実性設計（例：妥当性エンベロープ、残差チェック）の整理されたカタログを提供する。

著者らは、制限事項についても謙虚に述べており、変換が一意ではないこと（ただし、原理P1–P5が標準的な配置を固定している）、および大規模または連続的な空間における診断は近似推論に依存するため、そのキャリブレーション誤差を継承することを指摘している。