技術要約：ニューロシンボリック・システムにおける推論ショートカットを軽減するための微分可能な論理プログラミング

1. 問題提起

ニューロシンボリック（NeSy）システムは、ニューラルネットワークの汎化能力と記号論理の解釈可能性を組み合わせることを目的としている。しかし、近年の研究によれば、これらのシステムは**ショートカット推論（reasoning shortcuts）**に陥りやすいことが示されている。これは、モデルが意図された意味的概念を学習するのではなく、スプリアスなパターンや過度に単純化された推論経路を悪用することで、高い訓練精度を達成してしまう現象である。著者らは、この現象の2つの具体的な現れを特定している：

1. 制約充足ショートカット（Constraint Satisfaction Shortcuts）：モデルが意図された概念を学習することなく、論理制約を形式的に満たしてしまう。例えば、制約 $P \to Q$ において、モデルは $P$ と $Q$ の間の関係を学習する代わりに、$P$ を常に偽とすることで（含意を空虚に真にすることで）制約を満たす方法を学習する場合がある。これは、論理制約が主要な監督信号となる半教師あり学習の設定において特に顕著である。
2. 認知ショートカット（Cognition Shortcuts）：バイアスのある、あるいは混同された訓練データにより、入力と概念の間の誤ったマッピングを学習してしまう。たとえ論理規則が構文的に満たされていたとしても、意味的なマッピングが誤っている場合がある（例：バイアスのある加算タスクにおいて、数字の概念を混同する）。

既存のアプローチの多くは、ソフトな確率分布やファジー論理の緩和（relaxation）に依存しており、これにより制約が部分的な真理値の割り当てを通じて満たされることが可能になっている。この柔軟性が、モデルが決定的な概念分類を回避し、ショートカット行動を促進させる要因となっている。

2. 手法

著者らは、これらの問題に対処するために、行列ベースの微分可能な論理プログラミングフレームワークを提案している。このアプローチは、論理プログラムを行列演算としてエンコードする先行研究に基づいているが、明示的なグラウンディング（grounding）を強制するための特定の設計要素を導入している。

2.1 行列エンコーディングと意味論

本手法の中核は、命題的な正規論理プログラムを行列演算として表現することである：

• プログラム行列 ($Q$)：ルールをエンコードする。各行はルールを表し、各列は原子（atom）とその否定に対応する。
• ヘッド行列 ($D$)：ルールの本体（body）をヘッド原子へとマッピングする。
• 統一された制約処理：整合制約（例：$\leftarrow a \land b$）は、補助的な原子 $z$ を用いて書き換えられる（例：$z \leftarrow a \land b \land \neg z$）。ここで $z$ は偽であり続けなければならない。これにより、整合制約を単一の行列構造内で含意ルールと同一に扱うことができ、個別の行列を必要とする従来の手法と比較してストレージ要件を削減できる。

2.2 微分可能な評価

ニューラルネットワークの出力は、解釈ベクトル $v$ を形成する連続的な真理値として扱われる。これは否定を含めるために $w = [v; 1-v]$ に拡張される。原子の導出は以下のように計算される：
$$h = \min(1, D(1 - \min(1, Q(1 - w))))$$
この定式化は、連言（conjunction）に対するリュカシェヴィチ t-ノルム（有界和集約）を暗黙的に実装している。損失関数は、導出されたソフトな値 $h$ とターゲットラベル $t$ の間のバイナリクロスエントロピー（BCE）として定義される。

2.3 主要なアーキテクチャ上の相違点

Logic Tensor Networksのようなファジー論理アプローチや、確率的コンパイル（DeepProbLogなど）とは異なり、本手法はニューラル出力と論理原子の間の一対一の対応関係を確立している。この行列構造は、制約違反から特定のニューラル予測へと直接的な勾配パスを作成し、モデルに対して、部分的な真理値によって制約を満たすのではなく、決定的な概念分類を行うよう強制する。

3. 主な貢献

1. 行列ベースの軽減手法：統一された行列エンコーディングを用いて、制約充足および認知の両方のショートカットを軽減する、新しい微分可能な論理プログラミングアプローチ。
2. 統一された制約処理：補助的な原子を用いて整合制約と含意を単一の行列に統合し、サポートされたモデルの意味論を維持しつつ、ストレージを削減するエンコーディング戦略。
3. T-ノルムの経験的分析：行列演算とファジー論理 t-ノルム（リュカシェヴィチ、プロダクト、ゲーデル）を体系的に比較し、それらの勾配フローの特性とショートカット軽減への影響を分析。
4. 体系的な評価：MNISTのバリアントを用いた広範な実験により、一対一の原子グラウンディングが、バイアスのある、あるいは弱い監督下において、意図された概念を学習する上でソフトな緩和手法を大幅に上回ることを実証。

4. 実験結果

著者らは、CNN、Logic Tensor Networks (LTN)、Semantic Loss、DeepProbLog、DeepStochLog、および NeurASP を含むベースラインに対して、提案手法（MatLP）を評価した。

4.1 制約充足ショートカット (MNIST 6/9)

回転させた画像を含む論理制約を通じて、一つの数字クラス（例：「6」）がラベルなしで学習される半教師ありタスクにおいて：

• ベースライン：Semantic Loss、LTN、NeurASP などのモデルは、高い制約充足率（例：回転制約の100%充足）を達成したが、欠落している数字の概念の学習には失敗した（欠落クラスの精度は0%）。これらは、ターゲットクラスを確定させることなく、対となるクラスの確率を抑制することで制約を満たしていた。
• MatLP：制約充足を維持しながら、欠落している数字に対して高い精度（MNISTで92.3%、USPSで42.4%）を達成した。行列ベースのアプローチにより、モデルは空虚に制約を利用するのではなく、実際に数字を分類することを強制された。

4.2 認知ショートカット (MNIST-Half)

数字のペアのサブセットのみが観測され、曖昧な概念マッピングが生じるバイアスのある加算タスクにおいて：

• ケース1 (高バイアス)：わずか4つのルールしかない場合、ほとんどのモデル（LTNやDeepProbLogを含む）は概念の判別ができず、ほぼランダムに近い精度となった。
• ケース2-5 (制約の増加)：マッピングを判別するために追加のルールが加えられるにつれて：
  • ソフト緩和手法 (LTN, Semantic Loss)：初期のショートカットから脱出するのに苦労し、制約が増えても精度の改善は最小限であった。
  • 明示的グラウンディング手法 (NeurASP, MatLP)：段階的な改善を示した。NeurASPは迅速にほぼ完璧な精度に達したが、MatLPは制約が追加されるにつれて、一貫して堅牢な向上（精度41%から99.5%へ）を示した。
• T-Norm の比較：標準的な MNIST 加算において、プロダクト t-ノルムが最高の精度（91.7%）を達成し、次いで行列ベースの手法（88.5%）となった。ゲーデル t-ノルムは、勾配が疎（sparse）であるため、最も低い精度（82.9%）となった。

5. 意義と主張

本論文は、記号的知識とニューラル学習の結合が、推論ショートカットを軽減するために極めて重要であると主張している。具体的には：

• 明示的グラウンディングは必要条件であるが、十分条件ではない：一対一の原子グラウンディング（NeurASPやMatLPに見られる）は有用であるが、最適化メカニズムも重要である。NeurASPは制約充足タスクにおいて失敗したが、MatLPは成功した。これは、連続的な微分可能評価が、離散的な列挙のみよりも優れていることを示唆している。
• 勾配フローの特性：行列ベースのアプローチは、違反から責任のある予測へと直接的な勾配パスを作成し、モデルが意図された意味論に対応しない「部分的な」真理値を通じて制約を満たすことを防ぐ。
• 限界：著者らは、評価が MNIST ベースのタスクにおける命題プログラムに限定されていることを述べている。複雑な一次論理（first-order logic）や実世界のビジョンタスクへの即時的な一般化については主張しておらず、疎行列によるスケーラビリティや一次論理への拡張を今後の課題としている。

結論として、著者らは、行列ベースの微分可能な論理プログラミングが、明示的なグラウンディングと直接的な勾配伝播を強制することにより、バイアスのある、あるいは弱い監督下にあるニューロシンボリック・システムにおいて、推論ショートカットを防ぐための堅牢なアーキテクチャの選択肢となることを示している。