技術的概要：仮説の論理（LoH）

問題定義

ニューロ記号的統合（NeSy）は、記号論理の演繹的力とニューラルネットワークの学習能力を組み合わせることを目指している。既存のアプローチは通常、スペクトルの両極端を占める：

1. 知識注入：DeepProbLog や LTN などの手法は、ドメインの専門家が高品質な論理式を事前知識や制約として提供することに依存している。これは、そのような規則が容易に利用可能であるという前提に立っており、規則を学習するか部分的に修正する必要があるシナリオには対応していない。
2. 規則誘導：SATNet、DSL、帰納的論理プログラミング（ILP）などの手法は、データから直接記号的規則を学習する。柔軟性はあるが、部分的な事前知識の取り込みや、特定の構文テンプレート（例：固定長の節）の強制を、場当たり的な機構なしに行うことは困難である。

部分的な論理構造が提供されるが欠落したコンポーネントを学習する必要がある場合、あるいは学習された規則が特定の構文制約に準拠する必要がある場合といった中間的なシナリオを扱う上で、大きなギャップが残っている。現在の微分可能な NeSy モデルは、単一の原理的な枠組み内でこの「ゼロから完全な知識」までのスペクトルを横断する柔軟性を欠いていることが多い。さらに、ファジィ論理（例：積 t-ノルムまたは Łukasiewicz t-ノルム）を使用する多くの既存モデルは、連続的な訓練性能と離散的で解釈可能な規則の抽出との間に乖離があり、二値化時に精度の低下を招いている。

手法：仮説の論理（LoH）

著者は、知識注入と規則誘導を統合する新しい論理形式である**仮説の論理（Logic of Hypotheses, LoH）**を提案する。

1. 選択演算子

LoH は、標準的な命題論理の構文に選択演算子 $[\Phi_1, \dots, \Phi_n]$ を拡張する。

• 構文：式 $\Phi$ は、有限の候補プールから 1 つの部分式を選択する選択演算子を含むことができる。
• 意味論：単一の LoH 式は、各選択演算子に対して正確に 1 つの部分式を選択することで得られるすべての古典的命題論理式の集合である仮説空間 $\mathcal{H}(\Phi)$ を表す。
• 柔軟性：これにより、未指定の式を表現できる。選択演算子の有無を調整することで、LoH は完全に指定された規則（選択なし）から完全にデータ駆動型の探索空間（すべて選択）までを表現できる。

2. 微分可能グラフへのコンパイル

誤差逆伝播による学習を可能にするため、LoH 式は微分可能な計算グラフにコンパイルされる：

• 重み付きゲート：選択演算子内の各候補部分式 $\Phi_i$ には、学習可能な重み $w_i \in [0, 1]$ が割り当てられる。
• 二重コンパイル：選択演算子は、選言コンパイル（$\bigvee w_i \land \Phi_i$）または合言コンパイル（$\bigwedge \neg w_i \lor \Phi_i$）のいずれかを用いて命題論理式に変換される。これらの選択は、勾配の流れを最適化するために、演算子の文脈（例：合言内か選言内か）に応じて行われる。
• ファジィ論理の意味論：コンパイルされた式は、ゴードル（Gödel）ファジィ論理（ここで合言は $\min$、選言は $\max$ である）を用いて解釈される。これにより、論理演算を微分可能にできる。

3. ゴードル・トリックと離散化

離散的な決定を学習しつつ微分可能性を維持するメカニズムが重要な要素である：

• パラメータ化：重み $w_i$ を直接学習する代わりに、モデルはロジット $z_i$ を学習する。
• 確率的局所探索：順伝播中、ロジットにガンベルノイズが加えられる。その後、値がシフトされて正確に 1 つのロジットが正になるように調整され、シグモイド関数が適用されて重みが生成される。
• 定理 1（損失なし抽出）：ゴードル論理の性質を活用し、著者は任意のファジィ解釈に対して、閾値 0.5 を用いて出力値を丸めることで、連続モデルと整合するブール解釈が得られることを証明する。これにより、学習されたモデルを離散化しても、連続バージョンと比較して精度の損失が生じないことが保証される。これは、積論理や Łukasiewicz 論理などの他のファジィ論理では保証されていない性質である。

4. アーキテクチャ統合

LoH は、ニューラルネットワーク（例：CNN）の上に積み重ねて、知覚から記号へのマッピングをエンドツーエンドで学習するために使用できる。選択演算子は、構文テンプレート（例：固定幅の節）を強制するため、あるいは既知の知識ベースの部分集合を選択するためにも使用できる。

主要な貢献

1. 新しい言語（LoH）：選択演算子で命題論理を拡張した形式言語。仮説空間のコンパクトな表現と、部分的な事前知識の柔軟な統合を可能にする。
2. 微分可能なコンパイル：ゴードルファジィ論理とゴードル・トリックを用いて LoH 式を計算グラフにコンパイルする手順。これにより、二値化時の精度低下なしに離散的な論理規則をエンドツーエンドで学習できる。
3. 統合フレームワーク：LoH は既存の NeSy パラダイムを包含する。ゼロ知識として純粋な規則誘導機として機能したり、完全知識として知識注入機として機能したり、部分的な知識やテンプレート制約を扱うハイブリッドシステムとして機能したりする。
4. 実証的検証：このフレームワークは、表形式データや知覚タスク（視覚的三目並べ）において強力な性能を示し、MLLP や DLN などの最先端モデルと同等かそれ以上の性能を発揮しながら、解釈可能な離散的規則を提供する。

実験結果

著者は LoH を 2 つの主要な側面で評価した：

1. 表形式分類（12 の UCI データセット）

• 設定：LoH モデルを、決定木（DT）、ランダムフォレスト（RF）、XGBoost、標準的なニューラルネットワーク（NN）、微分可能論理ネットワーク（DLN）、多層論理パーセプトロン（MLLP）と比較した。
• 知見：
  • LoH は競争力のある F1 スコアを達成し、多くの場合、標準的な NN や MLLP の性能と同等かそれ以上であった。
  • MLLP では、抽出された規則（CRS）が連続モデルと比較して大幅な性能低下を招くことが多いのに対し、LoH の離散規則はゴードル意味論により、連続モデルと同じ精度を維持する。
  • LoH は、特にクラス数の少ない多クラス設定において、ほとんどのデータセットで CRS や DLN（その離散形式）を一貫して上回った。

2. 視覚的三目並べ

• 設定：記号入力ではなく、MNIST の数字（0=X、1=O、2=空白）の $3 \times 3$ グリッドを入力とする知覚タスク。'X' が勝つかどうかを予測する。
• 知見：
  • LoH（特に DNF 変種）が最高性能を達成し、30 回の試行のうち 4 回で 100% 正確な論理式を見つけた。
  • 他のモデル（MLLP、DLN）は、訓練後の記号的評価に苦しみ、連続的な性能が妥当であっても正確な離散規則を生成できないことが多かった。
  • モデルは、記号のグラウンディング（画像から X、O、空白を識別）と、背後にある論理構造の発見を同時に成功裡に学習した。

3. 山火事リスクシミュレーション（知識体制）

• 設定：完全知識、信頼できる規則の選択、セットごとの 1 つの規則の選択、部分的知識という、異なるレベルの事前知識をテストする合成タスク。
• 知見：LoH はすべての体制に成功裡に適応した。修正された $\partial$ILP ベースラインと比較すると、LoH は大規模な仮説空間を伴う体制においてこれを上回り、複雑な規則選択と部分的知識の統合を処理する際の優れた効率性を示した。

意義と主張

本論文は、LoH が知識注入と規則誘導の間のギャップを埋める単一の原理的な学習フレームワークを提供すると主張している。その主な意義は以下の点にある：

• 柔軟性：研究者が「ゼロ」から「完全」までの事前知識の正確な量を指定し、規則の修正や完成が必要な中間的なケースを処理できる。
• 損失なし離散化：ゴードル論理とゴードル・トリックを活用することで、訓練中に使用された連続モデルと同等の精度を持つ、離散的で解釈可能な規則をモデルから抽出できることが保証される。これは、以前のニューロ記号的アプローチにおける主要な限界を解決する。
• エンドツーエンド学習：記号規則と知覚から記号へのマッピングの同時学習を可能にし、事前訓練された記号コンポーネントを必要とせずに抽象概念を生データにグラウンディングする。

著者は限界を認め、現在の実装は命題論理に限定されており、接地の組み合わせ爆発により一階拡張のスケーラビリティが課題であると指摘している。しかし、LoH は将来のニューロ記号 AI の発展のための堅牢な基盤を提供すると主張している。