技術要約: NeSyCat Torch

問題提起

ニューロシンボリック（NeSy）AIは、ニューラルネットワークの知覚能力と、記号論理の構造的な推論を組み合わせることを目的としている。しかし、この分野は断片化という課題に直面している。古典的、ファジー、および確率的システムは、それぞれ異なる帰納的規則を通じて真理を定義しており、知識ベースや学習目的の間の転送を妨げている。以前、ULLER（Unified Language for Learning and Reasoning）がモノドに基づく単一の圏論的フレームワークの下でこれらの意味論を統一したが、ニューラルネットワークによって学習される述語および関数の実装が欠けていた。さらに、既存の実装は、離散的な設定から連続的または大規模なバッチの設定へと移行する際、スケーラビリティや数値的安定性に苦慮することが多い。

手法

本論文では、NeSyCatの圏論的フレームワークの微分可能なテンソル実装であるNeSyCat Torchを紹介する。コアとなる手法は、単一のモノド・パラメトリック・アーキテクチャ内で、計算記号をニューラルネットワークを介して解釈することである。

1. 圏論的フレームワークとモノド

このフレームワークは、構文と意味論を、圏論的、論理的、ドメイン、および文法という4つのレイヤーに整理することで、Johnstone (2002) の圏論的意味論を拡張する。統一メカニズムは、効果（例：確率、テンソル重み）をパラメータ化する強モノド $M$ である。本論文では、以下の3つの特定のモノド・レイヤー（表1）を利用する：

• 分布モノド ($D$): 有限支持の確率分布を表す。これは参照意味論およびメトリック・リードアウトとして機能し、bind ($>>=$) は周辺化（全確率の法則）を実行する。
• テンソル・モノド ($T$) / 対数テンソル・モノド ($T_{log}$): 実数（ロジット）を用いて分布モノドを微分可能な形で実装する。$T_{log}$ は対数半環 $(\mathbb{R}, \text{logsumexp}, +)$ 上で動作し、$[0,1]$ におけるファジー演算に関連する勾配消失を防ぎ、数値的安定性と微分可能性を確保する。
• バッチ・モノド ($B$): バッチインデックス集合に対するリーダー・モノドであり、ランダム性を導入することなくミニバッチの並列処理を可能にする。

2. 構文と意味論

システムは以下の3種類の記号をサポートする：

• Tarski: 決定論的な写像（標準的な一階述語論理）。
• Kleisli: 効果的な $M$ への写像。
• NeSy: モノドの担体（carrier）を入力として受け取り、モノドの担体を出力するニューラル写像。

数式はdo構文（モノドのbindの糖衣構文）を用いて構築される。主要な革新は、計算関数記号（例：$digit: \text{Image} \to M \text{Digit}$）および述語の扱いである。意味論は帰納的に定義される：

• Bind ($\leftarrow$): $D$ における周辺化、および $T$ における対数空間での畳み込みを実行する。
• 量化子: 有限ドメイン上のモノド真理値を集約する。
• 遅延評価: 本フレームワークは、必要不可欠な場合にのみ周辺化された確率の計算を遅延させるために、遅延モノドを採用し、不要な分岐を削減する。

3. 学習と推論

学習は、データセットに対する知識損失（公理の負の対数真理の平均）を最小化する。

• バッチ処理: プログラムを $N$ 個のサンプルに対して $N$ 回実行する代わりに、システムはバッチテンソル上で一度だけ実行する。バッチ・モノド $B$ はテンソル・モノド $T$ と合成される（$B \circ T$）。
• データ処理: 観測値は「確実な」値（対数空間におけるワンホットエンコーディング）として扱われ、liftB を通じて数式に入る。
• 実装: フレームワークは、Haskell (HaskTorch)、Python (JAX)、および Python (PyTorch) で実装されている。JAX バックエンドは、対数空間での畳み込みと微分のための JIT コンパイルを利用する。

主な貢献

1. NeSyCat のニューラル実装: 抽象的な圏論的意味論と実践的なディープラーニングの間の溝を埋める、NeSyCat フレームワークの初のニューラル実装を提供する。
2. 統一されたモノド・パラメトリック性: 単一のコードベースが、基礎となるモノドを変更するだけで、異なる意味論（確率的、ファジー、古典的）をインスタンス化できることを示す。
3. 微分可能な対数テンソル・モノド: 対数半環を用いた数値的に安定した微分可能な学習バックエンドを導入し、中間ステップでの明示的な softmax 正規化の必要性を回避する（正規化を境界まで遅延させる）。
4. 遅延によるスケーラビリティ: 周辺化計算を遅延させることで、バッチおよび多桁の問題における効率的な学習を実現する。

実験結果

著者らは、MNIST加算タスク（遠隔教師あり学習：2つの手書き数字の合計のみが観測され、数字自体は観測されない）においてフレームワークを評価した。

• 精度:
  • 単一数字 ($N=1$): NeSyCat Torch は 94.6% (LTNスタイル) および 94.2% (DeepProbLogスタイル) を達成し、LTN (93.5%) および DeepProbLog (92.2%) を上回った。
  • 多桁 ($N=4$): NeSyCat Torch は 92.0% の精度を達成した。対照的に、LTN と DeepProbLog はこのタスクでタイムアウト (T/O) した。
  • 比較: このアプローチは、現在最も正確なベースラインである DeepStochLog ( $N=4$ で 92.7%) の精度に迫りつつ、様々な一階論理的手法に適用可能な統一されたフレームワークを維持している。
• 効率性:
  • 単一の A100 GPU 上での学習ステップは、LTN よりも大幅に高速であった（古いハードウェアでの LTN スタイルが 5.36ms であるのに対し、0.52ms）。
  • システムは迅速に収束する。単一数字加算の 15 シード・スイープ全体に要した時間は約 1.5 分であった。
• 汎化性能: ネットワークは、数字のラベルを使用することなく、観測された合計のみから数字を約 97% の精度で認識することを学習した。

意義と主張

本論文は、NeSyCat Torch が NeSyCat の圏的汎用性をニューラル実装レベルへとスケールさせることに成功したと主張している。その主な意義は以下の通りである：

• 統一: 現在の（古典的、ファジー、確率的といった）多くの一階 NeSy アプローチに対して、個別の定義を必要とせず、単にモノドをインスタンス化するだけで適用できる、単一の統一されたフレームワークを提供すること。
• スケーラビリティ: 遅延モノドとテンソル構造を利用することで、DeepProbLog における #P困難な重み付きモデル計数などの計算上のボトルネックを克服し、より大きな問題（例：$N=4$ 桁）を扱うことができる。
• 拡張性: フレームワークはパラメトリックである。現在の実装は有限ドメインと離散分布に焦点を当てているが、Giry モノドをインスタンス化することで、連続確率へとアプローチを拡張できることが著者らによって述べられている（ただし、そのためのニューラル表現は今後の課題として残されている）。

著者らは、現在の実装は有限ドメインと離散分布を効果的に扱えるものの、無限ドメインへの一般化および連続確率の効率的なニューラル表現は、今後の研究における未解決の課題であると謙虚に述べている。