技術的概要：遠隔監視を用いた神経記号オブジェクト中心学習

問題定義

現在の神経記号 AI システムは重大なボトルネックに直面している。すなわち、それらは弱いラベルから潜在概念を監督するために記号規則を効果的に活用できる一方で、これらの規則が参照する実体（オブジェクト）が既に指定されていると仮定していることが多い。逆に、オブジェクト中心学習モデルは画像をスロットのような表現に分解できるが、特にオブジェクトレベルの監視（例えば、マスク、バウンディングボックス、またはオブジェクトごとのラベル）が利用できない場合、これらのスロットを記号推論に必要な特定の述語と整合させることがしばしば失敗する。

本論文は、遠隔監視下におけるオブジェクト中心の神経記号学習という課題に取り組む。核心的な問題は、以下のように定義されるモデルを学習することである：

1. 入力： 画像とラベルのペア $(x, y)$ のデータセット。画像には未知の数のオブジェクトが含まれ得るが、オブジェクトの同一性、位置、またはクラスに関する注釈は存在しない。
2. 制約： 確率的論理プログラム $L$ が提供され、潜在オブジェクトレベルの述語（例えば、オブジェクト性とクラス）がグローバルラベル $y$ をどのように決定するかを指定する。
3. 目標： 画像のどの部分がオブジェクトであり、それが何であるかというオブジェクト中心の構造を、グローバルなタスクラベルから直接推論する神経記号モデルを学習し、明示的なオブジェクトレベルの監視なしに記号層が知覚層を制約できるようにすること。

手法：DeepObjectLog

著者らは、スロットベースの知覚エンコーダと確率的論理層を統合した確率的神経記号アーキテクチャであるDeepObjectLogを提案する。このモデルは、償却推論を用いた最大事後確率（MAP）目的関数により、エンドツーエンドで訓練される。

1. 確率的グラフィカルモデル

このモデルは、画像 $x$、タスクラベル $y$、および潜在変数（シーン表現 $z$、スロット表現 $s$、オブジェクト性確率 $\beta$、オブジェクト性フラグ $o$、およびクラスラベル $c$）の同時分布を定義する。

• エンコーダ： スロットアテンション機構が、画像から最大 $N$ 個の潜在スロット表現 $s_i$ を抽出する。
• オブジェクト検出器と分類器： 各スロットに対して、モデルは以下のものを予測する：
  • オブジェクト性確率 $\beta_i \in [0, 1]$。これは、スロットが意味のあるオブジェクトに対応する不確実性を表す。
  • オブジェクト性に条件付けられたクラス分布 $p(c_i | s_i, \beta_i)$。
  • オブジェクト性フラグ $o_i$ は、パラメータ $\beta_i$ を持つベルヌーイ変数としてモデル化される。
• ソフトマスキング： 背景や不要なスロットの影響を低減するため、スロット表現は分類器とデコーダに渡される前に、そのオブジェクト性スコア $\beta_i$ と要素ごとの乗算が行われる。

2. 確率的論理推論

記号コンポーネントは、確率的論理プログラミングフレームワークであるProbLogを利用する。

• 確率的事実： オブジェクト性フラグ $o_i$ とクラス割り当て $c_i$ は、確率的事実（例：$p::object(i)$）として扱われる。
• 規則： 論理規則は、これらの事実がどのように結合してタスクラベル $y$ を決定するかを定義する（例：$add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ is } Y1 + Y2$）。
• 周辺化： 観測されたラベル $y$ の尤度は、すべての可能なオブジェクト性とクラス割り当てに対して周辺化することで計算される。これにより、離散サンプリングやヒューリスティックな集合マッチング損失（ハンガリー損失など）を必要とせずに、微分可能なタスクレベルの学習信号をシステムが計算できるようになる。

3. 学習目的関数

訓練目的関数は、観測データと潜在説明 $z$ の同時確率を最大化する：
$$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$$
ここで：

• 第一項は、推論されたオブジェクト中心表現が記号的タスクラベルを説明することを促す。
• 第二項（再構成損失）は、表現が入力画像を再構成できることを保証する。
• 第三項は、償却された潜在説明に対する事前分布である。
• $q_\phi$ は、各訓練例ごとの内部最適化ループを不要にするために、潜在説明 $z$ を近似するニューラルエンコーダである。

主要な貢献

1. 定式化： 本論文は、オブジェクトが構造化入力として提供されるのではなく、知覚から推論されなければならない、遠隔監視からのオブジェクト中心神経記号学習の問題を定式化する。
2. 確率的インターフェース： スロットと論理の間に、オブジェクト性とクラス変数が確率的推論を通じて周辺化される微分可能なインターフェースを導入する。これにより、オブジェクト注釈、離散サンプリング、または集合マッチング損失の必要性が排除される。
3. DeepObjectLog アーキテクチャ： 著者らはこの定式化を DeepObjectLog に具体化し、論理的フィードバックがオブジェクト中心表現のタスク関連利用を改善し、より強力な関係一般化を支援することを示す。

実験結果

このモデルは、MultiMNIST-Addition、PokerRules、CLEVR-Addition、および COCOLogic の 4 つのベンチマークで評価された。

• 構成的一般化： MultiMNIST-Addition において、DeepObjectLog は分布外（OOD）の構成（未見の数字の組み合わせ）で**90.00%**の精度を達成し、ニューラルベースライン（例：13.30% のスロットアテンション）やオブジェクト中心知覚を持たない標準的な神経記号ベースライン（35.76%）を大幅に上回った。
• タスク一般化： PokerRules タスクにおいて、モデルは OOD クラス（訓練で見ていない「3 枚組」など）で**72.23%**の精度を達成したが、神経記号ベースラインは失敗した（0.46%）。ニューラルベースラインは、出力空間が訓練ラベルによって固定されているため、新しいクラスに一般化できなかった。
• オブジェクト数一般化： このモデルは、訓練中に観測されたものよりも多いオブジェクトを持つ画像（例：MultiMNIST における 4〜5 桁の数字）への頑健な外挿を示し、競合他社が大幅に劣化する状況でも高い精度を維持した。
• 学習信号の強度： COCOLogic において、DeepObjectLog は0% のオブジェクトレベル監視で非自明な概念精度を達成し、タスク信号のみからオブジェクト構造を学習する能力を実証した。この性能は、監視レベルが増加しても維持された。
• VLM との比較： MultiMNIST-Addition OOD タスクにおいて、DeepObjectLog（90% の精度）は、ゼロショットプロンプト下でタスクを信頼性高く解決することに苦労した大規模ビジョン・言語モデル（LLaVA-1.5 および Qwen2.5-VL）を大幅に上回った。

意義と主張

本論文は、知覚的なオブジェクト発見と記号的推論の間のギャップを埋めることで、DeepObjectLog がより一般的な神経記号システムへの重要な一歩を表すと主張する。その主な意義は以下の点にある：

1. 関係一般化： 新しいオブジェクトの構成、異なるオブジェクト数、および学習された語彙に対する新しい記号的クエリを含む、分布シフト下での推論を支援する能力。
2. 監視なしの頑健性： 明示的なオブジェクトレベルの監視（マスクまたはバウンディングボックス）を必要とせず、グローバルなタスクラベルと記号規則のみに依存して、意味のあるオブジェクト中心構造を学習し、それらに対して推論を行う能力。
3. 解釈可能性： 純粋なニューラルアプローチが欠く保証を提供し、記号的推論プロセスと整合する解釈可能なオブジェクトレベル予測（オブジェクト性とクラス）をモデルが提供する点。

著者らは、確率的論理における厳密な推論の計算コスト（最適化フレームワークによって緩和されているが）や、構造的制約が抑制することを目指している弱監視環境における推論のショートカットの可能性など、限界を認めている。彼らは、このアプローチが堅牢で解釈可能な AI を前進させる一方で、将来の展開においてはバイアスや二重用途監視に関連するリスクを考慮する必要があると結論付けている。