技术摘要：基于远端监督的神经符号对象中心学习

问题陈述

当前的神经符号人工智能系统面临一个关键瓶颈：虽然它们能够有效地利用符号规则从弱标签中监督潜在概念，但通常假设这些规则所引用的实体（对象）已被明确指定。相反，对象中心学习模型可以将图像分解为类槽（slot-like）表示，但往往难以将这些槽与符号推理所需的特定谓词对齐，尤其是在缺乏对象级监督（例如掩码、边界框或每个对象的标签）的情况下。

本文解决了在远端监督下进行对象中心神经符号学习的挑战。核心问题定义为学习一个模型，其中：

1. 输入：图像 - 标签对 $(x, y)$ 的数据集，其中图像可能包含未知数量的对象，但没有关于对象身份、位置或类别的注释。
2. 约束：提供一个概率逻辑程序 $L$，指定潜在的对象级谓词（例如对象性和类别）如何决定全局标签 $y$。
3. 目标：学习一个神经符号模型，直接从全局任务标签中推断对象中心结构（图像的哪些部分是对象以及它们是什么），从而使符号层能够在没有显式对象级监督的情况下约束感知层。

方法论：DeepObjectLog

作者提出了 DeepObjectLog，这是一种概率神经符号架构，将基于槽的感知编码器与概率逻辑层相结合。该模型使用带有摊销推理的最大后验（MAP）目标进行端到端训练。

1. 概率图模型

该模型定义了图像 $x$、任务标签 $y$ 以及潜在变量（包括场景表示 $z$、槽表示 $s$、对象性概率 $\beta$、对象性标志 $o$ 和类别标签 $c$）上的联合分布。

• 编码器：槽注意力（Slot Attention）机制从图像中提取多达 $N$ 个潜在槽表示 $s_i$。
• 对象检测器与分类器：对于每个槽，模型预测：
  • 一个对象性概率 $\beta_i \in [0, 1]$，表示该槽对应于有意义对象的不确定性。
  • 一个条件于对象性的类别分布 $p(c_i | s_i, \beta_i)$。
  • 对象性标志 $o_i$ 被建模为参数为 $\beta_i$ 的伯努利变量。
• 软掩码：为了减少背景或虚假槽的影响，槽表示在传递给分类器和解码器之前，与其对象性得分 $\beta_i$ 进行逐元素相乘。

2. 概率逻辑推理

符号组件利用 ProbLog，这是一个概率逻辑编程框架。

• 概率事实：对象性标志 $o_i$ 和类别分配 $c_i$ 被视为概率事实（例如 $p::object(i)$）。
• 规则：逻辑规则定义这些事实如何组合以确定任务标签 $y$（例如 $add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ is } Y1 + Y2$）。
• 边缘化：通过边缘化所有可能的对象性和类别分配来计算观测标签 $y$ 的似然。这使得系统能够计算可微的任务级学习信号，而无需离散采样或启发式集合匹配损失（如匈牙利损失）。

3. 学习目标

训练目标最大化观测数据与潜在解释 $z$ 的联合概率：
$$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$$
其中：

• 第一项鼓励推断出的对象中心表示解释符号任务标签。
• 第二项（重构损失）确保表示能够重构输入图像。
• 第三项是对摊销潜在解释的先验。
• $q_\phi$ 是一个神经编码器，用于近似潜在解释 $z$，从而避免了在每个训练样本上进行内部优化循环的需求。

主要贡献

1. 形式化：本文形式化了从远端监督进行对象中心神经符号学习的问题，其中对象必须从感知中推断，而不是作为结构化输入提供。
2. 概率接口：它引入了槽与逻辑之间的可微接口，其中对象性和类别变量通过概率推理进行边缘化。这消除了对对象注释、离散采样或集合匹配损失的需求。
3. DeepObjectLog 架构：作者在 DeepObjectLog 中实例化了这一形式化，并证明了逻辑反馈改善了对象中心表示的任务相关使用，支持更强的关系泛化。

实验结果

该模型在四个基准测试上进行了评估：MultiMNIST-Addition、PokerRules、CLEVR-Addition 和 COCOLogic。

• 组合泛化：在 MultiMNIST-Addition 上，DeepObjectLog 在分布外（OOD）组合（未见过的数字组合）上达到了 90.00% 的准确率，显著优于神经基线（例如槽注意力为 13.30%）和没有对象中心感知的标准神经符号基线（35.76%）。
• 任务泛化：在 PokerRules 任务中，该模型在 OOD 类别（例如训练集中未见的“三条”）上达到了 72.23% 的准确率，而神经符号基线失败（0.46%）。神经基线无法泛化到新类别，因为它们的输出空间由训练标签固定。
• 对象数量泛化：该模型展示了向训练期间未见过的更多对象图像（例如 MultiMNIST 中的 4-5 个数字）的稳健外推能力，在竞争对手性能显著下降的情况下保持了高准确率。
• 学习信号强度：在 COCOLogic 上，DeepObjectLog 在 0% 对象级监督下实现了非平凡的概念准确率，证明了其仅从任务信号中学习对象结构的能力。即使随着监督水平的增加，这一性能也得以保持。
• 与视觉语言模型（VLMs）的比较：在 MultiMNIST-Addition OOD 任务上，DeepObjectLog（90% 准确率）显著优于大型视觉语言模型（LLaVA-1.5 和 Qwen2.5-VL），后者在零样本提示下难以可靠地解决该任务。

意义与主张

本文声称，DeepObjectLog 通过弥合感知对象发现与符号推理之间的差距，代表了迈向更通用神经符号系统的重要一步。其主要意义在于：

1. 关系泛化：支持在分布偏移下进行推理的能力，包括新的对象组合、不同的对象数量以及对学习词汇的新符号查询。
2. 无监督鲁棒性：能够在不需要显式对象级监督（掩码或边界框）的情况下学习有意义的对象中心结构并对其进行推理，仅依赖全局任务标签和符号规则。
3. 可解释性：该模型提供与符号推理过程相一致的可解释对象级预测（对象性和类别），提供了纯神经方法所缺乏的保证。

作者承认了局限性，包括概率逻辑中精确推理的计算成本（尽管通过优化框架得到缓解）以及弱监督设置中推理捷径的潜在风险，其结构约束旨在抑制这些风险。他们得出结论，虽然该方法推动了鲁棒且可解释的人工智能的发展，但未来的部署必须考虑与偏见和双重用途监控相关的风险。