Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

技术摘要：面向细粒度开放词汇分割的分解式视 - 语对齐

问题陈述
开放词汇分割（OVS）模型虽然能够通过视 - 语预训练泛化到未见过的类别名称，但在泛化到未见过的对象类别与属性组合时却表现不佳（例如，当训练期间未见过特定组合时，难以区分“平顶工业建筑”与“平顶住宅建筑”）。现有方法通常将整个文本提示编码为单一的整体序列。这种整体编码将类别和属性语义纠缠在共享表示中，阻碍了模型在推理时分解和重组语义单元。因此，模型无法强制执行细粒度组合推理所需的逻辑“与（AND）”约束，导致在未见过的属性 - 类别组合上性能下降。

方法论
作者提出了一种分解式视 - 语对齐框架，旨在显式地分解文本提示，并在特征和评分层面强制执行组合约束。该方法与模型无关，但此处实例化于 SAM3 架构中。

1. 显式提示分解：
   该框架不将文本拼接为单个句子，而是独立编码类别和每个属性。为了解决几何歧义（例如，“平顶”适用于任何平坦表面），属性在编码时会以类别为条件（例如，将“平顶”编码为“平顶建筑”）。这产生了一个结构化表示，包含类别令牌序列（$t_c$）、一组属性令牌序列（$t_{a_k}$）以及属性存在掩码（$m$）。

2. 特征门控交叉注意力：
   该框架在视觉查询与每个语义单元之间执行分解式交叉注意力。

   • 类别交互： 使用标准交叉注意力将查询与类别令牌对齐。
   • 属性门控： 对于每个属性，单独的交叉注意力分支通过 Sigmoid 激活生成门控图（$G_{a_k}$）。这些门控充当“必要条件过滤器”。
   • 与（AND）组合： 最终特征输出通过类别对齐特征与所有激活属性门控的逐元素相乘获得（$F_{out} = Q_c \odot \prod G_{a_k}$）。这种乘法聚合确保了仅当视觉特征同时满足所有属性约束时才被保留。

3. 对数空间与（AND）组合评分：
   为了避免与概率相乘相关的数值不稳定和梯度消失，评分机制在对数空间中运行。

   • 独立计算类别和每个属性的匹配对数几率（logits）。
   • 这些对数几率通过 Sigmoid 转换为概率，然后映射为对数概率。
   • 最终组合评分是这些对数概率之和，并按激活组件的数量进行归一化。该公式在数学上近似逻辑“与”操作（$\log(\prod \pi) = \sum \log(\pi)$），同时在优化过程中保持梯度稳定。

主要贡献

• 分解式视 - 语对齐： 一个可无缝集成到基于 Transformer 的分割架构中的框架，显式解耦类别与属性交互，以改进细粒度开放词汇分割。
• 特征门控交叉注意力： 一种新颖模块，其中属性充当空间过滤器，解耦特定属性的特征学习，并通过乘法门控强制执行组合约束。
• 对数空间与（AND）组合评分： 一种评分策略，显式建模语义单元之间的逻辑“与”关系，与直接概率相乘相比，提供了数值稳定性和更优的优化行为。
• 组合泛化评估协议： 引入了一种严格的评估协议，将数据划分为已见和未见属性 - 类别组合，利用未见 AP、已见 - 未见差距（$R_d$）和与效率（AND-Efficiency）等指标来衡量组合推理能力。

实验结果
该方法在UBC 建筑数据集和PACO-LVIS 数据集上进行了评估，评估设定为组合泛化场景，其中特定的属性 - 类别组合被从训练中剔除。

• 性能提升： 在 UBC 数据集上，所提方法将未见 AP 从 4.0（SAM3 基线）提升至7.1，同时与效率指标从 0.533 显著提升至0.959。在 PACO-LVIS 上，未见 AP 从 37.9 上升至39.2，与效率从 0.874 提升至0.907。
• 消融研究： 实验证实，整体编码限制了泛化能力。用独立编码和均值聚合替代整体编码改善了结果，但完整的对数空间与机制提供了最显著的增益。此外，该方法优于适配的组合零样本学习（CZSL）方法（如 AttrAsOp、CGE），证明了对于密集预测任务，像素级空间门控优于全局组合向量。
• 定性分析： 特征门控的可视化显示，模型成功学会了抑制那些匹配类别但违反特定属性约束的实例（例如，当提示要求“住宅”时抑制商业建筑），证实了乘法门控机制的有效性。

意义
该论文声称其主要意义在于解决视 - 语模型在细粒度组合推理中的系统性偏差。通过将图像级组合零样本学习的分解洞察迁移到分割的像素级领域，这项工作表明，语义单元的显式分解以及在特征层面强制执行逻辑约束对于泛化到未见组合至关重要。作者认为，该框架为开发能够处理复杂、结构化语义描述的更可靠开放世界感知系统提供了坚实的基础。