HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

技术摘要：HANCLIP —— 一类双曲角度否定视觉语言模型

问题陈述
视觉语言模型（VLMs）尽管在标准检索和分类任务中表现强劲，但在处理否定逻辑时表现出显著的脆弱性。目前的模型往往依赖于浅层的词-物共现，而非深层逻辑推理，导致它们会对肯定句和否定句都分配高相似度分数（例如，无法区分“一只猫在苹果树旁”和“一只猫在椅子旁，而不是在苹果树旁”）。现有的试图通过专门的数据集和对比目标来解决此问题的方案，通常需要大规模重训练，这会带来灾错性遗忘（catastrophic forgetting）的风险，并降低在标准基准测试上的性能。此外，许多方法难以建模视觉否定的组合特性，因为这需要对物体关系及替代项进行推理，而非简单的词汇反转。

方法论
作者引入了 HANCLIP（Hyperbolic + Angular + Negation，双曲+角度+否定），这是一个旨在重构嵌入空间以显式编码“图像不是什么”以及“图像是什么”的框架。该方法具有模型无关性，可以应用于预训练骨干网络（如 CLIP、LongCLIP、SmartCLIP 和 HiMo-CLIP），使用的是一个包含 20,000 个图像-文本四元组 $(I, P, P', N)$ 的紧凑数据集，其中 $I$ 是图像，$P$ 是正向描述，$P'$ 是否定正向描述，$N$ 是真实的负向描述。

该方法依赖于两个核心组件：

1. 双曲对比目标 (HCO)：
   利用庞卡莱球（Poincaré ball）模型中的双曲几何特性，HCO 利用距离随半径呈指数级增长的特性来建模层次化和非对称的语义关系。不同于将所有不匹配对视为隐式负样本的标准欧几里得对比学习，HCO 显式地将真实的负向描述 ($N$) 纳入损失函数的分母中。

   • 机制： 它强制执行一种层次结构，使图像 $I$ 及其肯定/否定正向描述 ($P, P'$) 被嵌入到双曲空间的中心附近，而语义不兼容的负向描述 ($N$) 则被推向边界。
   • 损失项： 该目标由三部分组成：使 $P'$ 与 $I$ 对齐；确保 $I$ 比任何 $N$ 更接近 $P'$；以及在使 $P'$ 与 $P$ 对齐的同时将其与 $N$ 分离。

2. 角度三元组否定损失 (ATNL)：
   该组件基于相对方向而非绝对距离来执行三元组 $(P, P', N)$ 之间的几何一致性。

   • 正向对齐 ($L_{pos}$)： 以负向描述 $N$ 作为锚点，最小化向量 $\vec{NP}$ 与 $\vec{NP'}$ 之间的夹角。这确保了从负向锚点观察时，否定正向描述 $P'$ 在语义方向上与真实正向描述 $P$ 保持一致。
   • 负向分离 ($L_{neg}$)： 以否定正向描述 $P'$ 作为锚点，最大化向量 $\vec{P'P}$ 与 $\vec{P'N}$ 之间的夹角，从而在特征空间中将真实正向描述从负向描述中推开。
   • 总损失： 最终训练目标为加权和：$L_{final} = L_{hc} + \alpha L_{at}$。

3. 通过 LoRA 进行遗忘缓解：
   为了防止预训练能力的退化，该框架采用了低秩自适应（LoRA）。预训练的骨干网络权重被冻结，而特定任务的适配通过小型、低秩的分支进行路由。这种模块化设计允许模型在积累否定感知技能的同时，不会覆盖用于通用检索和分类的子空间。

核心贡献

• 双曲否定建模： 本文提出了首次专门用于解决 VLM 中否定理解问题的双曲几何应用，利用非欧几里得度量更好地分离肯定与否定语义簇。
• 角度三元组否定损失： 一种新型的双向损失函数，它基于角度对齐而非仅仅是距离，同时将真实正向描述与否定正向描述拉近，并将负向描述推开。
• 数据效率与性能： 该框架仅使用 20,000 个训练样本（CC-Neg 的一小部分）就实现了显著的性能提升，避免了大规模重训练的需求。
• 模型无关性： 该方法成功应用于四种不同的 VLM 架构（CLIP、LongCLIP、SmartCLIP、HiMo-CLIP），且无需大规模重训练。

实验结果
在 NegBench 基准测试（涵盖负向检索和零样本多选题）以及标准检索/分类数据集（ImageNet、COCO、Flickr30k、Urban1k、ShareGPT4V）上进行了广泛实验。

• 否定性能： HANCLIP 在 NegBench 上带来了持续的增益。
  • 负向检索： 该框架在所有测试的骨干网络中，将整体 rSum 分数提高了约 5%–10%。例如，SmartCLIP-L 将其 rSum 从 427.49 提高到了 438.51。
  • 多选题 (MCQ)： 在 MCQ 任务中平均提升了近 35%。该框架在“混合型”问题（例如，“是 A 但不是 B”）上的表现尤为突出，其提升幅度明显高于纯“否定型”问题，表明其具备更好的相对推理能力。
• 通用能力的保留：
  • 分类： 在 ImageNet、CIFAR-10 和 CIFAR-100 上的性能基本保持不变（变化在 $\pm 0.3\%$ 以内），部分变体甚至显示出轻微提升，这表明几何重塑并未损害基础识别能力。
  • 检索： 标准短文本和长文本检索任务通常保持或提升了性能。值得注意的是，图到文 (I2T) 检索持续改善，而文到图 (T2I) 表现虽有波动，但总体保持稳定。
• 消融研究： 双曲对比目标 (HCO) 被确定为提升否定处理能力的主要驱动力，而角度三元组否定损失 (ATNL) 则提供了进一步的精细化，特别是在 MCQ 任务中。
• LoRA 的影响： 仅适配文本编码器能获得最强的否定增益，而视觉-文本联合适配（“V+T”）则在否定性能与长文本检索稳定性之间达到了最佳平衡。

意义
论文声称，HANCLIP 证明了精心设计的几何目标可以显著扩展现有 VLM 的推理能力，而无需大规模重训练或导致灾错性遗忘。通过将逻辑结构直接注入嵌入空间的几何结构中，该框架提供了一种原则性的方法，在保持预训练表示的全局结构的同时，提高了对否定的敏感性。结果表明，非欧几里得几何和角度约束是解决 VLM 在处理如否定等复杂逻辑操作时表现出的“脆弱性”的有效工具。