技术摘要：用于层次化细粒度视觉分类的层级限制对比学习

1. 问题陈述

多模态对比学习模型（如 CLIP）通过对齐图像和文本嵌入，在零样本视觉分类方面展示了强大的能力。然而，这些模型通常是在平坦标签假设（flat-label assumption）下运行的，即将所有非匹配的文本标签视为相等的负样本。当应用于具有层次结构标签空间（例如生物分类学）时，这一假设会失效。

在层次化设置中，标准的对比学习会产生冲突的监督信号。例如，狮子（Panthera leo）和狼（Canis lupus）在物种和属级水平上是不同的，但它们共享更高层级的祖先（例如食肉目 Carnivora）。在标准的平坦标签对比设置中，针对“狮子”图像的“狼”文本标签可能会被视为负目标，尽管它们在目级水平上在语义上是兼容的。这造成了跨层级的假负例（false negatives），导致层次不一致性，即模型预测的细粒度标签并不属于其预测的高层级类别。

2. 方法论

作者提出了一种**层级限制对比学习（Level-Restricted Contrastive Learning）**框架，旨在消除跨层级的假负例，并确保在整个分类体系中实现平衡优化。

2.1. 问题公式化

分类体系定义为一个包含 $L$ 个层次（从粗糙到精细）的集合 $\mathcal{T} = (C_1, \dots, C_L)$。每张图像 $x_i$ 都关联一个分类标签向量 $t_i = (t_i^1, \dots, t_i^L)$。

• 文本构建：对于每个层级 $\ell$，构建一个包含直到该层级为止的分类前缀的文本标签 $y_i^\ell$：$y_i^\ell = (t_i^1, \dots, t_i^\ell)$。
• 编码：使用基于 CLIP 的图像编码器 ($f$) 和文本编码器 ($g$) 对图像和文本标签进行编码，生成嵌入 $v_i$ 和 $z_i^\ell$。

2.2. 层级限制对比损失

目标并非对所有层级执行联合对比损失，而是将其分解为每个分类层级内的独立比较。

• 层内比较：对比损失在每个层级 $\ell$ 分别计算。物种级标签仅与其他的物种级标签进行比较，从而避免了将物种与目或纲进行比较时产生的歧义。
• 组平衡监督：为了处理在一个小批量（mini-batch）中可能存在多个图像共享相同粗层级标签的情况（例如，来自同一目下的两个不同物种），该方法会对标签进行聚合。所有在特定层级共享相同标签的图像-文本对都被视为正样本对。
  • 图像到文本损失 ($L_{I \to T}$)：计算图像嵌入与该层级内唯一文本嵌入集之间的相似度。
  • 文本到图像损失 ($L_{T \to I}$)：计算文本锚点与共享该标签的图像嵌入集之间的相似度。
• 最终目标：总损失是所有 $L$ 个层级损失的平均值：
  $$\mathcal{L} = \frac{1}{L} \sum_{\ell=1}^{L} \mathcal{L}_\ell$$
  这种等权重分配确保了细粒度层级能够获得充分的监督，且不会被高置信度的粗层级信号所主导。

2.3. 实现细节

• 基础模型：该框架微调了 BioCLIP（一个在生命之树上预训练的基础模型）。
• 训练数据：模型在 TreeOfLife-10M 上进行训练。
• 嵌入空间：该方法在 欧几里得（Euclidean） 和 双曲（Hyperbolic） 空间中实例化，后者在表示层次结构方面具有潜在优势。

3. 核心贡献

1. 识别假负例：本文指出，在标准对比学习中将祖先-后代标签视为负例，会产生违反平坦标签假设的冲突信号。
2. 层级限制框架：一种新颖的训练方案，通过将对比比较限制在同一分类层级的标签内，确保了正负样本对的定义明确。
3. 组平衡设计：一种处理小批量中标签冲突的机制，通过将具有相同特定层级标签的样本视为正样本，防止向频繁出现的粗层级类别产生偏差。
4. 实证验证：通过多个层次化基准测试的广泛评估，证明了其改进的准确性和一致性。

4. 实验结果

模型在三个基准测试上进行了评估：iNaturalist 2021 (iNat21)、Rare Species 和 CrypticBio。

4.1. 准确率提升

• iNat21：与 BioCLIP 基线相比，该方法将所有分类层级的平均准确率提高了 30.47%。
• 对比：该方法在所有数据集上均优于 OpenCLIP、BioCLIP 和 RCME（一种之前的面向层次结构的算法）。
• 粒度：在中间层级（目到属），即标准对比损失通常受跨层级歧义影响最严重的层级，观察到了显著的增益。尽管优化并非仅聚焦于物种级，但物种级的性能也得到了提升。

4.2. 层次一致性

• 自顶向下约束推理：在严格的协议下（即预测过程从粗糙到精细，仅限于有效的后代候选者），该方法保持了卓越的性能。
• 归一化最近共同祖先 (nLCA)：双曲变体实现了 0.71 的 nLCA 得分，而 RCME 为 0.43，这表明即使在精确的物种标签错误时，预测结果仍能保持在正确的分类分支附近。
• 空间对比：欧几里得变体在 iNat21 上表现最好，而双曲变体在 Rare Species 和 CrypticBio 上表现出更强的性能，特别是在更深层的分类层级。

4.3. 可视化

t-SNE 文本嵌入可视化显示，与 BioCLIP 相比，所提方法产生了更清晰的层次结构，减少了跨层级混合。同级类别被更清晰地分离，且来自相邻分类层级的嵌入形成了连贯的群体。

5. 重要性与主张

论文声称，所提出的层级限制对比学习框架有效地解决了多模态模型中的层次不一致问题。通过将比较限制在同一分类层级内互斥的标签集，并平衡各层级的监督，该方法：

• 消除了由层次空间中的假负例引起的冲突监督信号。
• 同时提升了平坦分类准确度和层次一致性。
• 促进了结构化层次关系在嵌入空间中的涌现，而无需除了对比重构之外的复杂几何特定目标或专门架构。

作者强调，这种方法对于具有复杂分类体系的领域（如生物多样性）的零样本分类特别有效，因为在这些领域中，维持跨层级的逻辑一致性对于实际应用至关重要。