技術要約：階層的な細粒度ビジョン分類のためのレベル制限付き対照学習

1. 問題提起

CLIPのようなマルチモーダル対照学習モデルは、画像とテキストの埋め込みを整合させることで、ゼロショット視覚分類において強力な能力を示してきました。しかし、これらのモデルは通常、**フラットラベル仮定（flat-label assumption）**の下で動作しており、一致しないすべてのテキストラベルを等価な負例として扱います。この仮定は、階層構造を持つラベル空間（例：生物学的分類学）に適用される際、破綻します。

階層的な設定では、標準的な対照学習は矛盾する教師信号を生成します。例えば、ライオン（Panthera leo）とオオカミ（Canis lupus）は、種および属のレベルでは異なりますが、より高いレベルの祖先（例：食肉目 Carnivora）を共有しています。標準的なフラットラベルの対照学習の設定では、「オオカミ」というテキストラベルは、ライオンの画像に対して負のターゲットとして扱われますが、これらは目（order）のレベルでは意味的に互換性があります。これは、階層レベル間での**偽の負例（false negatives）を生み出し、モデルの予測された細粒度のラベルが、予測された高次のカテゴリに属さないという階層的不整合（hierarchical inconsistency）**を引き起こします。

2. 手法

著者らは、レベル間の偽の負例を排除し、分類学全体にわたるバランスの取れた最適化を保証するために設計された、**レベル制限付き対照学習（Level-Restricted Contrastive Learning）**フレームワークを提案しています。

2.1. 問題の定式化

分類学は、$L$ 個の階層レベル（粗いものから細かいものまで）を持つ集合 $\mathcal{T} = (C_1, \dots, C_L)$ として定義されます。各画像 $x_i$ は、分類学的ラベルベクトル $t_i = (t_i^1, \dots, t_i^L)$ に関連付けられています。

• テキスト構築: 各レベル $\ell$ について、そのレベルまでの分類学的接頭辞を含むテキストラベル $y_i^\ell$ が構築されます：$y_i^\ell = (t_i^1, \dots, t_i^\ell)$。
• エンコーディング: 画像とテキストラベルは、CLIPベースの画像エンコーダ（$f$）とテキストエンコーダ（$g$）を使用して、それぞれ埋め込み $v_i$ と $z_i^\ell$ を生成します。

2.2. レベル制限付き対照損失

全レベルに対して結合された対照損失を実行する代わりに、目的関数を各分類学的レベル内での独立した比較へと分解します。

• レベル内比較（Intra-Level Comparison）: 対照損失は各レベル $\ell$ に対して個別に計算されます。種レベルのラベルは、種や目、科などの異なるレベルのラベルと比較されることを避け、他の種レベルのラベルとのみ比較されます。
• グループ・バランス・スーパービジョン（Group-Balanced Supervision）: ミニバッチ内で複数の画像が同じ粗いレベルのラベルを共有する場合（例：同じ「界」に属する2つの異なる種）に対処するため、ラベルを集約します。特定のレベルにおいて同じラベルを共有するすべての画像とテキストのペアは、正のペアとして扱われます。
  • 画像からテキストへの損失 ($L_{I \to T}$): 画像の埋め込みと、そのレベルにおける一意なテキスト埋め込みの集合との間の類似性を計算します。
  • テキストから画像への損失 ($L_{T \to I}$): テキストのアウンカー（anchor）と、そのラベルを共有する画像埋め込みの集合との間の類似性を計算します。
• 最終的な目的関数: 全損失は、すべての $L$ レベルにわたる損失の平均です：
  $$\mathcal{L} = \frac{1}{L} \sum_{\ell=1}^{L} \mathcal{L}_\ell$$
  この等価な重み付けにより、細粒度のレベルが十分な教師信号を受け取り、高信頼度の粗いレベルの信号に支配されないことが保証されます。

2.3. 実装の詳細

• ベースモデル: 本フレームワークは、生命の樹（Tree of Life）で事前学習された基礎モデルである BioCLIP をファインチューニングします。
• 学習データ: モデルは TreeOfLife-10M で学習されます。
• 埋め込み空間: この手法は、ユークリッド空間と双曲空間の両方で実装されます。後者は、階層構造を表現する上で潜在的な利点を提供します。

3. 主な貢献

1. 偽の負例の特定: 本論文は、標準的な対照学習において、祖先と子孫のラベルを負例として扱うことが、フラットラベル仮定に違反する矛盾した信号を生み出すことを特定しました。
2. レベル制限付きフレームワーク: 対照的な比較を同じ分類学的レベル内のラベルに限定することで、明確に定義された正のペアと負のペアを確保する、新しい学習レシピを提案しました。
3. グループ・バランス設計: 特定のレベルにおけるラベルの衝突を処理するためのメカニズムにより、頻出する粗いカテゴリへのバイアスを防ぎます。
4. 実証的検証: 複数の階層的ベンチマークにおける広範な評価を通じて、向上した一貫性と精度を実証しました。

4. 実験結果

モデルは、iNaturalist 2021 (iNat21)、Rare Species、CrypticBio の3つのベンチマークで評価されました。

4.1. 精度の向上

• iNat21: 提案手法は、BioCLIPのベースラインに対して、全分類学的レベルにおける平均精度を30.47%向上させました。
• 比較: 本手法は、すべてのデータセットにおいて、OpenCLIP、BioCLIP、およびRCME（従来の階層指向手法）を上回りました。
• 粒度: 標準的な対照損失が最も影響を受ける中間レベル（目から科）において、顕著な利得が観察されました。また、最適化がレベルに特化していないにもかかわらず、種レベルの性能も向上しました。

4.2. 階層的一貫性

• トップダウン制約推論: 候補を有効な子孫に限定する厳格なプロトコル下での推論において、本手法は優れた性能を維持しました。
• 正規化LCA (nLCA): 双曲型バリアントは、RCMEの0.43に対し、0.71のnLCAスコアを達成しました。これは、正確な種のラベルが間違っている場合でも、予測が正しい分類学的分岐に近いことを示しています。
• 空間比較: ユークリッド型はiNat21で最高の性能を示しましたが、双曲型はRare SpeciesおよびCrypticBioにおいて、特に深い分類学的レベルでより強い性能を示しました。

4.3. 可視化

テキスト埋め込みのt-SNE可視化により、提案手法はBioCLIPと比較して、レベル間の混合が少なく、より明確な階層構造を生成することが明らかになりました。隣接するカテゴリ（sibling categories）はより明確に分離されており、近い分類学的レベルの埋め込みは一貫したグループを形成しています。

5. 重要性と主張

本論文は、提案されたレベル制限付き対照学習フレームワークが、マルチモーダルモデルにおける階層的不整合の問題を効果的に解決することを主張しています。比較を相互に排他的なラベルセット内に制限し、レベル間でスーパービジョンをバランスさせることにより、本手法は以下を実現します：

• 階層空間における偽の負例によって引き起こされる矛盾する教師信号を排除します。
• フラットな分類精度と階層的一貫性の両方を同時に向上させます。
• 複雑な幾何学的目的関数や、対照的な再定式化を超えた特殊なアーキテクチャを必要とせずに、埋め込み空間における構造化された階層関係の出現を促進します。

著者らは、このアプローチが、生物多様性のような複雑な分類学を持つドメインにおけるゼロショット分類において特に効果的であり、そこではレベル間の論理的一貫性を維持することが実世界での適用可能性にとって極めて重要であることを強調しています。