論文要約：Free-Grained Hierarchical Visual Recognition

この論文は、階層的な画像認識における現実的な課題を解決するための新しい枠組み「Free-Grained Hierarchical Visual Recognition（自由粒度の階層的視覚認識）」を提案しています。従来の手法が前提とする「すべての訓練データが階層の全レベルで完全に注釈されている」という仮定は現実と乖離しており、本論文はラベルの粒度（粗さ・細かさ）が画像ごとに異なる状況下での学習と推論に焦点を当てています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

従来の階層的分類では、訓練画像が「鳥 $\to$ 猛禽類 $\to$ オオワシ」といったように、階層の全パス（すべてのレベル）で完全に注釈されていることを前提としています。しかし、現実のデータセットでは以下の理由により、ラベルの粒度が画像ごとに異なります。

• 本質的な要因: 画像の解像度や視覚的な曖昧さにより、詳細な分類（例：オオワシ）が不可能な場合、粗い分類（例：鳥）しか付与できない。
• 外部的要因: 注釈コスト、専門家の有無、注釈プロトコルの変化により、ラベルの深さが統一されていない。

この「混合粒度（Mixed-Granularity）」かつ「不完全な教師信号」から、階層構造の一貫性を保ちながら予測を行うタスクをFree-Grained Learningと呼びます。既存の手法はこの設定では性能が劇的に低下することが示されています。

2. 提案手法 (Methodology)

著者は、この課題に対処するために、新しいベンチマークと 2 つの主要な学習手法を提案しています。

A. ベンチマークの構築

既存のデータセット（CUB, Aircraft, iNat21-mini）に加え、大規模かつ多様な階層構造を持つImageNet-3Lを新規に構築しました。

• ImageNet-3L: 元の WordNet 階層（不規則で深さが一定でない）を、認知心理学に基づいた「基本レベル（Basic）」「下位レベル（Subordinate）」「微細レベル（Fine-grained）」の 3 段階に再構成したクリーンな階層です。
• Free-Grain バリアント:
  • Foundation-based (例: ImageNet-F): 大規模な視覚 - 言語モデル（CLIP, BioCLIP）のゼロショット推論精度に基づき、視覚的に曖昧な画像から微細ラベルを削除し、現実的な混合粒度の教師信号を生成します。
  • Randomized (例: CUB-Rand): ラベルの存在比率をランダムに制御し、ラベルの希少性に対するモデルの頑健性を評価します。

B. 学習手法

不完全な教師信号を補完するための 2 つのアプローチを提案しました。

1. Text-guided Pseudo-Attributes (Text-Attr):

   • 概要: 視覚 - 言語モデル（VLM）を用いて画像から説明文（キャプション）を生成し、それを教師信号として利用します。
   • メカニズム: 「短い足」「尖った耳」といった視覚的属性は階層レベル（犬 $\to$ コーギー）を超えて共通しています。画像特徴とテキスト埋め込みを対照学習（Contrastive Learning）で整合させることで、ラベルが存在しないレベルでも、視覚的な属性に基づいた判別的な特徴を学習させます。
   • 効果: 微細なラベルが不足している場合でも、テキストによる意味的ガイドラインが特徴学習を支援します。

2. Taxonomy-guided Semi-Supervised Learning (Taxon-SSL):

   • 概要: 欠落しているラベルレベルを「ラベルなしデータ」とみなし、半教師あり学習（SSL）の枠組みで処理します。
   • メカニズム:
     • マルチレベル擬似ラベル: 各レベルで擬似ラベルを生成します。
     • 階層整合性制約: 異なるレベル間での予測が階層構造（親子関係）と矛盾しない場合にのみ、サンプルペアを「正のペア」として扱います。これにより、ノイズの多い擬似ラベルをフィルタリングし、階層全体で一貫した特徴表現を学習します。

C. Free-Grained Inference (推論)

推論時、モデルは予測の深さを適応的に選択します。

• Consistency-based Stopping: 確信度（Confidence）だけでなく、階層構造の整合性を基準に停止判断を行います。これにより、誤った微細予測を行うよりも、正しい粗い予測で止まることを優先し、より信頼性の高い出力を実現します。

3. 主要な貢献 (Key Contributions)

1. タスクの定義: 訓練ラベルが階層の任意のレベルに存在し、推論時に適応的に予測深度を選択する「Free-Grained Recognition」を定義しました。
2. ベンチマークの提供: 現実的な注釈の難易度を反映した Foundation-based バリアントと、制御されたラベル希少性を評価する Randomized バリアントを含む、大規模なベンチマーク（ImageNet-3L など）を構築しました。
3. 新しい手法の提案: 欠落した教師信号を補う「Text-Attr」と「Taxon-SSL」を提案し、既存の階層分類器（HRN, H-CAST）を大幅に上回る性能を示しました。
4. 推論戦略の検証: 確信度ベースではなく、階層整合性に基づく停止判断が、より深くかつ正確な予測をもたらすことを実証しました。

4. 実験結果 (Results)

• 既存手法の限界: 混合粒度の教師信号下では、SOTA である H-CAST などの既存手法は、完全教師あり設定に比べて全パス精度（Full-Path Accuracy）が最大 40% 以上低下しました。
• 提案手法の性能:
  • ImageNet-F: Text-Attr（H-CAST 統合版）は、H-CAST 単体（57.6%）から 63.2% へ、HRN（37.8%）から大幅に改善しました。大規模で多様な視覚的 cue がある ImageNet ではテキストガイドが有効です。
  • iNat21-mini-F: 生物学的な微細分類では視覚的類似度が高いため、Taxon-SSL が最も有効（31.9%）でした。
  • CUB-F: 小規模データセットでは、ラベル伝播が有効な Taxon-SSL が 63.96% で最高性能を記録しました。
• ラベル希少性への頑健性: ラベルが極端に少ない状況（例：微細ラベルが 10% 未満）では、ラベルなしデータを活用する Taxon-SSL が優位性を示しましたが、データ量が多い場合は Text-Attr が有効でした。

5. 意義と結論 (Significance)

この研究は、階層的視覚認識を「理想的な完全注釈」から「現実の不完全な注釈」へとシフトさせる重要な一歩です。

• 現実適合性: 遠くの鳥を「鳥」としか分類できない状況や、専門家ではない注釈者の存在など、現実世界のデータ収集の制約をモデル化しました。
• 汎用性: 視覚的属性（Text-Attr）と階層構造の整合性（Taxon-SSL）という 2 つの異なるアプローチを組み合わせることで、多様なデータ特性に対応可能な基盤を提供しました。
• 将来展望: 階層内のクラス不均衡やレベル間の不均衡への対応、より高度な剪定手法の検討など、今後の課題も提示されています。

総じて、本論文は、不完全な教師信号から階層的一貫性を保ちながら学習する新しいパラダイムを確立し、実世界での階層的画像認識の実用性を大幅に向上させるものです。