FOCUS: Bridging Fine-Grained Recognition and Open-World Discovery across Domains

この論文「FOCUS: Bridging Fine-Grained Recognition and Open-World Discovery across Domains」は、細粒度画像認識（Fine-Grained Visual Categorization）、ドメイン汎化（Domain Generalization）、そして**オープンワールドでの新規カテゴリ発見（Generalized Category Discovery）**という 3 つの課題を統合的に解決する新しいフレームワーク「FOCUS」と、そのための評価ベンチマークを提案するものです。

以下に、論文の技術的要点を日本語で詳細にまとめます。

1. 問題定義：FG-DG-GCD

従来の研究は、以下のいずれかの課題に焦点を当てていましたが、現実世界の応用（生物多様性モニタリング、産業検査など）ではこれらが同時に発生します。

• Fine-Grained Domain Generalization (FG-DG): 学習データ（ソースドメイン）とテストデータ（ターゲットドメイン）の分布が異なる条件下で、細粒度の既知クラスを認識する。
• Generalized Category Discovery (GCD): ラベル付きデータ（既知クラス）とラベルなしデータ（未知クラス）が混在する環境で、未知のクラスを発見・クラスタリングする。

提案する課題：FG-DG-GCD

• 定義: ラベル付きのソースドメインデータのみで学習し、分布がシフトした（ドメインが異なる）ラベルなしのターゲットドメインにおいて、既知の細粒度クラスを認識しつつ、未知の細粒度クラスを発見するタスク。
• 難易度: 細粒度認識ではクラス間の差異が微小（例：鳥の嘴の形、車のグリル）であり、ドメインシフト（実写→スケッチ、実写→油絵など）によってテクスチャや色が変わると、これらの重要な手がかりが失われやすいため、極めて困難です。また、未知クラスを既知クラスの分布に誤って吸収（Overconfidence）させないよう、不確実性を適切に管理する必要があります。

2. 提案手法：FOCUS (Fine-grained Open-world Category discovery with Uncertainty and partS)

FOCUS は、合成データ生成やエピソード学習（Episodic Learning）を必要としない、単一ステージのフレームワークです。2 つの主要モジュールで構成されます。

(1) ドメイン一貫性のあるパーツ発見 (Domain-Consistent Parts Discovery: DCPD)

• 目的: ドメインシフトに頑健な幾何学的な部分（パーツ）を特定し、表現を学習する。
• 背景: 既存の細粒度 GCD 手法（例：APL）は、グローバルな共有クエリを使用するため、ソースドメインのテクスチャに過剰適合しやすく、ドメインが変化すると機能しなくなります。
• 仕組み:
  1. 自己注意の事前知識 (Self-Attention Priors): ViT の [CLS] トークンからパッチへの注意マップを閾値処理し、幾何学的に安定した領域（輪郭や構造）をマスクとして抽出します。
  2. 画像条件付きパーツクエリ (Image-Conditioned Part Queries): 学習可能なグローバルクエリではなく、各画像の幾何構造に基づいて動的に生成されるクエリを使用します。これにより、テクスチャに依存せず、形状に基づいたパーツ発見が可能になります。
  3. 微分可能なパッチからパーツへの割り当て: Gumbel-Softmax を用いて、パッチを特定のパーツに排他的に割り当てます。これにより「特徴の漏洩」を防ぎ、明確な境界を維持します。
  4. パーツとグローバルの融合: 局所的なパーツ特徴と、高次元のセマンティックなグローバル特徴（[CLS]）を融合させ、両者の利点を活かした頑健な埋め込みを生成します。

(2) 不確実性意識型特徴増強 (Uncertainty-Aware Feature Augmentation: UFA)

• 目的: 未知のクラスが既知クラスの分布に誤って吸収されるのを防ぎ、オープンスペースでの不確実性を適切に調整（Calibration）する。
• 仕組み: 画像レベルの増強ではなく、特徴空間（Embedding Space）内で直接、既知クラスの分布に基づいて合成的なアウトライヤー（OOD 样本）を生成します。
  1. 統計量の推定: 指数移動平均（EMA）を用いて、各既知クラスの平均と共分散を推定します。
  2. 3 段階の OOD サンプリング:
     • Tail-Variation: 既知クラスの分布の裾野（低密度領域）からサンプリングし、境界付近の過信を防ぎます。
     • Between-Class Mixing: クラス間の曖昧な領域を凸結合で生成し、類似クラス間の混同を防ぎます。
     • Far-Away Unknown: 既知クラスから遠く離れた超球面上からサンプリングし、完全に未知の領域を定義します。
  3. 正則化: 生成された OOD 特徴に対して、エネルギーベースのアウトライヤー露出（Energy-based Outlier Exposure）とエントロピー最大化を適用し、未知データに対しては高いエントロピー（不確実性）を出力するように分類器を調整します。

3. 主要な貢献

1. FG-DG-GCD という新しい課題の定式化:
   細粒度認識、ドメイン汎化、新規カテゴリ発見を統合した新しい設定を定義し、その難しさと実用性を示しました。
2. 初の FG-DG-GCD ベンチマークの構築:
   CUB-200-2011（鳥）、Stanford Cars（車）、FGVC-Aircraft（航空機）の 3 つのデータセットに対し、Stable Diffusion XL (SDXL) と T2I-Adapter を用いて、形状や構造を保持しつつスタイル（実写、油絵、スケッチ）のみを変化させた合成ドメインを生成しました。これにより、厳密なドメインシフト下での評価が可能になりました。
3. FOCUS フレームワークの提案:
   合成データ生成やエピソード学習に依存せず、DCPD と UFA を組み合わせることで、既存の手法を大幅に上回る性能を達成しました。

4. 実験結果

• 評価指標: 既知クラス精度（Old）、未知クラス発見精度（New）、全体精度（All）。
• 主要な結果（Fine-Grained ベンチマーク）:
  • 提案手法 FOCUS は、既存の GCD、FG-GCD、DG-GCD のベースラインをすべて上回りました。
  • 全体精度（All）で、最善の既存手法（HIDISC など）に対して**+1.17%、新規クラス発見精度（New）で+1.95%**の改善を達成しました。
  • 特に、HIDISC（合成データ使用）や DG2CD-Net（エピソード学習使用）と比較して、計算コストが約 3 倍〜300 倍低く、効率的であることが示されました。
• 粗粒度タスクへの転移:
  PACS、Office-Home、DomainNet などの粗粒度ドメイン汎化ベンチマークでも、合成データを最小限（または不使用）で SOTA 水準の性能を維持し、汎用性の高さを示しました。
• アブレーション研究:
  • DCPD による幾何学的なパーツ発見が、ドメインシフト下での性能向上に不可欠であることを示しました。
  • UFA の 3 つのサンプリング戦略（Tail, Mix, Far）は相補的であり、すべて組み合わせることで最大の効果を得られます。
  • 既存の手法（APL など）に DCPD を組み込むだけで性能が向上することから、DCPD の優位性が確認されました。

5. 意義と結論

この論文は、**「ドメインシフト下での細粒度認識」と「オープンワールドでの新規カテゴリ発見」**という、従来は別々に扱われていた難問を統合的に解決する最初の包括的な枠組みを提供しました。

• 技術的革新: テクスチャや色といったドメインに依存する特徴ではなく、幾何学的構造に焦点を当てた表現学習（DCPD）と、特徴空間内での不確実性制御（UFA）により、モデルが未知のドメインやクラスに対して過信せず、かつ正確に識別できることを示しました。
• 実用性: 合成データ生成や大規模なエピソード学習を不要とするため、計算リソースが限られた環境や、ターゲットドメインへのアクセスが制限される現実的なシナリオ（例：新しい環境での生物種の発見、未知の故障パターンの検出）への適用が容易です。
• 将来展望: 構築されたベンチマークは、今後の研究における標準的な評価基準となり、より頑健でオープンワールドなコンピュータビジョンシステムの開発を促進すると期待されます。

要約すると、FOCUS は「形（幾何学）を頼りにし、不確実性を正しく扱う」ことで、変化する環境でも細かな違いを見極め、未知のものも発見できる次世代の認識システムを実現しました。