FA-Seg: A Fast and Accurate Diffusion-Based Method for Open-Vocabulary Segmentation

以下は、論文「FA-Seg: A Fast and Accurate Diffusion-Based Method for Open-Vocabulary Segmentation」の詳細な技術的サマリーです。

1. 問題定義

**オープンボキャブラリーセマンティックセグメンテーション（OVSS）**は、あらゆる可能なクラスに対する密なピクセルレベルの注釈を必要とすることなく、任意のテキストカテゴリに基づいて画像内の物体をセグメント化することを目指します。

• 既存手法の限界:
  • ビジョン・ランゲージモデル（例：CLIP）: ゼロショット認識には効果的ですが、グローバルな画像・テキスト埋め込みに依存するため、ピクセルレベルでの空間精度が低く、境界がぼやける傾向があります。
  • 拡散モデルベースの手法: アテンション機構を通じて微細な空間特徴を自然に符号化しますが、既存の手法はしばしば高い計算コストに悩まされます。多くの手法がクラスごとの複数の推論ステップ、広範な最適化、または合成データの生成を必要とし、セグメンテーションの質と推論効率の間にトレードオフを生じさせています。
• ギャップ: 高精度なセグメンテーション（微細な空間精度）を達成しつつ、実世界での展開に適した計算効率を維持するトレーニングフリーの OVSS 手法が緊急に必要とされています。

2. 手法：FA-Seg

FA-Seg は、事前学習済みのテキストから画像への拡散モデル（具体的には Stable Diffusion）を活用し、単一の推論実行でセグメンテーションを行うトレーニングフリーのフレームワークです。パイプラインは以下の 3 つの主要な段階で構成されます。

A. 二重プロンプト構築

忠実な画像再構成とクラス固有のアテンション抽出の両方を可能にするため、FA-Seg は 2 つの補完的なプロンプトを構築します。

1. キャプションプロンプト（$\mathcal{P}$）: 入力画像の再構成をガイドする DDIM 反転を行うために、画像キャプション生成モデル（例：BLIP）によって生成されます。
2. クラスプロンプト（$\mathcal{P}'$）: キャプションに追加される候補物体カテゴリのリスト（TagCLIP + BLIP によって生成）。

• メカニズム: 拡散モデルは再構成に$\mathcal{P}$を使用しますが、候補クラスに特化したクロスアテンションマップを生成するために$\mathcal{P}'$を利用します。これにより、モデルは反復的な再推論を行うことなく、特定のセマンティック概念に焦点を当てることができます。

B. 効率的な反転とアテンション抽出

• 高速反転: 標準的な多ステップ DDIM 反転の代わりに、FA-Seg は**2-Rectified Flow（2-RF）**を採用します。この蒸留モデルは、(1+1) ステッププロセス（1 つのフォワードステップと 1 つのバックワードステップ）で正確な画像再構成を可能にし、推論時間を劇的に短縮します。
• アテンション抽出: ノイズ除去プロセス中に、以下のものを抽出します。
  • クロスアテンションマップ: クラスプロンプトからのテキストトークンと画像領域をリンクさせます。
  • セルフアテンションマップ: 画像の内部空間構造とペアワイズ類似性を捉えます。
  • これらは複数の解像度（$r \in \{8, 16, 32, 64\}$）で抽出されます。

C. 階層的アテンション洗練手法（HARD）

高品質なマスクを生成するために、FA-Seg は異なる解像度からのアテンションマップを融合します。

1. クロスアテンション融合: 異なる解像度からのクロスアテンションマップをアップサンプリングし、加重和を用いて集約します。低い解像度（例：16）はセマンティックな文脈のために高い重みが付けられ、高い解像度はノイズを低減するために重みが下げられます。
2. セルフアテンション洗練: 融合されたクロスアテンションマップは、セルフアテンション親和性行列を用いてさらに洗練されます。セルフアテンションマップは、クロスアテンションが欠如している構造的詳細（境界や形状）を提供します。この手法は、セルフアテンションテンソルをクロスアテンションマップの解像度に一致するように変換し、乗法的重みとして適用して物体の境界を鮮明にします。
3. テスト時フリップ（TTF）: 空間的一貫性を向上させるため、入力画像の水平反転バージョンに対してプロセスを繰り返します。得られたアテンションマップは再調整され、元のマップと平均化されてノイズを低減し、ロバスト性を向上させます。

3. 主な貢献

1. 統合された単一実行推論: 従来の手法が各クラスごとに別々の推論実行を必要としたのに対し、FA-Seg は単一の (1+1) ステップ推論ですべての候補クラスに対するセグメンテーションマスクを同時に生成します。
2. 二重プロンプト機構: 再構成プロンプトとクラス認識プロンプトを分離する革新的な戦略により、拡散モデルが画像忠実度を損なうことなく特定のカテゴリに対する判別性のあるアテンションマップを抽出できるようにします。
3. 階層的アテンション洗練（HARD）: 解像度を超えてクロスアテンション（セマンティックな局在化用）とセルフアテンション（構造的洗練用）を組み合わせるマルチスケール融合戦略により、精密な物体境界を達成します。
4. トレーニングフリーの効率性: この手法は微調整や合成データの生成を必要とせず、最小限の計算リソースで、1 秒未満の推論時間により最先端の性能を達成します。

4. 実験結果

著者らは FA-Seg を 3 つの標準ベンチマーク：PASCAL VOC、PASCAL Context、およびCOCO Objectで評価しました。

• 性能（mIoU）:
  • FA-Seg は 3 つのデータセット全体で**平均 mIoU 43.8%**を達成しました。
  • これはトレーニングフリーの拡散モデルベース手法における新たな最先端（SOTA）を確立し、InvSeg（42.4%）、DiffSegmentor（41.8%）、および各種 CLIP ベースのアプローチなどの競合他社を上回りました。
  • 具体的なスコア: 64.0%（PASCAL VOC）、31.3%（PASCAL Context）、36.2%（COCO）。
• 効率性:
  • 推論時間: RTX 4090 GPU 上で画像あたり0.36 秒です。これは InvSeg（H100 で 7.9 秒）や DiffSegmentor（クラス数に比例して時間が増加）よりも大幅に高速です。
  • メモリ: VRAM 使用量は13.4 GBのみで、InvSeg の 32.4 GB と比較して大幅に少ないです。
• アブレーション研究:
  • セルフアテンション洗練を除去すると、性能が最も大きく低下しました（-15.1%）。これは空間精度におけるその決定的な役割を実証しています。
  • マルチ解像度マップの加重融合は、単純な平均融合を上回りました。
  • 候補クラス生成のためのTagCLIP+BLIPの組み合わせが最も堅牢であることが証明されました。

5. 意義と影響

• ギャップの埋め合わせ: FA-Seg はセグメンテーションの質と推論効率の間のギャップを成功裏に埋め、高精度なオープンボキャブラリーセグメンテーションが重厚なトレーニングや多ステップ最適化を必要としないことを実証しました。
• 実用的な展開: 推論時間を 1 秒未満に、メモリ使用量を約 13GB に削減することで、FA-Seg はロボット工学、自動運転、インタラクティブツールなどの実世界アプリケーションにおけるリアルタイム・オープンボキャブラリーセグメンテーションを可能にします。
• 将来の作業の基盤: この論文はトレーニングフリーの拡散セグメンテーションのための強力な基準を設定し、将来の改善は適応的な候補生成やインスタンスレベルのセグメンテーションに焦点を当てることが示唆されます。

結論として、FA-Seg は、高度に最適化されたトレーニングフリーかつ計算効率的なフレームワークを通じて拡散モデルの内在的な空間能力を活用することで、オープンボキャブラリーセグメンテーションの分野において重要な進歩を表しています。