技術要約: S3POT

問題提起

既存のフェース・パース（顔の領域分割）手法は、遮蔽物（手、物体、アクセサリーなど）を顔の構成要素として誤分類することが頻繁にあります。これは、「遮蔽（オクルージョン）」が高レベルな空間的概念であり、具体的なオブジェクトカテゴリではないため、あらゆる遮蔽タイプを網羅する実世界のデータセットを構築することがほぼ不可能であることに起因します。さらに、遮蔽マスクの正確な手動アノテーションは多大な労力を要します。合成データの生成も試みられていますが、多くの場合、実世界のシナリオに対する汎用性に欠けるという課題があります。加えて、Segment Anything Model (SAM) のような視覚的基盤モデルは精密なセグメンテーション能力を提供しますが、正確なプロンプトを必要とし、その生成にはグラウンドトゥルース（正解）のマスクが必要ですが、これを作成するのは困難です。

手法: S3POT

著者らは、顔生成と自己教師あり空間プロンプティングを相乗的に組み合わせた、コントラスト駆動型のフレームワークである S3POT (Segmentation via Self-Supervised Prompting Occlusion with conTrast) を提案しています。この手法は、学習中に遮蔽のグラウンドトゥルース・マスクを使用せず、以下の3つの主要モジュールで構成されています。

1. リファレンス生成 (Reference Generation: RG)

コントラストの基準を作成するために、本フレームワークは、元の遮蔽された画像 ($I$) から、遮蔽のない「リファレンス」となる顔 ($I_r$) を生成します。

• メカニズム: テクスチャについては元の画像に、構造については予測されたパース・マスク ($M_r$) に条件付けられた、E4SのRegional GAN Inversion (RGI) を利用します。
• 目的: 顔の幾何学的形状を維持しつつ、遮蔽された領域を現実的に再構成することで、空間的なガイドとして機能するクリーンなバージョンの顔を作成することです。

2. 特徴量強化 (Feature Enhancement: FE)

このモジュールは、SAMの画像エンコーダからの生の特長表現だけでは、単純なコントラストによって顔と遮蔽を区別するには不十分であるという制限に対処します。

• 初期プロンプティング: システムは、生の画像 ($Z$) とリファレンス画像 ($Z_r$) の画像トークン間のコサイン類似度を計算します。最も高い類似性を持つピクセル位置が初期プロンプト ($p_i$) として選択されます。これは、類似度の高い領域は共有された顔の構造を表し、類似度の低い領域は遮蔽やノイズを含んでいる可能性が高いという仮定に基づいています。
• クロスアテンション融合: 初期プロンプトは、SAMのマスクデコーダに着想を得た特徴調整コンポーネントを通じて処理されます。これには以下が含まれます：
  • Prompt-to-Image Cross-Attention ($p_iZCA$): プロンプトが画像特徴にアテンションを向けることを可能にします。
  • Image-to-Prompt Cross-Attention ($Zp_iCA$): 画像特徴がプロンプトにアテンションを向けることを可能にします。
  • MLP: 非線形変換を行います。
• 結果: この双方向の融合により、強化された画像トークン ($Z_e$ および $Z_{re}$) が生成され、特徴空間において顔領域と遮蔽の間のコントラストをより鮮明にします。

3. プロンプト選択 (Prompt Selection: PS)

このモジュールは、Global-Local-Global (GLG) 戦略を用いて、SAMマスクデコーダのためのポジティブ（遮蔽）およびネガティブ（顔）プロンプトのセットを構築します。

• 顔領域の抽出: パースされたマスクから顔領域マスク ($M_f$) を導出し、顔のトークン ($Z_{re}^{M_f}$ および $Z_e^{M_f}$) を分離します。
• 貪欲マッチング: 類似度に基づいて、リファレンスと元の画像の間のトークンをペアにする貪欲マッチングアルゴリズム（Algorithm 1）を実行します。
  • 非遮蔽プロンプト ($P_N$): リファレンス画像と元の画像の間で正常にマッチングしたトークン。
  • 遮蔽プロンプト ($P_O$): 元の画像内に存在し、遮蔽の候補として特定された未ペアのトークン。
• 自己アテンション・スクリーニング: 自己アテンションネットワークが結合されたプロンプトセット ($P$) を再重み付けし、過剰なプロンプトがSAMの性能を低下させるのを防ぐために冗長性とノイズをフィルタリングします。
• 学習目的関数: グラウンドトゥルースの遮蔽マスクなしで、以下の3つの新規かつ補完的な目的関数を用いてネットワークを学習させます：
  1. Occlusion Prompt Recall (OPR): 遮蔽プロンプトの予測確率を最大化します。
  2. Face Prompt Recall (FPR): 顔プロンプトの予測確率を最小化します（OPRと補完関係にあります）。
  3. Face Prompt Penalty (FPP): 誤検出を防ぐため、異常に高い確率を持つ顔プロンプトを特異的に罰します。

主な貢献

1. コントラスト駆動型フレームワーク: 現代的な顔モデルの生成能力を活用してリファレンス画像を生成し、遮蔽のグラウンドトゥルースなしで自己教師あり学習を可能にする、顔の遮蔽セグメンテーションへの新しいアプローチ。
2. 2段階プロンプト戦略: クロスアテンションによる特徴強化と、貪理マッチングアルゴリズムを組み合わせ、基盤モデルのためのポジティブ/ネガティブプロンプトを自動生成およびスクリーニングする手法。
3. 新規の目的関数: 遮蔽ラベル付きデータが存在しない状況下で、自己アテンション学習を制御し、モデルを正確なセグメンテーションへと導くためのOPR、FPR、およびFPPの導入。
4. 専用データセット: この分野におけるデータの欠如に対処するため、手動でアノテーションされた遮蔽マスクを持つ専門的なデータセット（CelebA 1,389枚、FFHQ 1,104枚）の収集。

実験結果

著者らは、収集したデータセットを用いて、顔パース、視覚的リファレンスセグメンテーション、およびテキスト誘導型推論セグメンテーションにおける最先端手法と比較し、S3POTを評価しました。

• 性能: S3POTは、標準的な学習モードで 76.2、画像ごとのオーバーフィッティングモードで 80.4 の IoU を達成しました。
• 比較:
  • フェース・パース: 適応されたモデルであるSegFace* (73.1 IoU) やDML-CSR* (72.4 IoU) を上回りました。既存のパースモデルは、手や指を皮膚として誤分類するなど、正しくセグメント化できないことがよくあります。
  • 視覚的リファレンスセグメンテーション: PerSAM、Matcher、VRP-SAM（それぞれ21.3から51.2 IoU）を大幅に上回りました。これらのモデルは、肌の色が似ていることや境界の問題により、遮蔽を顔の特徴と区別することに苦慮しています。
  • 推論セグメンテーション: LISAやSesame（遮蔽セグメンテーションにおいて約6.5 IoU）を上回りました。著者らは、これらモデルが特定の学習なしに「遮蔽」という言語的概念を理解することの難しさに起因すると述べています。
• アブレーション研究:
  • 特徴量強化 (FE) を削除すると、性能が大幅に低下（56.9へ）し、特徴空間における識別能の必要性が確認されました。
  • プロンプト選択 (PS) を削除するか固定閾値を使用すると、性能が著しく低下し、貪欲マッチングと自己アテンション・スクリーニングのメカニズムの妥当性が証明されました。
  • 最適な結果を得るためには3つの目的関数すべてが必要であり、リコール項のみを使用すると、過小セグメンテーションまたは過剰セグメンテーションにつながりました。

意義と主張

本論文は、直接的な分類からコントラスト駆動型のプロンプト生成へとパラダイムをシフトさせることで、S3POTが遮蔽セグメンテーションの曖昧さを解決することを主張しています。生成されたリファレンス顔の構造的一貫性と、基盤モデルの適応的な特徴修正を活用することで、多様な遮蔽カテゴリのアノテーションという膨大なコストをかけることなく、高精度なセグメンテーションを実現します。

著者らは、本手法がピクセル単位の完全な再構成ではなく、高レベルな構造的ガイダンスに依存しているため、リファレンス画像の品質の変化に対して堅牢であることを強調しています。本手法は一般的な遮蔽には効果的に対処しますが、極めて微細な遮蔽（例：顔の毛）や曖昧な境界（例：半透明の物体）については限界があることを謙虚に認めており、これらをマルチスケール特徴融合や不確実性を考慮したマスキングを含む将来の研究領域として示唆しています。