技術要約: REBASE – 学習不要なインコンテキスト・セグメンテーションのための参照背景部分空間除去

1. 問題提起

本論文は、学習不要なインコンテキスト・セグメンテーション、特に、単一の注釈付き参照画像（$I_R$）とバイナリマスクが与えられた際に、ターゲットオブジェクトをクエリ画像（$I_Q$）内でセグメントしなければならないワンショット設定における課題に対処している。

近年の手法は、ビジョン基盤モデル（セマンティック対応性のためのDINOv2など）とプロンプト可能なセグメンテーションネットワーク（SAMなど）を組み合わせることで、再学習なしでの実現を図っているが、これらは**「偽のコンテキスト的対応関係（spurious contextual correspondences）」**という根本的な限界に直面している。自然画像において、参照画像とクエリ画像は、背景分布（空、草、あるいは特定の解剖学的領域など）における統計的な依存関係を共有することが多い。これらの共有されたコンテキストをエンコードする特徴方向は、参照画像のフォアグラウンドにもクエリ画像のバックグラウンドにも存在する。その結果、クロスイメージの類似度を計算する際、これらの背景特徴が非ターゲット領域における類似度スコアを人工的に高めてしまう。これにより、プロンプトポイントの局在化が劣化し、高密度な類似度事前分布が偏り、特にパーツレベルや関節を持つターゲットにおいて不正確なセグメンテーション境界を招く。

PerSAM、Matcher、GF-SAMといった既存の手法は、類似度マップの生の品質に依存しているが、これらは共通のコンテキスト・バイアスによって系統的に汚染されている。

2. 手法

著者らは、以下の3つのコアコンポーネントを通じて、これらの偽の対応関係を明示的に抑制する、学習不要なパイプラインであるREBASE（Reference-Background Subspace Elimination）を提案している。

2.1. 参照背景部分空間除去 (REBASE)

核心となる革新は、参照画像から推定された支配的な背景特徴部分空間を除去する、クローズドフォームかつパラメータフリーの直交射影である。

• 部分空間推定: 参照画像から、背景パッチ（フォアグラウンドの被覆率が低いパッチ）を特定し、それらのDINOv2特徴量を抽出する。これらの特徴量に対して、薄い特異値分解（SVD）を行い、上位$s$個の右特異ベクトルを取得することで、背景部分空間の基底 $B$ を形成する。
• 直交射影: 基底 $B$ を用いて、直交射影行列 $P_B = I - BB^\top$ を構築する。この射影器を、参照特徴（$F_R$）とクエリ特徴（$F_Q$）の両方に対称的に適用する：
  $$\tilde{F}_R = F_R P_B, \quad \tilde{F}_Q = F_Q P_B$$
  この操作により、背景コンテキストに対して直交する成分のみが保持される。参照の背景コンテキストと共有するクエリパッチは $B$ に強く投影されるため、減衰される。一方で、この特定の背景部分空間への投影が弱いターゲット関連のパッチは、概ね保持される。
• 適応的ランク: 部分空間のランク $s$ は固定ではなく、参照内の背景パッチ数（$n_{BG}$）に基づいてエピソードごとに適応される：$s = \lceil r \cdot n_{BG} \rceil$ （ここで $r$ は小さなハイパーパラメータ、デフォルトは0.005）。

2.2. 類似度重み付き最遠点サンプリング (SW-FPS)

単一の最大類似度点を選択する手法（PerSAM）や、単純なTop-$K$セット（しばしば単一の識別的な塊にクラスターしてしまう）とは異なり、本手法は空間的に分散したプロンプトを生成する。

• 候補選択: 類似度スコアが信頼閾値（$\mu_+ + \sigma_+/2$）を超えるパッチを候補とする。
• サンプリング戦略: 最初のプロンプトはグローバルな最大値とする。後続のプロンプトは、類似度の大きさと、既に選択された点からの空間的距離の加重和を最大化するように選択される：
  $$p^* = \arg \max_{p} \left( \alpha \cdot \tilde{d}(p) + (1-\alpha) \cdot \tilde{s}(p) \right)$$
  ここで $\alpha$ は分散性と信頼性のバランスを取る。これにより、細長い物体や関節を持つ物体をより効果的にカバーできる。

2.3. 高密度類似度事前分布の注入

本手法は、学習不要なパイプラインにおいて活用されがちな、SAMの補助的なマスク入力ブランチを利用する。

• クリーニングされた類似度マップを標準化（平均ゼロ、分散一）し、粗いフォアグラウンド推定として解釈する。
• ポジティブなサポート範囲外の場所には、一定の負のロジットを割り当てる。
• この高密度ロジットマップをSAMのネイティブ解像度にリサンプリングし、スパースなポイントプロンプトと共にデコーダに直接入力することで、より豊かな局在化の手がかりを提供する。

3. 主な貢献

1. 参照条件付き部分空間除去: 統計的なデータセット全体の統計に頼るのではなく、参照エピソードに固有の背景特徴部分空間を動的に推定・除去する、新しい学習不要なモジュール。
2. 改善されたプロンプティング戦略: 複雑なターゲットに対するTop-$K$選択の失敗に対処するため、空間的に多様なプロンプトを生成する「類似度重み付き最遠点サンプリング（SW-FPS）」の導入。
3. 高密度事前分布の活用: クリーニングされた類似度マップを高密度な事前分布としてSAMのマスク入力ブランチに効果的に統合し、デコーダの幾何学的理解を強化。
4. 最先端の性能: 特徴バックボーンやSAMデコーダを更新することなく、複数のベンチマークにおいて学習不要な手法の中で新たなSOTA（State-of-the-Art）を達成。

4. 実験結果

本手法は、5つの多様なワンショットセグメンテーションベンチマーク（ISIC 2018（皮膚病変）、Chest X-Ray（肺）、FSS-1000（細粒度オブジェクト）、PACO-Part、PASCAL-Part）で評価された。

• 全体的な性能: REBASEは、5つのベンチマークのうち4つ（ISIC, Chest X-Ray, FSS-1000, PACO-Part）において、学習不要な手法の中で新たなSOTAを確立し、PASCAL-Partでは第2位となった。
• 医学領域での利得: シーンコンテキストが高度に構造化されている医学画像において、最も顕著な改善が見られた。ISICにおいて、REBASEは63.8% mIoUを達成し、従来の最高水準の学習不要手法（INSID3）を9.4ポイント上回った。Chest X-Rayでは86.3% mIoUに達し、INSID3を7.5 pp上回った。
• 一般オブジェクトのセグメンテーション: FSS-1000において、REBASEは88.2% mIoUを達成し、GF-SAM（88.0%）およびINSID3（83.7%）を上回った。注目すべきは、追加の学習なしで、SegGPTやSegICといったファインチューニング・ベースラインをも上回った点である。
• アブレーション研究:
  • バニラなベースラインにSW-FPSを加えることで、mIoUが向上した（PACO-Partで約3.7 pp、ISICで約9.1 pp）。
  • 高密度事前分布の追加は、特にISICにおいて性能を大幅に向上させた（+12.4 pp）。
  • 最終的なREBASE投影により、さらに約4.4 pp（PACO-Part）および約3.9 pp（ISIC）向上した。
  • 対称的投影（両方に適用）は、非対称的投影よりもわずかに優れていることが判明した。

5. 意義と主張

本論文は、明示的な背景部分空間の除去が、ワンショット局在化において非常に効果的な原理であることを主張している。REBASEの意義は、以下の能力にある：

• 意味的アイデンティティとコンテキストの分離: 共有されたシーンコンテキストの方向を数学的に孤立させ除去することで、モデルが純粋にターゲットオブジェクトのセマンティック特徴に集中することを可能にする。
• 学習なしでの動作: クラス増分学習や基盤モデルのファインチューニングに伴う計算コスト、メモリオーバーヘッド、またはハイパーパラメータ調整を伴わずに、優れた性能を実現する。
• 堅牢な汎用性: 適応的ランク定式化は、単一のグローバルなハイパーパラメータ（$r$）のみを必要とし、それが多様なドメイン（医学、自然、パーツレベル）間で一貫して転移することから、その堅牢性が示されている。

著者らは、この視点が既存の基盤モデルパイプラインを補完するものであり、サポート条件付きの特徴マッチングを改善するための原理的なメカニズムを提供し、より堅牢なインコンテキスト・ビジュアル理解の手法への道を切り拓くものであると結論づけている。