Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

技術的サマリー：微細なオープンボキャブラリーセグメンテーションのための分解型視覚言語アライメント

問題定義
オープンボキャブラリーセグメンテーション（OVS）モデルは、視覚言語事前学習を通じて未見のカテゴリ名への汎化が可能であるものの、未見の物体カテゴリと属性の組み合わせへの汎化には苦慮している（例えば、トレーニング中に特定の組み合わせが観測されなかった場合、「平屋根の工業用ビル」と「平屋根の住宅用ビル」を区別することなど）。既存のアプローチは通常、テキストプロンプト全体を単一のホリスティックなシーケンスとしてエンコードする。このホリスティックなエンコードは、カテゴリと属性のセマンティクスを共有表現内で絡み合わせさせ、推論時にセマンティック単位を分解して再結合することをモデルに妨げている。その結果、モデルは微細な構成的推論に必要な論理的な「AND」制約を強制できず、未見の属性–カテゴリ構成における性能低下を招く。

手法
著者らは、テキストプロンプトを明示的に因数分解し、特徴レベルおよびスコアリングレベルの両方で構成的制約を強制するように設計された「分解型視覚言語アライメント」フレームワークを提案する。この手法はモデル非依存であるが、ここでは SAM3 アーキテクチャ内で具体化されている。

1. 明示的なプロンプト分解:
   テキストを単一の文として連結するのではなく、このフレームワークはカテゴリと各属性を独立してエンコードする。幾何学的な曖昧さ（例えば、「平屋根」が任意の平坦な表面に適用されること）を解決するため、属性はエンコード中にカテゴリに条件付けられる（例えば、「平屋根」を「平屋根のビル」としてエンコードするなど）。これにより、カテゴリトークンシーケンス（$t_c$）、属性トークンシーケンスの集合（$t_{a_k}$）、および属性存在マスク（$m$）からなる構造化された表現が得られる。

2. 特徴ゲート付きクロスアテンション:
   このフレームワークは、視覚クエリと各セマンティック単位の間に分解されたクロスアテンションを実行する。

   • カテゴリ相互作用: クエリをカテゴリトークンと整合させるために、標準的なクロスアテンションが使用される。
   • 属性ゲート: 各属性について、別々のクロスアテンションブランチがシグモイド活性化を介してゲートマップ（$G_{a_k}$）を生成する。これらのゲートは「必要条件フィルタ」として機能する。
   • AND 構成: 最終的な特徴出力は、カテゴリ整合特徴とすべてのアクティブな属性ゲートの要素ごとの乗算によって得られる（$F_{out} = Q_c \odot \prod G_{a_k}$）。この乗算的集約は、視覚特徴がすべての属性制約を同時に満たす場合にのみ保持されることを強制する。

3. 対数空間 AND 構成的スコアリング:
   確率の乗算に伴う数値的不安定性と勾配の消失を回避するため、スコアリング機構は対数空間で動作する。

   • カテゴリおよび各属性のマッチング対数オッズ（logits）は独立して計算される。
   • これらの対数オッズはシグモイドを介して確率に変換され、その後、対数確率にマッピングされる。
   • 最終的な構成的スコアは、これらの対数確率の和であり、アクティブなコンポーネントの数で正規化される。この定式化は、最適化中の安定した勾配を維持しつつ、論理的な AND 演算（$\log(\prod \pi) = \sum \log(\pi)$）を数学的に近似する。

主な貢献

• 分解型視覚言語アライメント: トランスフォーマーベースのセグメンテーションアーキテクチャにシームレスに統合され、カテゴリと属性の相互作用を明示的に分離することで微細な OVS を改善するフレームワーク。
• 特徴ゲート付きクロスアテンション: 属性が空間フィルタとして機能し、属性固有の特徴学習を分離するとともに、乗算的ゲートリングを介して構成的制約を強制する新規モジュール。
• 対数空間 AND 構成的スコアリング: 直接確率乗算と比較して数値的安定性と改善された最適化動作を提供し、セマンティック単位間の論理的な AND 関係を明示的にモデル化するスコアリング戦略。
• 構成的汎化評価プロトコル: 観測済みおよび未観測の属性–カテゴリ構成にデータを分割し、未見 AP、観測–未見ギャップ（$R_d$）、および AND 効率などの指標を用いて構成的推論能力を測定する厳格な評価プロトコルの導入。

実験結果
この手法は、特定の属性–カテゴリの組み合わせがトレーニングから除外された構成的汎化設定の下で、UBC ビルデータセットおよびPACO-LVIS データセットで評価された。

• 性能向上: UBC データセットにおいて、提案手法は未見 AP を SAM3 ベースラインの 4.0 から7.1に向上させ、AND 効率指標は 0.533 から0.959へ大幅に改善した。PACO-LVIS では、未見 AP が 37.9 から39.2へ、AND 効率が 0.874 から0.907へ上昇した。
• アブレーション研究: 実験により、ホリスティックなエンコードが汎化を制限することが確認された。ホリスティックなエンコードを独立エンコードおよび平均集約に置き換えることで結果は改善されたが、完全な対数空間 AND機構が最も顕著な向上をもたらした。さらに、この手法は適応された構成的ゼロショット学習（CZSL）手法（例：AttrAsOp、CGE）を上回り、密な予測タスクにおいてグローバルな構成ベクトルよりもピクセルレベルの空間ゲートリングが優れていることを示した。
• 定性的分析: 特徴ゲートの可視化により、モデルはカテゴリに一致するが特定の属性制約に違反するインスタンスを抑制することを成功裡に学習したことが示された（例えば、プロンプトが「住宅用」を要求する際に商業ビルを抑制するなど）。これにより、乗算的ゲートリング機構の有効性が確認された。

重要性
本論文の主な重要性は、微細な構成的推論における視覚言語モデルの体系的なバイアスに対処することにある。画像レベルの構成的ゼロショット学習からの分解の洞察を、セグメンテーションのピクセルレベルのドメインへ転移させることで、この研究は、セマンティック単位の明示的な因数分解と、特徴レベルでの論理制約の強制が、未見の構成への汎化にとって不可欠であることを実証している。著者らは、このフレームワークが、複雑で構造化されたセマンティック記述を処理可能な、より信頼性の高いオープンワールド知覚システムの開発のための堅固な基盤を提供すると主張している。