技術要約: SEAMS – MSE保存型ソフトマスクによる充足性サリエンシー

問題提起

現在のコンピュータビジョンにおける視覚的説明手法は、主に感度ベースのアプローチ（例：勾配属性、Integrated Gradients、Layer-wise Relevance Propagation）に依存しています。これらの手法は、入力の微小な摂動に対してモデルの出力がどの程度敏感であるかを推定します。しかし、著者らは、感度と**充足性（sufficiency）**は根本的に異なる概念であると主張しています。あるピクセルは、高い感度（小さな変化が大きな出力の変化を引き起こす）のために高い属性スコアを持つ可能性がありますが、その情報は画像の他の場所にも冗長にエンコードされている可能性があります。逆に、勾配が低いピクセルであっても、予測を維持するために厳密に必要である場合があります。

充足性を解決しようとする既存の摂動ベースの手法は、特定の限界に直面することがあります。例えば、補助的なディストラクター（妨害）データセットを必要としたり、アーキテクチャ固有の属性メカニメントに依存したり、あるいは離散的なピクセルのサブセットを選択するために複雑な微分可能なtop-$k$緩和やソート演算器を必要としたりすることがあります。対処すべき中心的な問題は、これらの補助的な依存関係なしに、特定のモデル出力（クラス確率、CLS埋め込み、またはトークン表現など）を保持するために十分な、最小かつコンパクトな画像ピクセルのサブセットをどのように特定するかという点です。

手法: SEAMS

著者らは、ターゲットとなる表現を保持するように連続的なソフトマスクを直接最適化する、ポストホック（事後）かつモデルに依存しないフレームワークであるSEAMS（Sufficiency Saliency via MSE-Preservation Soft-Masks）を提案しています。

コアフレームワーク

凍結された微分可能なビジョンモデル $g$ と入力画像 $x$ が与えられたとき、目標は、マスクされた合成画像 $\tilde{x}$ から計算されるモデル出力が、元の出力 $y^\star = g(x)$ に近い状態を維持するようなソフトマスク $M \in [0, 1]^{H \times W}$ を見つけることです。

主要コンポーネント

1. マスクのパラメータ化:
   マスクを直接最適化するのではなく、SEAMSは未制約のロジット $\ell$ を最適化します。これらは、**正規化およびクリップ（normalise-and-clip）**によるパラメータ化を通じて有効なマスクへと変換されます。

   • $u = \text{softplus}(\ell)$ は非負性を保証します。
   • $\bar{u} = \alpha \frac{u}{\text{mean}(u)}$ は、学習可能なスパース性予算 $\alpha \in (0, 1]$ を強制します。
   • $M = \text{clip}(\bar{u}, 0, 1)$ は、値を $[0, 1]$ の範囲に制約します。
     このアプローチは、明示的なサブセット選択、微分可能なソート、Gumbelサンプリング、またはtop-$k$緩和を回避します。正規化ステップは、予算を巡ってピクセル間に競争を生じさせ、明示的な二値化メカニズムなしに、自然にマスクをスパース性（ニアバイナリ値）へと導きます。

2. 三者構成画像（Three-Way Image Composite）:
   マスクを評価するために、著者らはクエリ画像 $x$ 全体から生成される3つのソースを用いて合成画像 $\tilde{x}$ を構築します。

   • オリジナル ($x$): $M \approx 1$ である領域。
   • 自己拡張ディストラクター ($x_{dist}$): heavyAug（強力な幾何学的・光学的変換、スワール、カラーシフト、カットアウト）を介して生成。$M \approx 0$ の領域は、弱いテクスチャ相関を断ち切るためにこの画像で置き換えられます。
   • ぼかしたコンテキスト ($x_{blur}$): $x$ の激しくぼかされたバージョン。中間的なマスク値を持つ領域、または予算を超過した領域は、グローバルなシーン構造を保持し、最適化のアーティファクトを減らすために、この画像で埋められます。
     合成画像は $\tilde{x} = M \odot x + M'' \odot x_{dist} + N \odot x_{blur}$ と定義され、係数の合計は1となります。

3. 最適化目的関数:
   マスクと予算は、以下の保存損失を最小化するように最適化されます。
   $$\mathcal{L}(\ell, \alpha) = \mathbb{E}_{\mathcal{A}} \left[ \| g(\mathcal{A}(\tilde{x})) - y^\star \|_2^2 \right] + \lambda_\alpha \alpha$$

   • 保存項（Preservation Term）: 拡張された合成画像のターゲット表現と、固定された参照ターゲット $y^\star$ との間の平均二乗誤差（MSE）を最小化します。合成画像には、頑健性を確保するためにオーグメンテーション $\mathcal{A}$（中程度のクロップ、反転、ジッター）が適用されますが、$y^\star$ は固定されたままです。
   • スパース性項（Sparsity Term）: コンパクトなマスクを促進するために、予算 $\alpha$ にペナルティを課します。

4. モジュール化されたターゲット:
   本フレームワークは、ターゲット $g(x)$ に対して依存しません。保存する出力を変更するだけで、同じパイプラインから多様な説明を生成できます。

   • クラス条件付き説明: 特定のクラス確率を保持する。
   • グローバル表現マスク: CLS埋め込みを保持する。
   • トークンレベルの説明: 密なパッチ・トークン表現を保持する。

主な貢献

1. 充足性ベースの定式化: 本論文は、局所的な感度ではなく、保存の忠実度（充足性）を直接最適化するサリエンシー定式化を導入しました。
2. 簡素化された最適化フレームワーク: SEAMSは、外部のディストラクターデータセット、アーキテクチャ固有の属性ルール、または微分可能なサブセット選択演算器（top-$k$緩和など）を必要としません。これは、自己生成されたディストラクターを用いたソフトマスク最適化と学習可能な予算に依存しています。
3. 統一されたマルチターゲット・パイプライン: 単一の最適化手順により、保存するターゲット表現を変更するだけで、オブジェクトレベル、クラス特異的、トークンレベルといった多様な説明を生成できます。
4. アーキテクチャ依存の洞察: 本手法は、異なるアーキテクチャ（例：ViT vs. ConvNeXt）が、同様の保存忠実度を達成するために、しばしば異なる集合の十分なピクセルに依存していることを明らかにしています。これは、感度ベースの手法では捉えにくいニュアンスです。

実験結果

著者らは、ImageNet-1k（ViT-S/16, ConvNeXt-Tiny, ViT-B/16, DeiT-III-B/16）および独自の医療データセット（未熟児網膜症）を用いてSEAMSを評価しました。

• 忠実度（挿入/削除）: SEAMSは、勾配ベースの手法（IxG, SmoothGrad, Integrated Gradients）や他の摂動ベースの手法（DAVE）と比較して、競争力があり、しばしば優れた挿入（Insertion）および削除（Deletion）AUCスコアを達成しました。特に、SEAMSは高いピクセル削除忠実度を示しており、コンパクトな十分な領域が遮蔽されるまで、ターゲットのクラス確率は安定しており（最大70-80%のピクセルが除去されても）、その後急激に低下します。これは、本手法が最小限の十分なサブセットを正常に分離できていることを示しています。
• クロスアーキテクチャの汎用性: 同一のハイパーパラメータを用いて異なるバックボーン（ViT vs. ConvNeXt）に適用した場合、SEAMSは意味のあるマスクを生成しました。しかし、定量的分析（IoU、コサイン類似度）によれば、選択される特定のピクセルはアーキテクチャ間で大きく異なり、視覚的充足性がアーキテクチャに依存していることが確認されました。
• マルチターゲットの柔軟性: ターゲットをクラス確率からCLS埋め込みやパッチ・トークンに変更することで、画像の異なる意味的側面を強調する、明確に異なる解釈可能なマスクが得られることが実験で示されました。
• 医療画像の転移: ハイパーパラメータや最適化パイプラインを変更することなく、SEAMSは未熟児網膜症（ROP）の眼底画像において、臨床的に関連のある網膜構造（血管の走行、境界線）を特定することに成功し、自然画像を超えた転移性を示しました。
• 定性的品質: 視覚的な比較により、SEAMSは先行技術と比較して、よりシャープで、オブジェクトに整合しており、空間的に一貫した説明を生成し、パッチグリッドのアーティファクトが少ないことが示されました。マスクは、競合する手法よりも顕著にスパースでバイナリに近い特性を持っています。

重要性と主張

本論文は、SEAMSが表現指向の視覚的説明のための汎用的でモデルに依存しないフレームワークを提供すると主張しています。その主な意義は、「何が出力を変化させるか？（感度）」から「何があれば出力を維持できるか？（充足性）」へとパラダイムをシフトさせたことにあります。

著者らは、SEAMSが以下の特徴を持つことを強調しています。

• 外部データや複雑なアーキテクチャの変更を必要としない。
• コンパクトで解釈可能、かつ安定したマスクを生成する。
• 異なるニューラルアーキテクチャが、同じ結論に達するために異なる視覚的証拠に依存している可能性があることを明らかにする（これは充足性ベースの分析を通じて可視化される）。
• 様々なスケール（224pxから518pxまで）およびドメイン（自然画像から医療画像まで）に適用可能である。

論文では、SEMSが反復的な最適化のために勾配ベースの手法よりも計算コストが高いことや、現在の評価が画像エンコーダに限定されていることなどの限界についても謙虚に認めており、ビデオ、マルチモーダル、および生成アーキテクチャへの将来的な展開を示唆しています。