💻 computer science

SparseSAM: Structured Sparsification of Activations in Segment Anything Models

SparseSAM は、Stripe-Sort Attention と Residual-Consistency MLP を導入してアテンション層と MLP 層の両方を共同でスパース化し、既存の手法と比較して精度の低下を最小限に抑えつつ、大幅な推論速度向上とメモリ削減を実現する、学習不要なフレームワークである。

原著者： Hoai-Chau Tran, Chi H. Nguyen, Duy M. H. Nguyen, Mathias Niepert, Fan Lai, Khoa D. Doan

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hoai-Chau Tran, Chi H. Nguyen, Duy M. H. Nguyen, Mathias Niepert, Fan Lai, Khoa D. Doan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

SparseSAM論文の説明を、日常的な言葉と創造的な比喩を使って翻訳します。

大きな問題：過労のシェフ

**Segment Anything Model (SAM)**を、どんな写真を見ても瞬時に犬、車、木などあらゆる物体を完璧な精度で切り抜くことができる、世界クラスのシェフだと想像してください。このシェフは驚くほど才能に恵まれていますが、実行するには遅く、コストも高いという欠点があります。

なぜでしょうか？それは、シェフのキッチン（コンピュータモデル）が、料理の「すべての材料」を、たとえ単なる水や塩のようなものでも、一つずつ味見するように設定されているからです。

ボトルネック: シェフは時間とエネルギーの 99% を「画像エンコーダー」（写真を見る部分）に費やしています。
既存の解決策の欠陥: 他の手法はこれを高速化しようと試みますが、以下の方法です：
1. 材料の統合: 似た材料を一つのかたまりにまとめること。しかし、完璧で詳細な皿を提供する必要があるシェフにとって、単にものを混ぜてしまえば、後でそれを元に戻さなければならず、それはさらに時間がかかり、味を損ないます。
2. ランダムなステップのスキップ: どの材料が重要でないかを推測しようとすること。しかし、これにはシェフが一度立ち止まり、考え、料理ごとに新しいリストを作成させる必要があり、結果としてシェフを遅くしてしまいます。

解決策：SparseSAM

著者たちは、品質を損なうことなくシェフをより速く働かせる新しいキッチン整理法としてSparseSAMを提案します。これは「トレーニング不要」な手法であり、シェフに再教育する必要はなく、単に作業スペースを再配置するだけです。

彼らは主に 2 つのトリックを使用します。

トリック 1：「Z 順序」席次表（Stripe-Sort Attention）

問題点: 通常のキッチンでは、シェフは混沌とした無秩序な順序ですべての材料を見ています。これを高速化するためには、シェフが関連するものを一緒に見るようにする必要があります（例えば、すべての野菜を一角に、すべての肉を別の一角に）。しかし、単にいくつか選んでしまうと、全体像を見逃してしまう可能性があります。

解決策: シェフの材料が巨大なグリッド上に配置されていると想像してください。行ごとに（左から右へ、上から下へ）読む代わりに、シェフはグリッドを縫うように蛇行するZ 字型の経路を使用します。

魔法: この特定の蛇行経路は、自然と似たような材料をグループ化します。
結果: シェフはもはや「背景ノイズ」（例えば空白の壁）のようなキッチンの巨大な塊を無視し、面白いものが詰まっている「Z 字型のストリップ」にのみ集中できるようになります。
なぜ速いのか: 経路は事前に決定されている（印刷された地図のような）ため、シェフは「次にどこを見るか」について立ち止まって考える必要がありません。地図に従うだけです。これにより、他の手法が浪費する「思考時間」が排除されます。

トリック 2：「VIP と一般」の列（Residual-Consistency MLP）

問題点: 材料を見た後、シェフはそれが何かを決定するために複雑な計算（「MLP」部分）を行う必要があります。この計算は重く、遅いです。論文によると、シェフは実際には「ほぼすべての材料」に対してこの重い数学計算を行っていますが、多くの材料（例えば空の断片など）は複雑な分析を必要としません。

解決策: 著者たちは、少数の「VIP」材料（物体の縁、テクスチャ、興味深い形状）だけが実際に重い数学計算を必要とし、残りは「一般」材料としてショートカットを取れることに気づきました。

VIP: シェフは重要なトークンに対して、完全で高価な計算を実行します。
一般: 重要でないトークンは、「リジューアルレーン」（高速なエクスプレスレーン）へと送られ、重い数学計算を完全にスキップして次のステップへそのまま渡されます。
結果: シェフは退屈なものに対して複雑な数学を行わないため、莫大なエネルギーを節約できますが、重要な部分は深く分析されているため、出来上がった料理は完璧な味のままです。

結果：より速く、軽量で、同等の品質

彼らがこの新しいシステムをテストしたところ：

速度: シェフは2 倍速くなりました。
メモリ: キッチンが動作するために必要なスペース（RAM）は2.8 倍少なくなりました。
品質: 料理（セグメンテーションマスク）は、元のものとほぼ同一でした。作業量を元の 30% まで削減しても、品質の低下はわずかで（ほとんど目立たない）ものでした。

まとめの比喩

元のモデルは、スタジアムを歩いているだけで空席を歩いている人であっても、一人ずつ ID を確認するすべての人をチェックする警備員だと考えてください。

SparseSAMは、警備員に群衆がどこにいるかを正確に示すスマートな地図（Z 順序）と、空席を止めることなくゲートを通過させるVIP パスシステム（リジューアル MLP）を与えるようなものです。警備員は VIP に素早く到達し、空席を完全にスキップし、重要な人物一人も逃すことなく見つけることができます。

重要な教訓: シェフを解雇したり、再教育したりする必要はありません。必要なのは、より良い地図と、退屈なもののためのより速いレーンを提供することだけです。

技術概要：SparseSAM

問題定義

セグメンテーション・アン・シングモデル（SAM）は、最先端のオープンボキャブラリーセグメンテーションを達成する一方で、主にビジョン・トランスフォーマー（ViT）画像エンコーダーに起因する推論遅延とメモリボトルネックに直面している。このエンコーダーは、モデルのパラメータ数と計算量の 99% 以上を占める。既存の最適化戦略には決定的な限界が存在する：

トークンマージング： トークンマージング（ToMe）などの手法はシーケンス長を短縮するが、セグメンテーションには不向きである。デコーダーが完全な空間解像度を必要とするため、すべてのマージ操作には対応するアンマージステップが必要となる。このレイヤーごとの管理オーバーヘッド（スキャター・ギャザー操作）は、計算量の節約を上回る場合が多く、高圧縮率において遅延の増加と品質の壊滅的な劣化をもたらす。
スパースアテンション： アテンションのみに焦点を当てたアプローチ（例：SpargeAttention、PISA）は、SAM のローカルブロックにおいて特に顕著な MLP レイヤーによる遅延に対処できていない。さらに、動的スパース性メカニズムは、マスク構築とオンライン重要度推定のための大きな実行時オーバーヘッドを伴うが、SAM のアーキテクチャ（ヘッドあたりのトークン数が比較的少ない<200 の多数のローカルウィンドウ）を考慮すると、これは許容できない。
量子化： 学習後量子化（例：W4A4）は、SAM の行列次元が小さく Tensor Core のスループットを飽和させないため、GPU 速度向上を測定可能な形でもたらすことは稀である。

高品質なセグメンテーションに必要なトークンレベルの忠実性を維持しつつ、アテンションと MLP レイヤーの両方を同時に加速する、学習不要な手法のギャップが存在する。

手法

SparseSAM は、再学習や動的実行時探索を伴わずに計算量を削減するための 2 つの相補的技術を導入する、学習不要な構造化スパース化フレームワークである。

1. ストライプソートアテンション

このメカニズムは、決定論的な Z 順序（モートン）置換を用いて、密なアテンションを静的でハードウェアに親和的なスパースパターンに変換する。

勾配に基づく順序付け： この手法は、情報密度（物体境界対滑らかな領域）の代理指標として機能する軽量でパラメータ不要のソベル演算子を用いて、局所勾配の大きさを計算する。
ストライプソート置換： 単にトークンを重要度でソートする（これでは前景が先頭に集約される）のではなく、「ストライプソート」戦略を適用する。ソートされたトークンリストを行列として扱い、平坦化する前に転置する。これにより、高重要度のトークンがシーケンス全体に分散され、切断またはスパース化された任意の部分集合が画像の広範な空間カバレッジを維持することを保証する。
静的スパースパターン： この置換は、 $N \times N$ のアテンション行列を $4 \times 4$ のサブマップのモザイクに分解する。その結果得られるパターンは、局所的相互作用を捉える帯状対角構造と、小さなグローバルキープセットを組み合わせたものとなる。この静的パターンは動的マスク構築の必要性を排除し、カスタム CUDA カーネル（例：FlashAttention-2 風）による効率的な実行を可能にし、実行時オーバーヘッドを伴わない。

2. 残差一貫性 MLP

この手法は、SAM のデコーダーが正確なトークンごとの表現よりも、領域間のコントラストに依存しているという観察に基づき、MLP のボトルネックに対処する。

トークンルーティング： 決定論的な置換順序に基づき、トークンを「キープセット」（ $X_k$ ）と「残差セット」（ $X_r$ ）に分割する。
選択的計算： MLP は、キープセット内の上位 K トークン（特徴の非類似度または更新量が大きいもの）にのみ適用される。
残差伝播： 残差セットに含まれる残りのトークンは MLP を完全にバイパスし、残差接続を通じて変更されずに通過する（ $y_i = x_i + \epsilon_i$ ）。
幾何学的構造の維持： このアプローチは、デコーダーに必要な表現幾何学を維持しつつ、MLP レイヤーの計算コストを大幅に削減する。

両方の手法は、すべてのモデルレイヤーで再利用される単一の事前計算済み置換セットを使用し、レイヤーごとのオーバーヘッドを無視できるレベルに抑えている。

主要な貢献

同時加速： SparseSAM は、SAM におけるアテンションと MLP レイヤーの両方を同時に加速する最初の学習不要フレームワークであり、1 つのコンポーネントのみを最適化する手法の限界を克服する。
ストライプソートアテンション： 決定論的な Z 順序置換を用いて静的なブロック帯状スパースパターンを誘発する、新規の構造化スパースアテンションメカニズム。これにより動的マスクのオーバーヘッドを回避し、グローバルコンテキストを維持する。
残差一貫性 MLP： 意味的に重要なトークンのみに MLP 更新を適用し、他のトークンを残差経路を通じて伝播させるトークンルーティングメカニズム。密な計算なしに特徴の多様性を維持する。
学習不要の効率性： 本フレームワーク全体は、再学習、知識蒸留、微調整なしに動作する（ただし、オプションの微調整によりわずかな精度低下を回復できることが示されている）。

実験結果

4 つのセグメンテーションベンチマーク（MS-COCO、DIS5K-VD、COIFT、ThinObject5K-TE、HRSOD を含む HQ-44K サブセット）と 3 つの SAM 変種（SAM-B、SAM-L、SAM-H）で評価された結果：

精度： 0.4 の密度（60% のスパース性）において、SparseSAM は mIoU で 0.004 しか損失しない。0.3 の密度では、損失は 0.021 mIoU である。これは、トークンマージングの進歩と比較して精度損失が 2.10 倍減少したことを意味する。
高速化： この手法は平均 2.0 倍の推論高速化を達成する（25% の密度で結合圧縮を適用した SAM-B では最大 2.15 倍）。
メモリ： メモリ使用量を 2.8 倍削減する。
頑健性： 高圧縮率で品質が壊滅的に低下するトークンマージングとは異なり、SparseSAM は極端な圧縮率（密度 < 0.4）であってもベースラインに近い忠実性を維持する。
ハードウェア： NVIDIA A100 GPU において、結合圧縮設定は 25% のスパース性でピーク速度 2.05 倍を達成し、さまざまなバッチサイズにおいてアテンションのみのベースラインやトークンマージング手法を上回る。

意義と主張

本論文は、SparseSAM が推論速度とマスク品質の間のトレードオフを解決することで、効率的なセグメンテーションの新たな基準を設定すると主張している。その意義は以下の点にある：

エッジ展開の可能化： 再学習なしに遅延とメモリを削減することで、大規模なセグメンテーション基盤モデルを、遅延に敏感でリソース制約のある環境（例：エッジデバイス）で実用的にする。
アーキテクチャ的洞察： SAM のローカルブロックが（アテンション＋MLP）という二重のボトルネックに苦しんでおり、密な予測タスクにおいては、動的またはマージングベースのアプローチよりも静的で構造を保持するスパース性が優れていることを実証する。
汎用性： 残差一貫性 MLP メカニズムは SAM2（Hiera エンコーダー）へも効果的に転移することが示され、トークン更新における潜在的な冗長性はセグメンテーションバックボーンの一般的な性質であることを示唆している。

著者らは、現在の手法はコンテンツに依存しない置換を使用しているが、将来的には意味的優先度を動的に決定するハイブリッド戦略を検討できる可能性に言及しつつも、現在の静的アプローチですでに大きな効率性向上が得られていると述べている。