💻 computer science

Sparse Attention for Dense Open-Vocabulary Prediction in CLIP

本論文は、CLIPの最終的な視覚的自己注意層における標準的なソフトマックスを、無関係なトークンからのノイズを除去するためにスパースな $\alpha$ -entmax変換に置き換えることを提案しており、これによりセマンティック・セグメンテーションや微細な粒度の検索といった高密度なオープンボキャブラリー予測タスクにおいて性能を大幅に向上させる。

原著者： Fatimah Zohra, Chen Zhao, Shuming Liu, Bernard Ghanem

公開日 2026-07-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fatimah Zohra, Chen Zhao, Shuming Liu, Bernard Ghanem

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「過剰に親切すぎる」AI

想像してみてください。あなたの手元には、何百万冊もの本を読み、何百万枚もの写真を見てきた、非常に賢いAIアシスタント（CLIPと呼ばれます）がいます。このAIは、画像全体の「雰囲気」を理解するのが得意です。馬の写真を見せれば、「ああ、これは馬だ！」と理解できます。

しかし、この論文は特定の課題を指摘しています。それは、CLIPは親切すぎるということです。

AIが画像の具体的な詳細（例えば「馬の蹄はどこにあるのか？」など）を探そうとする際、AIは画像内の「すべて」に対して同時に注意を払おうとしてしまいます。それはまるで、テストを受けている学生が、特定の質問に集中する代わりに、教科書のすべての単語を同時に読もうとしているようなものです。その結果、重要なディテールが、背景のノイズ（空や草、あるいは乗り手など）という情報の海の中に飲み込まれてしまうのです。

問題点：「Softmax」によるコントロール

AIの脳内には、Softmaxと呼ばれるメカニズムがあります。Softmaxを、厳格な先生だと考えてください。この先生は、AIに対して、画像の「あらゆる部分」に対して「注意ポイント」（例えば100ドルの予算のようなもの）を分配することを強制します。

問題点: たとえ画像の一部がただのぼやけた青い空のパッチであっても、先生は「ここにも少なくとも1ペニーの注意を払いなさい」と言います。
結果: AIの集中力は「拡散」してしまいます。注意をあまりにも細かく分散させすぎてしまい、馬の蹄にしっかりと集中するための予算が足りなくなってしまうのです。信号（シグナル）がノイズの中に消えてしまいます。

解決策：「Entmax」フィルター

著者たちは、その厳格な先生（Softmax）を、 $\alpha$ -entmax（または単に Entmax）と呼ばれる新しい先生に置き換えることを提案しています。

Entmaxを、スマートな用心棒、あるいはノイズキャンセリングヘッドホンだと考えてみてください。

AIにすべてに注意を払わせるのではなく、Entmaxは「注目すべきリスト」を確認します。
そしてこう言います。「よし、この青い空のパッチはスコアが非常に低い。重要ではない。注意はゼロだ。」
これにより、関連性の低いアイテムの「裾野（テイル）」を完全に切り捨てます。
そして、背景に浪費されていたすべての注意ポイントを、実際に重要なもの（馬）へと再分配します。

魔法のような仕組み: これは自動的に行われます。AIを再学習させたり、新しいレッスンを教えたりする必要はありません。私たちは、AIの思考プロセスの最後における「注意の払い方のルールブック」を変更しただけなのです。

比喩：「騒がしい部屋」対「静かな図書室」

従来の方法 (Softmax): 騒がしい部屋の中で、友人の話を聞こうとしている場面を想像してください。全員が喋っているため、部屋はとてもうるさく、友人の声がはっきりと聞こえません。あなたは全員の声を聞こうとしているため、結局何も聞こえない状態になります。
新しい方法 (Entmax): 今度は、あなたの友人以外の全員を瞬時に黙らせるフィルターがある場面を想像してください。突然、部屋は静まり返り、友人の声が驚くほどクリアに聞こえます。あなたは友人を変えたのではなく、単に背景のノイズを取り除いただけなのです。

彼らは何を発見したのか？

研究者たちは、主に2つのタスクでこれをテストしました。

ピクセル単位の塗り分け（セグメンテーション）: 写真の中のオブジェクトが正確にどこにあるかを色付けすること。
微細な探索（ファイングレイン・サーチ）: 特定の小さな詳細に基づいて特定のオブジェクトを見つけること（例：「赤い馬」対「茶色の馬」）。

結果:

AIが混乱している時に最も効果を発揮: もしAIがすでに注意をあちこちに散らしてしまっていた場合（散らかった部屋のように）、Entmaxは見事にそれを整理し、AIの物体発見能力を大幅に向上させました。
AIがすでに集中している時にはあまり効果がない: もしAIがすでに正しい場所を見ているのであれば、注意を「疎（スパース）」にしてもあまり効果はありませんでした。
大きいほど良い: 画像がより詳細であるほど（高解像度であるほど）、そこにはより多くの「ノイズ」が存在します。Entmaxは、カットすべきノイズが多い高解像度の画像において最も輝きを放ちます。

「自己相関」のひねり

論文では、もう一つの巧妙なトリックも試されました。AIに「このパッチは他のすべてと比較してどのように見えるか？」（これがノイズの原因となります）と聞く代わりに、「このパッチは、自分自身および隣接するパッチと比較してどのように見えるか？」と尋ねたのです。

この「自己に集中した」視点と、新しい「Entmax」フィルターを組み合わせると、結果はさらに向上しました。これはAIに対して、「群衆全体を見るのではなく、自分のグループだけを見て、他の人は無視しなさい」と指示するようなものです。

まとめ

この論文は、**「少ないことは、より豊かなことである（Less is more）」**ということを示しています。AIに無関係な背景ノイズを無視させ、画像の最も重要な部分だけに集中させることで、AIを再学習させたり、脳に新しいパーツを追加したりすることなく、詳細なタスク（特定の物体を見つけたり、精密な輪郭を描いたりすること）において性能を向上させることができます。彼らは単に、静電気（スタティック）を抑えるための「音量つまみ」を調整しただけなのです。

技術要約：CLIPにおける高密度なオープンボキャブラリー予測のためのスパース・アテンション

問題提起

Contrastive Language–Image Pre-training (CLIP) およびその大規模バリアント（例：EVA-CLIP、SigLIP）は、コントラスト学習の目的関数により、グローバルな画像レベルのセマンティクスにおいて優れています。しかし、セマンティック・セグメンテーションやきめ細かな領域検索のような高密度な予測タスクに適用した場合、空間的な局在化（localization）が不十分であるという課題があります。核心となる問題は、視覚エンコーダの最終層で使用されている**高密度なソフトマックス（softmax）ベースの自己注意（self-attention）**メカニズムにあります。

ソフトマックスは、すべてのトークンペアに対して厳密に正の確率質量を割り当て、これには意味的に無関係な背景トークンも含まれます。これは事前学習中に広範なコンテキストを集める上では効果的ですが、この「高密度」な分布は、アテンションを低サリエンスなトークンへと拡散させ、ピクセルレベルまたは領域レベルのタスクに必要な微細で空間的に局在化した手がかりを不明瞭にするノイズを生み出します。アテンションの「ソース」を変更する既存の学習フリーの手法（例：クエリ・キーから $Q-Q$ や $V-V$ のような自己相関への切り替え）は、局在化を改善しますが、全トークンに質量をグローバルに拡散させる**ソフトマックス正規化器（softmax normalizer）**の根本的な役割に対処できていません。

手法

著者らは、凍結されたCLIPエンコーダの最終層の視覚的自己注意層における行方向のソフトマックス正規化器を、 $\alpha$ -entmax変換へと置き換える、学習フリーかつ推論時のみの置換を提案しています。

$\alpha$ -entmax 変換

シャノン・エントロピー正則化された目的関数の解であるソフトマックスとは異なり、 $\alpha$ -entmaxはツァリス（Tsallis） $\alpha$ -エントロピー正則化（ $\alpha \in (1, 2]$ ）から導出されます。

メカニズム: アテンション・スコアに対してデータ依存の閾値 $\tau$ を適用します。この閾値を下回るスコアは正確にゼロにマッピングされ、残りのスコアは合計が1になるように再正規化されます。
効果: これは暗黙的なデノイザー（ノイズ除去器）として機能し、文脈的に無関係な依存関係（「ロングテール」にあたる低関連性の背景トークン）をゼロにし、最も関連性の高いトークンへと確率質量を再分配します。
パラメータ: この手法は学習可能なパラメータを導入せず、アーキテクチャや学習済み重数を変更しません。また、 $\alpha \to 1$ となることでソフトマックスへと滑らかに一般化されます。

実験設定

本研究では、この置換を以下の2つの主要なタスクにわたって評価しています。

高密度セマンティック・セグメンテーション: Pascal VOC、Pascal Context、および ADE20K におけるピクセルレベルの予測。
きめ細かなオープンボキャブラリー検出 (FG-OVD): 属性（色、素材、パターン）の識別に焦点を当てた領域レベルの認識。

著者らは、様々なアテンション・スコアのソースをテストしています。

標準 ( $QK^\top$ ): ネイティブなクエリ・キー・アテンション。
自己相関 ( $SS^\top$ ): クエリ・キーの積を、Query ( $Q$ )、Key ( $K$ )、または Value ( $V$ ) の投影の自己積（例： $Q-Q$ , $K-K$ , $V-V$ 、およびそれらの組み合わせ）に置き換えるもの。

実験は、凍結された CLIP ViT-B/16 および ViT-L/14 バックボーンを用いて実施されました。

主な貢献

学習フリーのスパース化: 本論文は、モデルのアーキテクチャや重数を変更することなく、アテンションの密度を単一の変数として分離するために、凍結されたCLIPエンコーダの最終層においてソフトマックスを $\alpha$ -entmax に置き換えることを経験的に評価しています。
アテンションのスパース性に関する分析: 著者らは中心的な知見を確立しました：スパース化による性能向上は、ベースラインのアテンションの拡散度（diffuseness）に比例するということです。
- ベースラインのアテンションがすでにターゲットとなるクラスに集中している場合、entmax はほとんど恩恵を与えないか、あるいは有用な質量を破棄することで性能を低下させる可能性があります。
- ベースラインのアテンションが拡散している（非クラス・トークンに質量を拡散させている）場合、entmax は無関係なテールを削減することで、性能を大幅に向上させます。
解像度とバックボーンのスケーリング: スパース化の恩恵は、入力解像度が高く、より大きなバックボーン（例：ViT-L/14）を使用するほど増加することを、本研究は示しています。これは、これらの条件下でトークン数が増加し、entmax が除去できる「ノイズの多いテール」が拡大するためです。

結果

評価により、異なるアテンション分布における明確な挙動が明らかになりました。

自己相関 + Entmax: 自己相関アテンション（例： $Q-Q$ $Q - Q$ , $K-K$ $K - K$ , $V-V$ $V - V$ ）と $\alpha$ $α$ -entmax の組み合わせは、一貫して顕著な利得をもたらします。
- ADE20K (ViT-B/16, $Q-Q$ ) では、mIoU が 5.69 から 12.90 へと向上しました。
- FG-OVD (ViT-B/16, $Q-Q$ ) では、mHME が 9.96 から 17.50 へと向上しました。
- 利得は、データセットおよびモデルスケール全体で単調です。
標準 $QK$ アテンション: entmax は標準的な $QK $アテンションを改善しますが、絶対的なスコアは自己相関手法よりも低くなります。これは、標準的な$ QK$ アテンションが本質的にグローバルに拡散しているためです。entmax は、すでにノイズの多い分布のテールを削減することはできますが、基礎となるグルーピング演算自体が局在化には最適ではないままです。
Value-Only ( $V-V$ ) の特異性: 小規模な ViT-B/16 バックボーンでは、 $V-V$ 分布はすでに重要なトークンに質量を集中させています。ここに entmax を適用すると、有用な質量を破棄してしまうため、性能が低下します（例：VOC で -2.8 mIoU）。しかし、より拡散している ViT-L/14 では、 $V-V$ は entmax の恩恵を受けることができ、「利得は拡散度に比例する」という仮説を裏付けています。
解像度のスケーリング: 解像度が上昇する（224 $\to$ 448）につれて、自己相関分布におけるソフトマックスと entmax の差は単調に拡大します。これは、トークン数の増加に伴い、entmax が除去すべきノイズの多いテールが拡大するためです。

意義と主張

本論文は、アテンションのスパース性が、CLIP の高密度予測における限界に対処するための、重要でありながらこれまで見過ごされてきた要因であると主張しています。

デノイジング vs. スパリファイ（疎化）: 著者らは、恩恵が単に分布をスパースにすることからではなく、コンテンツに応じたノイズ除去から来ていることを強調しています。同じスパースレベルを持つランダムなマスクでは、同様の利得は得られません。entmax の特定のデータ依存の閾値こそが、無関係なトークンを特定し、ゼロにするために不可欠です。
変数の分離: アーキテクチャを凍結したまま正規化器のみを変更することで、本研究は、スコアのソース（例：$QK $対$ VV$）の効果と、正規化関数（ソフトマックス対 entmax）の効果を分離しています。これにより、自己相関が局在化を改善する一方で、ソフトマックス正規化器は依然として質量をグローバルに拡散させてしまい、entmax が局在化した特徴のポテンシャルを完全に引き出すために必要であることを明確にしています。
限定的な範囲: 著者らは、本研究を新しい最先端の学習パイプラインの提案ではなく、体系的な分析として位置づけています。この手法は厳密に推論時のみの動作であり、学習フリーであり、アテンションのスパース化が「どこで」「なぜ」役立つのかを説明するために設計されています。