🤖 AI

SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging

本論文は、重みの分散を防ぐためのトークン局在化と、グローバルなコンテキストを捉えるための算術平均を組み合わせることで、画像分類タスクにおいて既存のリニアアテンションおよびVision Mambaモデルを凌駕する、スケーラブルで効率的なアテンションメカニズムであるSEMAを導入するものである。

原著者： Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに写真の中の猫を認識させる方法を教えようとしている場面を想像してみてください。このために、ロボットは「アテンション（注意）」と呼ばれる特別な道具を使います。これはスポットライトのようなものです。このスポットライトは画像全体をスキャンし、どのピクセルが重要か（例えば猫の耳など）、そしてどのピクセルが単なる背景のノイズか（例えばぼやけた木など）を判断します。問題は、写真が大きくなればなるほど、スポットライトはあらゆるピクセルを他のすべてのピクセルと照らし合わせなければならないということです。写真が小さければ高速ですが、写真が巨大になると、ロボットは接続の確認に時間を使いすぎてしまい、猫だと判定する前にバッテリー切れになってしまいます。

科学者たちは、スポットライトを「リニア（線形）」、つまりより単純で高速なラインでチェックさせることで、これを解決しようと試みてきました。しかし、そこには落とし穴があります。これらの高速なスポットライトは、しばしば集中力を失ってしまうのです。画像が大きくなるにつれ、それらはすべてのピクセルを等しく重要なものとして扱うようになります。それはまるで、部屋全体を均一に照らすように、光量を極限まで下げた懐中電灯のようです。ロボットは猫を見ることができなくなり、ただの灰色のぼやけ物を見てしまうのです。カリフォルニア大学アーバイン校とQualcomm AI Researchの研究者たちによるこの論文は、まさにこの問題に取り組んでいます。彼らは、巨大な画像を扱えるほど十分に速く、かつ細部を見逃さないほど鋭いスポットライトを構築しようとしています。

Nhat Thanh Tran氏らを中心とする研究チームは、なぜこれらの高速なスポットライトが失敗するのかを説明する数学的な真実を発見しました。それは、ピクセル（または「トークン」）の数が増加して無限大に向かうにつれ、アテンション・メカニズムは自然に拡散し、役に立たなくなってしまうという現象です。彼らはこれを「分散（dispersion）」現象と呼んでいます。これは、スタジアムの中でささやき声を聞こうとするようなものです。一度に全員の声を聞こうとすれば、結局はノイズしか聞こえなくなります。論文では、これらの高速なアテンション・ツールの数学をどのように調整したとしても、画像が大きすぎれば、それらは最終的に集中力を失うことが証明されています。

この問題を解決するために、チームはSEMA（Scalable and Efficient Mamba-like Attention）と呼ばれる新しい手法を考案しました。彼らは数学に抗うのではなく、数学に従うことにしたのです。スポットライトは特定の詳細に焦点を当てるべきですが、同時に、迷子になることなく「全体像」を理解する方法も必要であることに気づきました。そこで、彼らは二部構成のシステムを設計しました。まず、**トークン局所化（Token Localization）**を使用します。これは、スポットライトに小さな窓を与えるようなものです。一度に一度に非常に狭い範囲のピクセルだけに焦点を合わせることで、圧倒されたり惑わされたりすることを防ぎ、焦点を鋭く保ちます。

しかし、小さな窓から覗くだけでは欠点があります。ロボットが片方の足だけを見ている間に、猫全体を見逃してしまうかもしれないからです。これを解決するために、SEMAは第二のステップである**平均化（Averaging）**を追加しました。これは、部屋全体の素早くぼやけたスナップショットを撮り、それを詳細なビューに加えるようなものです。研究者たちは、画像が巨大になる場合、画像の「グローバル（全域的）」な感覚を捉える最善の方法は、単純にすべてを平均化することであると数学的に証明しました。この鋭い局所的な窓のビューと、このシンプルなグローバルな平均を組み合わせることで、SEMAは両方の良いとこ取りを実現します。

論文は、このアプローチが驚くほど効果的であることを示しています。ImageNet-1Kのような標準的な画像データセットでSEMAをテストしたところ、最近の「Mamba」モデルを含む他の人気のあるモデルを凌駕しました。特に画像が非常に大きい場合にその傾向が顕著でした。例えば、画像サイズを1024x1024ピクセルに拡大した場合、他のモデルは精度が大幅に低下して苦戦しましたが、SEMAは強さを維持し、むしろ向上しました。また、研究者たちはSEMAが競合モデルよりも高速であり、大きな画像を処理する時間が短いことも明らかにしました。

この論文の最も興味深い部分の一つは、彼らがどのように「分散」問題に対処したかです。彼らは、数学的な整合性を壊すような方法でアテンションを無理に鋭く保とうとするのではなく、巨大な画像に対してはアテンションが広がるべきであることを受け入れました。彼らは、単純な平均を用いてグローバルな情報を表現することで、この広がる性質を有利に活用しました。それは、もしあなたに百万人の友人がいたとしても、一人ひとりの細かなディテールまでは覚えられないけれど、そのグループの全体的な雰囲気（バイブス）なら覚えられる、ということに気づくのと似ています。SEMは、すぐ近くの詳細は記憶し、グループ全体の「雰囲気」も記憶することで、写真がいかに大きくても猫を完璧に認識できるのです。

著者たちは、物体認識から画像内の特定の部分を見つける作業（セグメンテーション）に至るまで、さまざまなタスクで彼らのアイデアをテストしました。あらゆるケースにおいて、SEMAは詳細を失うことなく大きな画像へとスケールアップできることを示しました。彼らは、画像が大きくなるにつれて、システムの「平均化」の部分がより重要になることも示しており、これは膨大なデータを扱う上でこの単純なステップが極めて重要であるという彼らの理論を裏付けています。この論文はコンピュータビジョンに焦点を当てていますが、チームは、このアイデアが巨大な医療スキャンを分析するような、長いシーケンスデータを扱う他の問題にも役立つ可能性があると示唆しています。

要約すると、SEMAは、スポットライトが広すぎて役に立たなくなった時に、戦略を切り替えるという賢いトリックです。つまり、「近くの詳細を注意深く観察し、残りの部分は素早く単純に平均化する」という戦略です。これは、世界が非常に大きくなったとしても、コンピュータが世界を鮮明に見ることを助けるための、スケーラブルで効率的、かつ数学的に健全な方法なのです。

技術要約: SEMA – トークン局所化と平均化によるスケーラブルで効率的なMamba型アテンション

1. 問題提起

本論文は、コンピュータビジョン・タスクにアテンション機構を適用する際の2つの主要な課題に対処している：

計算量： バニラなフルアテンション（softmaxベース）は、入力サイズに対して二次的な計算量（ $O(n^2)$ ）を示すため、高解像度画像に対しては極めて高コストとなる。
分散現象（Dispersion Phenomenon）： 線形アテンションの派生形は、線形計算量を実現するように設計されているが、多くの場合、関連する情報に焦点を当てることができないという問題を抱えている。トークン数（ $n$ ）が増加するにつれ、これらのメカニズムは「分散」し、すべてのキーに対してほぼ等しい重みを割り当てる傾向があり、softmaxアテンションが持つ識別能力を失ってしまう。

Mamba（状態空間モデル）やMILA（Mambaに着想を得た線形アテンション）といった最近の研究はこれらの問題の解決を試みているが、著者らは、線形アテンションのメカニズムがいまだに表現力のあるフォーカス能力を欠いており、分散に対する既存の解決策（適応的温度や差分アテンションなど）は、多くの場合ヒューリスティックであるか、あるいは理論的に依然として極限状態での分散（ $\Theta(1/n)$ ）に対して脆弱であることを指摘している。

2. 手法

2.1 理論的基礎：一般化アテンションと分散

著者らはまず、バニラなsoftmaxアテンションと線形アテンションの両方を包含する一般化アテンションの枠組みを構築する。彼らは、アテンション係数が連続的な正規化関数 $\phi$ によって決定される $\Phi$ -正規化アテンションを定義する。

主要な理論的結果（分散定理）：
本論文は、任意の連続正規化関数 $\phi$ に対して、トークン数 $n$ が無限大に近づくにつれて、アテンション係数が必然的に分散することを証明している。すなわち、特定のキーに割り当てられるアテンションの重みはゼロに近づき（ $\Theta(1/n)$ ）、実質的にすべてのトークンに等しい重みを割り当てることになる。

これは、バニラなsoftmax（ $\phi(x) = \exp(x)$ ）および線形アテンション（ $\phi(x) = x$ ）の両方に当てはまる。
この証明は、入力特徴空間のコンパクト性と、関数の連続性に依拠している。
著者らは、差分アテンション（differential attention）はノイズを軽減しようとするものの、理論的には依然として分散（ $\Theta(1/n)$ ）の影響を受けることを注記している。

2.2 提案手法：SEMA

分散の特性を念頭に置いて、著者らはSEMA (Scalable and Efficient Mamba-like Attention) を設計した。その核心となる哲学は、グローバルアテンションの漸近的挙動（分散）を受け入れつつ、局所的なフォーカス能力を維持することである。

SEMAは以下の2つのコンポーネントを組み合わせている：

トークン局所化（ウィンドウアテンション）： 高周波特徴に対するバニラアテンションの「フォーカス」特性を維持するために、SEMAは局所的なウィンドウアテンション機構を採用する。これにより、各クエリが事前に定義されたウィンドウ内の固定された数のキーと相互作用するように制限し、局所的な文脈内での分散を防ぐ。
理論的平均化（グローバル近似）： 全体的なグローバルアテンションを捉えるにあたり、二次的な計算量を回避し、かつフル線形アテンションの分散を避けるために、SEMAは算術平均項を組み込んでいる。
- 漸近解析に基づき、著者らは、大規模な $n$ の極限において、フルアテンションのグローバルな成分は、すべての値ベクトル（ $v_j$ ）の単純な平均（ $\frac{1}{n}\sum v_j$ ）によって近似できると主張している。
- これは「均質な混合（homogeneous mixing）」またはローパスフィルタとして機能し、グローバルな情報を効率的に集約する。

定式化：
クエリ $q$ 、キー $K$ 、値 $V$ 、およびウィンドウサイズ $w$ に対するSEMAアテンションは以下のように定義される：
$\text{SEMA}(Q, K, V) = A_{\Phi}(Q, K, V, w) + \frac{1}{n} \sum_{j=1}^{n} v_j$
ここで、 $A_{\Phi}$ はウィンドウ化されたアテンション（softmaxまたは線形バリアントを使用）であり、第2項はブロードキャストされたグローバル平均である。

2.3 アーキテクチャ

SEMAは、Mamba型のマクロアーキテクチャ（MILAと同様）に統合される。MILAとは異なり、SEMAは値 $V$ に対する線形射影を含んでおり、これは性能のために必要であると著者らが発見したものである。これによりパラメータ数はわずかに増加するが、効率性は維持される。

3. 主な貢献

分散の理論的証明： 本論文は、一般化アテンション（softmaxおよび線形バリアントを含む）が、使用される特定の連続正規化関数に関わらず、トークン数が無限大に近づくにつれて分散するという厳密な数学的証明を提供している。
SEMAの設計： 局所的な分散を回避するためのトークン局所化と、フルアテンションのグローバルな側面を理論的に近似するための算術平均を利用した、新しいアテンション機構。これは線形アテンションに代わるスケーラブルな選択肢を提供する。
実証的検証： 標準的なベンチマークにおいて、特に画像解像度が高くなるにつれて、SEMAが最新のビジョンMambaモデル（例：VMamba）や線形アテンションのベースライン（MILA）を凌駕することを実証している。

4. 実験結果

4.1 ImageNet-1K 分類

標準解像度 (224²): SEMA-Tは**83.7%**のTop-1精度を達成し、同様のパラメータ数（~26M）を持つMILA-T（83.3%）およびDefMamba（83.5%）を上回った。
スケーラビリティ（高解像度）: 最も顕著な利得は、より高い解像度で見られる。
- 1024²において、VMamba-Tは大幅に低下する（ファインチューニングなしで74.7%、ありで83.4%）のに対し、SEMA-Tは堅牢性を維持する（ファインチューニングなしで75.4%、ありで84.2%）。
- SEMAとVMambaの差は、ファインチューニングなしの1024²において**7.3%**まで広がり、SEMAのトークン数増加に対する優れた耐性を示している。

4.2 ダウンストリームタスク

COCO (インスタンスセグメンテーション): Mask R-CNNを用いた際、SEMA-Tは1xおよび3xのトレーニングスケジュールの両方において、すべての指標（AP, AP50, AP75）でSOTA（最先端）またはトップ2の性能を達成し、MILA-TおよびVMamba-Tを上回った。
ADE20K (セマンティックセグメンテーション): SEMA-Tは48.2 mIOU（シングルスケール）を達成し、VMamba-T（47.9）を上回り、マルチスケール設定でも競争力のある性能を維持している。

4.3 効率性

推論時間: SEMAは優れた実行時間のスケーラビリティを示す。1024²の解像度において、SEMAはMILAよりも約33%高速である。2048²では、この加速はさらに顕著になり、平均化コンポーネントの線形計算量の優位性を裏付けている。

4.4 アブレーション研究

値の射影（Value Projection）: 値の射影層を取り除くと精度が約0.8%低下し、その重要性が浮き彫りになった。
平均化コンポーネント: 224²において、平均化項の寄与は最小限（~0.2%）であった。しかし、解像度が672²に上がると、その寄与は大幅に増加し（ファインチューニングなしで+2.2%）、トークン数が増加し分散効果が激化するにつれて平均化が重要になるという理論的主張を裏付けた。

5. 意義と主張

本論文は、SEMAが線形アテンションの分散問題に対する理論に基づいた解決策を提供すると主張している。グローバルアテンションにおける分散が極限における固有の性質であることを証明することで、著者らは算術平均を有効なグローバル近似として使用することを正当化している。

SEMAの意義は、以下の点にある：

効果的なスケーリング： 画像解像度（およびトークン数）が増加しても、性能と効率を維持できる。これは現在のMambaベースのビジョンモデルの既知の弱点である。
ローカルとグローバルのバランス： ウィンドウアテンションのフォーカス能力と平均化によるグローバルな文脈をうまく組み合わせることで、フルアテンションの二次的なコストと、純粋な線形アテンションの「ぼやけた」フォーカスの両方を回避している。
堅牢な代替案の提供： 標準的な画像分類よりもトークン数がはるかに多いシナリオ（例：医療画像）など、大規模な入力や長いシーケンスを扱う場面において、スケーラブルで効率的な代替手段となる。

著者らは、平均化コンポーネントは標準的な解像度では限定的であるが、大規模トークン領域における重要な「セーフティネット」および性能ブーストとして機能し、SEMAをスケーラブルなビジョンアーキテクチャのための堅牢な選択肢にしていると結論づけている。