技術的サマリー：明示的アテンションなしの線形時間グローバル視覚モデリング

問題定義

コンピュータビジョンにおける支配的なパラダイムは、トランスフォーマーのグローバル系列モデリング能力を、アテンション重みの明示的計算に帰属させている。このプロセスには、トークン間のペアごとの類似性を計算して $N \times N$ のアテンション行列を形成し、それを値表現の再結合に用いることが含まれる。効果的ではあるが、このメカニズムは本質的に系列長に対して二次的な計算複雑性（$O(N^2)$）を伴い、高解像度入力や長い系列におけるボトルネックとなっている。既存の効率化の試みの多くは、この明示的アテンション行列を近似または疎化することに焦点を当てており、明示的な特徴の再重み付けというパラダイムに依然として縛られている。

手法

理論的再構築：アテンションを動的 MLP として

著者は、アテンションを明示的な重み付き集約ではなく、**動的に予測されたパラメータを持つ多層パーセプトロン（MLP）**として数学的に再構築するという新たな視点を提案する。

• メカニズム: 標準的なアテンションにおいて、クエリ $q_i$ に対する出力は $o_i = \text{Softmax}(\frac{q_i K^\top}{\sqrt{d}})V$ である。著者は、$K^\top$ と $V$ を静的な重みではなく、入力 $X$ から生成される動的なパラメータ（すなわち $K=XW_K, V=XW_V$）として解釈する。
• 含意: グローバルモデリングは暗黙的に生じる。入力 $X$ は動的パラメータのセット $W = G(X)$ に圧縮され、これがグローバルコンテキストのコンパクトな表現として機能する。この動的にパラメータ化されたネットワークを通じて入力を伝播させることで、明示的な $N \times N$ アテンション行列を計算または適用することなく、長距離依存関係を統合する。
• 複雑性の洞察: 標準的なアテンションの二次的な複雑性は、この「動的 MLP」の有効幅がトークン数 $N$ に比例して拡大するため（$K^\top \in \mathbb{R}^{d \times N}$）に生じる。パラメータ生成を系列長から切り離すことで、線形複雑性でグローバルモデリングを実現できる。

WeightFormer アーキテクチャ

この仮説を検証するために、著者は明示的アテンションを動的パラメータ化に置き換えつつ線形複雑性（$O(N)$）を維持するビジョンアーキテクチャであるWeightFormerを導入する。

• 疎な分布: 動的レイヤーをすべてのブロックに適用する（高いオーバーヘッドを招く）のではなく、WeightFormer は動的ブロックを疎に挿入する（具体的には、3 つおきのブロック）。これにより、残りを静的に保ち、性能と効率のバランスを取る。
• 動的線形レイヤー: MLP 内の最初の線形レイヤーを、**双方向活性化（Bilateral Activation）**を用いた動的レイヤーに置き換える。この戦略は、重み予測を、入力 $X$ とその転置 $X^\top$ に作用する 2 つの非線形ブランチに因数分解する：
  $$\Delta W(X) = W_1 \sigma(W_2 X^\top) \sigma(X W_3) W_4$$
  これにより、モデルは明示的なトークン間ルーティングなしに、高次の特徴相互作用とグローバルコンテキストを捉えることができる。
• 動的深度方向畳み込み（DWC）: アテンションの空間混合を置き換えるため、著者は動的深度方向畳み込みを採用する。ここでは、**空間適応予測（Spatially Adaptive Prediction）**を用いる。入力は適応平均プーリング（AAP）を介して固定された $K \times K$ 解像度（カーネルサイズに一致）までダウンサンプルされた後、カーネル重みの予測が行われる。これにより、空間構造を保持しつつ、パラメータ生成プロセスが入力解像度に依存しないことを保証する。

主な貢献

1. 数学的再構築: 本論文は、アテンションのグローバルモデリング能力に対する新たな理論的説明を提供し、明示的なトークンごとの集約ではなく、入力条件付きパラメータを持つ動的 MLP として位置づける。
2. 実現可能性の証明: 明示的アテンション重みがグローバル系列モデリングに不可欠ではないことを実証する。著者は、動的パラメータ化がアテンションを完全に置き換え、トランスフォーマーレベルの性能を線形複雑性で達成できることを証明する。
3. WeightFormer アーキテクチャ: 標準的な CNN 風フレームワーク内で、動的パラメータ戦略（線形レイヤー用の双方向活性化と、深度方向畳み込み用の空間適応予測）を体系的に探求するプロトタイプアーキテクチャの導入。

実験結果

著者は ImageNet-1K、COCO、ADE20K、および ImageNet 類条件生成において広範な実験を実施した。

• 画像分類（ImageNet-1K）: WeightFormer は、DeiT、PVT、ConvNeXt などの強力なベースラインと比較して、同等または低い計算コストで競争力のある、あるいは優れた精度を達成する。
  • WeightFormer-S は 81.3% のトップ 1 精度を達成し、同等のリソースを使用しながら DeiT-S（79.8%）および ConvNeXt-S（79.7%）を上回る。
  • WeightFormer-T は 76.3% の精度を達成し、DeiT-T（3661 img/s）と比較して大幅に高いスループット（3515 img/s）を維持しつつ、高解像度においてはるかに低い FLOPs を実現する。
• 効率性とスケーラビリティ: 線形複雑性により、WeightFormer は高解像度へ効率的にスケーリングする。1248×1248 解像度において、DeiT と比較して 7.7 倍のスループット向上と 91% のメモリ削減を達成する。
• 下流タスク:
  • 物体検出（COCO）: WeightFormer-T は、バックボーンの FLOPs を 106G から 77G に削減しつつ、DeiT-T に対してボックス/マスク AP を改善する（45.0/38.3 vs. 44.4/38.1）。
  • セマンティックセグメンテーション（ADE20K）: WeightFormer-S は 45.6 mIoU を達成し、バックボーンの FLOPs を削減しながら DeiT-S（44.0 mIoU）を上回る。
  • 画像生成: 類条件生成において、WeightFormer のバリエーションは、比較対象の DiT や DiG モデルよりも一貫して低い FID スコアを達成し、サンプル品質の向上を示している。
• アブレーション研究: 動的ブロックの頻度に関する実験により、疎な分布（3 つおきに 1 つの動的ブロック）が最適なトレードオフを提供することが明らかになった。静的レイヤーを置き換える割合が高すぎると、未学習や最適化の課題が生じるためである。

意義と主張

本論文は、動的パラメータ化が、グローバル系列モデリングに対する明示的アテンションよりも本質的に効率的な代替手段であると主張する。明示的な重み集約から暗黙的なパラメータ生成へと焦点を移すことで、著者はトランスフォーマーの二次的ボトルネックに依存しない効率的なアーキテクチャのための新たな設計空間を開拓した。

著者は、自身の研究の範囲について控えめなトーンを維持している。

• 評価は現在視覚タスクに限定されており、他のドメイン（例：NLP）への一般化は未解決の課題である。
• 動的パラメータ化の表現力と帰納的バイアスに関する理論的理解は、まだ完全ではない。
• これらの入力条件付きパラメータの最適化は、勾配フローや訓練の安定性に関する課題を伴う。

究極的に、この研究は、グローバルモデリングを二次的複雑性から切り離すことが可能であることを実証する概念実証（proof-of-concept）として機能し、アテンションベースのアーキテクチャの有効な代替手段としての動的パラメータ化のさらなる探求を促すものである。