技術要約: ReGLA – ゲート付き線形アテンションネットワークによる効率的な受容野モデリング

1. 問題提起

Vision Transformer (ViT) のリソース制約のあるプラットフォーム（モバイルデバイス、組み込みシステムなど）への展開は、標準的なソフトマックスベースの自己注意（self-attention）メカニズムにおける二次的な計算量によって阻害されている。軽量な畳み込みニューラルネットワーク (CNN) は効率性に優れているが、限定的な受容野のために長距離の依存関係を効果的に捉えることに苦慮することが多い。逆に、ハイブリッド型のCNN-Transformerアーキテクチャは、アテンションを線形化しようとすると、従来の注意メカニズムの非効率性を引き継いでしまうか、あるいはモデリングの忠実度を犠牲にする傾向がある。本研究が取り組む核心的な課題は、学習の安定性やモデルの表現力を損なうことなく、高解像度画像に対する高い精度と、低レイテンシおよび線形な計算量を両立させることである。

2. 手法

著者らは、局所的な特徴抽出とグローバルなモデリングのトレードオフを最適化するために設計された、軽量なハイブリッドCNN-Transformerアーキテクチャである ReGLA を提案する。このアーキテクチャは、ステムブロックに続き、チャネル深度と空間解像度に応じてスケールする4つの階層的なステージで構成されている。設計は、線形計算量、強化された局所フォーカスを持つ大きな受容野、および数値的安定性の3つの基本原則に基づいている。

主要なアーキテクチャ構成要素

1. ReLU Gated Modulated Attention (RGMA)
計算コストの高いソフトマックス・アテンションを置き換えるために、ReGLAはメモリ効率の良いアテンションメカニズムであるRGMAを導入しており、これは $O(Nd^2)$ の線形計算量を達成する。

• メカニズム: ソフトマックスカーネルをReLUベースの線形カーネルに置き換え、軽量なゲーティングユニットを組み込んでいる。
• 動作: 特徴マップ $x$ に対し、出力 $X_o$ は $X_o = G(x) \odot C(x)$ として計算される。ここで：
  • $G(x)$ は、局所的な特徴重みを生成する（畳み込みとシグモイド活性化を使用する）畳み込みゲーティングメカニズムである。
  • $C(x)$ は、グローバルなコンテキストを抽出するReLU線形アテンション成分である。
  • $\odot$ は要素ごとの積を表す。
• 利点: この設計は、複雑さを軽減するためにトークン間の相互作用を分離しつつ、ゲーティングメカニズムが局所的なパターンを選択的に集中させることで、学習および推論時の安定した勾配を確保する。

2. Efficient Large Receptive Field (ELRF)
高解像度の入力に対して広範な空間的カバレッジを必要とするネットワークの初期段階向けに設計されたELRFは、大きなカーネルのコストをかけることなく、局所情報を捉えつつ大きな受容野を実現することを目指している。

• 設計: 単一の大きなカーネル（例：$7 \times 7$）を使用する代わりに、ELRFは操作を、フィードフォワードネットワーク (FFN) 層と交互に配置されたカスケード型の深度別畳み込み（$3 \times 3$ および $5 \times 5$）へと分解する。
• 利点: この段階的なアプローチは、実質的な $7 \times 7$ の受容野を達成しつつ、深度別畳み込みを活用することで計算効率を最適化し、メモリ・アクセス・ボトルネックを最小限に抑える。

3. マルチティーチャー知識蒸留 (Multi-Teacher Knowledge Distillation)
ダウンストリームタスクにおける汎化性能を高めるため、著者らは7つの多様な学習済みモデル（SAM2, DeiT-III, DINOv2, iBOT, ViTamin, AIMv2を含む）を活用したマルチティーチャー蒸留戦略を採用している。

• 適応: 分類に焦点を当てた標準的な蒸留フレームワーク（UNICなど）とは異なり、この戦略はヘテロジニアスなダウンストリームタスク向けに最適化されている。空間的な一貫性を密な予測タスクにおいて向上させるため、パッチ・トークンからグローバルなCLSトークンを構築するための適応型平均プーリングを導入している。
• 学習: この戦略は、ImageNet-21Kでの30エポックの蒸留フェーズと、それに続くImageNet-1Kでのファインチューニングを含み、安定した知識転送を確実にするために同期バッチ正規化とコサイン類似度損失を利用している。

3. 主要な貢献

• ReGLA アーキテクチャ: 局所表現のための ELRF と、グローバルモデリングのための RGMA（ソフトマックスフリーのゲート付き線形アテンション）を特徴とする、モバイルおよびエッジ展開に特化した極めて効率的なCNN-Transformerアーキテクチャの導入。
• 蒸馏戦略: モデル選択、競合解決、およびプレーンなViTティーチャーとピラミダルな生徒ネットワーク間のアーキテクチャの異質性の課題に対処する、新しいマルチティーチャー蒸留フレームワーク。
• 実証的検証: ImageNet-1K分類、COCO物体検出、およびADE20Kセマンティックセグメンテーションにおける包括的な評価により、低レイテンシおよび低パラメータ数で最先端の性能を実証した。

4. 実験結果

著者らは、複数のベンチマークにおいてReGLAのバリアント（T, S, M, L, X）を、最近の軽量モデル（例：MobileNetV4, iFormer, EfficientFormer）と比較評価した。

• ImageNet-1K 分類:

  • ReGLA-M は、224px解像度において、iPhone 16 Pro（512px入力）でわずか 4.98 ms のレイテンシで 80.85% のTop-1精度を達成した。
  • 10Mパラメータのカテゴリにおいて、ReGLA-Mは（蒸留なしで）iFormer-Mを0.45%、（蒸留ありで）0.8%上回った。
  • ReGLA-L（19.9M params）は82.9%の精度を達成し、EfficientViT-B2（24.3M params）を4.4M少ないパラメータ数で0.7%上回った。
  • マルチティーチャー蒸留により、ReGLA-X は85.2%のTop-1精度に達し、FastViT-MA36を3M少ないパラメータ数で0.5%上回った。

• ダウンストリームタスク (COCO & ADE20K):

  • 物体検出 (COCO): ReGLA-M（蒸留済み）は 43.9% APbox を達成し、iFormer-M-distilledを 3.1% AP 上回った。特筆すべきは、ReGLA-M-distilledがより大きなiFormer-L-distilledを1.7% APbox上回っている点である。
  • セマンティックセグメンテーション (ADE20K): ReGLA-M-distilledはiFormer-M-distilledに対して 3.6% mIoU の向上を示した。ReGLA-L-distilledはiFormer-L-distilledに対して 3.9% mIoU の向上を示した。
  • レイテンシ: ReGLAモデルは、同様のスケールのiFormerモデル（例：iPhone 16 ProでのReGLA-Mの4.98msに対しiFormer-Mの19.24ms）と比較して、モバイルCPU上で一貫して大幅に低いレイテンシを示した。

5. 意義と主張

本論文は、ReGLAを「持続可能なコンピュータビジョン」のための実用的かつスケーラブルなソリューションとして位置づけ、大規模AIの環境的および経済的コストに対処している。著者らは、ReGLAが「より少なく、より良く（less but better）」への転換を体現しており、洗練された視覚的インテリジェンスには効率性やアクセシビリティとのトレードオフは不要であることを証明していると主張している。

具体的には、本研究は以下のことを断言している：

1. グローバルアテンションは効率的になり得る: RGMAは、リソース制約下において、速度と精度の両面でソフトマックスベースの手法を凌駕する。
2. 共同設計（Co-design）は不可欠である: 局所演算子（ELRF）とアテンションメカニズム（RGMA）の統合は、高解像度効率化において極めて重要である。
3. 蒸留の有効性: 提案されたマルチティーチャー戦略は、モデルの汎化性能を効果的に高め、より小さなモデルが密な予測タスクにおいてより大きな非蒸留モデルを上回ることを可能にする。

著者らは、ReGLAが高解像度の視覚的アプリケーション、特にレイテンシとパラメータ効率が最優先される場面において、新たな最先端（SOTA）を確立すると結論付けている。