技術要約：視覚的タスクのためのデノイジング・アテンション（DnA）

1. 問題提起

Vision Transformer (ViT) やその他の視覚的知覚モデルにおける標準的なアテンション機構は、アテンションの重みを正規化するために softmax 活性化関数に依存しています。softmax は最大エントロピー原理に基づいた理論的根拠を持っていますが、著者らはこれが視覚的タスクにおいて特定の限界をもたらすと主張しています。

• 非対称性とノイズ： Softmax は支配的な正のスコアを増幅させる一方で、負または低強度のスコアをゼロへと圧縮します。この非対称性は、情報を持つ「負の」相互作用（例：オブジェクトに関連しているが、異なる敵対的なクラスに属する特徴量）を抑制してしまう可能性があります。
• アテンションの誤配分： すべての相互作用を単一のサブスペース内で扱う標準的なアテンションは、関連する特徴量をノイズの多いコンテキストによって希釈してしまうことがよくあります。例えば、主要なオブジェクトを特定する際、モデルは二次的な、敵対的なオブジェクト（例：胸当てを特定しようとしている際に、人物やヘルメットなど）に不注意に注意を向けてしまうことがあります。これは、softmax メカニズムが「関連する」特徴と「密接に関連しているが、無関係な」特徴を明示的に区別できないためです。
• サブスペースの限界： 理論的分析によれば、分類誤差はクラス間のサブスペース間の主角（principal angles）に反比例します。標準的なアテンションはすべての相互作用を単一の値サブスペース ($V$) に投影するため、正のトークン相互作用と負のトークン相互作用を識別するために必要な幾何学的分離を制限してしまいます。

2. 手法：デノイジング・アテンション (DnA)

著者らは、Denoising Attention (DnA) を提案しています。これは、二つの異なる準直交なサブスペースを通じて正および負のトークン相互作用を明示的にモデル化することで、従来のマルチヘッド自己アテンション (MHSA) を置き換えるメカニズムです。

コア設計原則

1. デュアル・クエリ・メカニズム： 単一のクエリの代わりに、DnA は同じキーに対して二つのクエリセットを用います。
   • 正のクエリ ($Q^+$)： 正しいクラスに属する特徴を特定します。
   • 負のクエリ ($Q^-$)： 正しいクラスと密接に関連しているが、無関係な（敵対的または妨害となる）特徴を特定します。
2. デュアル活性化関数：
   • 正のブランチには、支配的な正のスコアを増幅させるために softmax を使用します。
   • 負のブランチには、強力な負の相互作用を増幅させるために softmin ($\sigma(-z)$ と定義) を使用し、標準的な softmax が抑制してしまうコントラスト構造を捉えます。
3. サブスペースの分離：
   • 正および負のブランチからの相互作用は、二つの異なる値サブスペース ($V^+$ および $V^-$) に投影されます。
   • 理論的動機付け（定理2）は、これらのサブスペース間の主角を大きくすることが分類誤差を減少させることを示唆しています。
   • アーキテクチャは、毎回の反復で厳密な直交性を強制するのではなく、初期化と学習ダイナミクスを通じて $V^+$ と $V^-$ の間の準直交性を強制します。
4. 数学的定式化：
   あるヘッド $h$ に対して、DnA の出力は次のように計算されます：
   $$\mathcal{A}^{Q^{\pm}V^{\pm}}_h = \boldsymbol{\sigma}\left(\frac{Q_h^{+} K_h^\top}{\sqrt{d}}\right)V_h^{+} + \alpha_h\boldsymbol{\hat{\sigma}}\left(\frac{Q_h^{-} K_h^\top}{\sqrt{d}}\right)V_h^{-}$$
   ここで、$\boldsymbol{\sigma}$ は softmax、$\boldsymbol{\hat{\sigma}}$ は softmin、$\alpha_h$ は学習可能なバランシング・パラメータです。

統合

• 画像分類： DnA は、標準的な ViT バックボーン（例：ViT-B）内の MHSA を置き換えます。
• ビデオ理解：
  • ビデオ・トランスフォーマー： DnA は、TimeSformer のようなモデルにおける空間的および時間的な自己アテンションの両方を置き換えます。
  • ビデオ LLM： DnA は、視覚的プローブ（例：VisCoP/VideoLLaMA3 内）のクロスアテンション・モジュールに統合され、LLM に視覚的キューを渡す前に、有害なトークン相互作用をフィルタリングすることを可能にします。

3. 主な貢献

• 理論的洞察： 本論文は、サブスペースの分離（主角）と分類誤差との間の関係を確立し、正および負の相互作用を別々のサブスペースに分離することを動機付けています。
• アーキテクチャの革新： デノイジング・アテンション・マップを明示的にデノイズするために、デュアル・クエリ、デュアル・バリュー、およびデュアル活性化（softmax/softmin）フレームワークを利用する DnA を導入しました。
• 実証的検証： DnA が画像およびビデオのタスクにおいて、標準的なアテンションや他の代替案（Differential Attention など）よりも優れた性能を示すことを示す広範な実験を行いました。
• サブスペースの分析： 「侵入次元（intruder dimension）」分析とフロベニウス内積による定量的証拠を通じて、DnA のブランチが、単一サブスペースの代替案と比較して、より直交したサブスペースで動作し、ノイズ抑制を向上させていることを確認しました。

4. 実験結果

著者らは複数のベンチマークで DnA を評価し、ベースラインに対する絶対的な利得を報告しています。

• 画像分類 (ImageNet-1K)：

  • ViT-B バックボーンを使用した場合、DnA はベースラインの ViT-B (81.1%) に対し、Top-1 精度で 0.8% の絶対利得 (81.9%) を達成しました。
  • Differential Attention や Cog Attention を使用したモデルを上回りました。
  • 堅牢性： DnA は ImageNet-A（敵対的例）において優れた性能を示し、ベースラインよりも高い信頼性 (AURRA) と低い較正誤差 (RMSE) を達成しました。

• ビデオ理解：

  • 行動認識： Toyota Smarthome において、DnA は TimeSformer に対して Cross-Subject で 1.3%、Cross-View で 4.0% の性能向上を実現しました。NTU RGB+D 60 では 1.2% の利得を得ました。
  • ビデオ LLM： VideoLLaMA3 に統合された際の Ego-in-Exo PerceptionMCQ ベンチマークにおいて、DnA はベースラインの VisCoP に対して、特に行動理解や人間とオブジェクトの相互作用タスクにおいて 0.5% の絶対利得をもたらしました。

• 定性的分析：

  • アテンションの可視化により、標準的な softmax アテンションはしばしば分散しているか、あるいは敵対的な背景オブジェクトに集中する傾向があるのに対し、DnA は主要なオブジェクトに鋭く集中することが示されています。
  • 負のブランチ ($AQ^-V^-$) は、無関係な背景領域を効果的に抑制し、クラスの特徴とノイズの間に明確なコントラストを作り出します。

5. 意義と主張

本論文は、DnA が、標準的な softmax が関連する特徴と、密接に関連しているが無関係なノイズを区別できないという、アテンションベースの視覚モデルにおける根本的な限界に対処していると主張しています。

• デノイジング効果： 負の相互作用を明示的にモデル化し、それらを別のサブスペースに投影することで、DnA は「デノイジング」フィルターとして機能し、モデルが敵対的または妨害となる視覚的キューによって誤導されるのを防ぎます。
• 幾何学的正当性： パフォーマンスの向上は、正および負のトークン相互作用の幾何学的分離に起因しており、これは理論的分析で予測された通り、分類誤差の境界を減少させます。
• 汎用性： このメカニズムは、標準的な画像分類だけでなく、複雑なビデオ理解タスク（詳細な行動認識やビデオ・言語推論を含む）においても効果的であることが示されています。
• 効率性： DnA は追加のパラメータ（Video LLM では約 3%、Video Transformer では最大 23%）を導入しますが、著者らはこれらが並列化可能なアテンション・ヘッド内に存在するため、スループットはベースラインのモデルと同等に維持されると述べています。

著者らは、DnA が標準的なアテンションに代わる原理的な選択肢を提供し、Transformer アーキテクチャを完全に刷新することなく、サブスペースの分離を利用して識別性と堅牢性を向上させると結論付けています。