技術的概要：トレーニングプロトコルによるビジョントランスフォーマーにおける空間的局所性の誘発

問題定義

ビジョントランスフォーマー（ViT）は画像分類において競争力のある性能を達成しているが、その帰納的バイアスにおいて畳み込みニューラルネットワーク（CNN）とは根本的に異なる。CNN は畳み込みと限られた受容野を通じて明示的に空間的局所性を組み込むのに対し、ViT はグローバルな自己アテンションを利用し、すべてのトークンが空間的制約なく他のすべてのトークンに注意を向けることを可能にする。この柔軟性は長距離依存関係の捕捉を可能にするが、そのような振る舞いがタスクに有益である場合、モデルが局所的に注意を向けることを学習する必要があることを意味する。

Raghu ら [12] の先行研究は、初期の ViT レイヤーにおける局所性が、主に大規模な事前学習（例：JFT-300M 上）や、データサイズに対するモデル容量の低さを通じて現れることを示した。しかし、ゼロからトレーニングする際に適用されるトレーニングプロトコル自体、具体的には拡張と正則化技術が、大規模な事前学習なしに中規模データセット（5 万〜10 万枚の画像）上で空間的局所性を誘発しうるかどうかは依然として不明である。

手法

著者らは、ViT の内部アテンション構造に対するトレーニングプロトコルの影響を分離するための制御実験を設計した。

実験設定

• アーキテクチャ: ゼロからトレーニングされたコンパクトな ViT（深さ $L=8$、埋め込み次元 $D=192$、8 ヘッド、パラメータ数約 240 万）。内部ドロップアウトは 0.0 に設定され、観測された効果がネットワーク内の確率的正則化ではなく、トレーニングプロトコルにのみ起因するものとなるよう保証した。
• データセット: 複雑さが増す 3 つのデータセットを使用した：CIFAR-10、CIFAR-100、Tiny-ImageNet。空間メトリックの比較可能性を確保するため、すべての画像を $N_p=64$ パッチ（$8 \times 8$ グリッド）に処理した。
• プロトコル:
  • ベースライン: 最小限の拡張（ランダムクリップ、ランダム水平反転）と標準的なクロスエントロピー損失。
  • モダン: 効率的なトランスフォーマートレーニングの標準的な 3 つのコンポーネントを組み込む：AutoAugment（Tiny-ImageNet の場合は ColorJitter）、CutMix、およびラベルスムージング。
• メトリック: 本研究は、ヘッドごとの 2 つのメトリックを使用してアテンションパターンを特徴づけた：
  1. 平均アテンション距離（MAD）: 注意を向けたトークンの平均空間距離を定量化する。低い値は局所的なアテンションを示す。
  2. 正規化アテンションエントロピー: アテンション分布の集中度を測定する。低い値は少数のトークンに集中したアテンションを示す。

アブレーション研究

局所性の特定の駆動要因を特定するため、CIFAR-100 上で体系的なアブレーション研究を実施した。これには以下が含まれる：

1. モダンプロトコルから個々のコンポーネントを削除する。
2. ベースラインプロトコルに個々のコンポーネントを追加する。
   この設計により、3 つのコンポーネント（AutoAugment、CutMix、ラベルスムージング）の 8 つの可能な組み合わせすべてを網羅した。

主要な結果

1. プロトコル比較

3 つのデータセットすべてにおいて、モダンプロトコルはベースラインと比較して、初期レイヤーにおいてより局所的で集中したアテンションを一貫して生み出した。

• CIFAR-100: 効果が最も顕著であった。最小 MAD は 0.316（ベースライン）から 0.008（モダン）に低下した。
• 行動空間: MAD-エントロピー空間において、ベースラインプロトコルは高距離・高エントロピー領域（グローバルで拡散したアテンション）にヘッドが一様に分布していることを示した。モダンプロトコルは、初期レイヤーが低距離・低エントロピー領域（局所的で集中した）へとシフトする軌跡を誘発し、より深いレイヤーでグローバルなアテンションに収束する前に、CNN の階層構造を模倣した。

2. アブレーションの知見

アブレーション研究は、CutMix を空間的局所性の出現を決定する唯一の要因として特定した。

• 二値分離: CutMix を含むすべての条件（モダン、$-$AutoAugment、$-$ラベルスムージング、$+$CutMix）は、最小 MAD が $\le 0.024$ となった。逆に、CutMix を含まないすべての条件（ベースライン、$-$CutMix、$+$AutoAugment、$+$ラベルスムージング）は、MAD が $\ge 0.210$ のままだった。
• 他のコンポーネントの独立性: AutoAugment とラベルスムージングは局所性に対して独立した影響を示さなかった。ベースラインに AutoAugment またはラベルスムージングのみを追加しても、MAD 値はベースラインとほぼ同一であった。
• 精度と局所性: CutMix と AutoAugment の両方は、ベースラインに対して同程度のマージン（約 6〜7 パーセントポイント）でテスト精度を向上させた。しかし、アテンションの幾何学構造を変化させて局所性を誘発したのは CutMix のみであった。

意義と主張

本論文は、トレーニングプロトコルが、中規模データセット上でゼロからトレーニングされたビジョントランスフォーマーにおいて空間的局所性を誘発しうることを実証すると主張しており、そのような振る舞いには大規模な事前学習や特定のアーキテクチャ的制約が必要であるという考えに挑戦する。

• メカニズム: 著者らは、CutMix が画像の一部の領域のみを使用して正しく分類することをモデルに強制することで局所性を誘発すると仮説を立てている。この圧力により、初期レイヤーが局所的な近傍から識別情報を抽出することが促され、実質的に CNN と同様の帰納的バイアスが創出される。
• 先行研究との区別: Raghu ら [12] が局所性にとってデータ規模が決定的な要因であることを確立したのに対し、本研究は（CutMix による）部分的な領域からの分類への圧力を、代替かつ十分な要因として特定した。
• 構造的洞察: 本研究は、分類精度の向上が必ずしも内部アテンション構造の変化と相関しないことを浮き彫りにした。AutoAugment と CutMix のような技術は同程度の精度向上をもたらす可能性があるが、入力多様性の増加対局所的な特徴抽出の誘発という、根本的に異なる内部メカニズムを通じて機能する。

限界

著者らはいくつかの限界を認めている：

• 実験は単一のコンパクトなアーキテクチャで実施されたため、より大規模なモデル（例：ViT-B、ViT-L）への一般化には検証が必要である。
• 本研究は単一の初期化シードを使用している。
• アブレーション研究は CIFAR-100 のみで実施された。
• トレーニング中に局所性が現れる時間的ダイナミクスは分析されなかった。

今後の研究として提案されているものには、マルチシード検証、他のデータセットでの再現、より大規模なアーキテクチャへの拡張、および局所性出現の時間的分析が含まれる。