技術要約: LEAP - 適応的進行によるレイヤー・スキッピングを用いたビジョン・トランスフォーマー蒸留の効率化

問題提起

DINOv2のようなVision Transformer (ViT) ベースのVision Foundation Models (VFMs) は、最先端の性能を達成しているが、膨大なパラメータ数（例：20億パラメータを持つViT-Giant）を有しており、エッジデバイスへのデプロイには実用的ではない。知識蒸留 (Knowledge Distillation, KD) は、これら「教師」モデルをコンパクトな「生徒」モデルへと圧縮するための標準的な手法である。しかし、特徴量ベースのKDは、根本的な**教師と生徒のギャップ（teacher-student gap）**に直面する。生徒の限られた表現能力と低ランクな特徴空間では、深い教師（例：40層のViT-G）の複雑で高次元な特徴マップを一度のステップで模倣することが困難である。

PKDのような中間レイヤーのマッチングや、投影ヘッド（projection heads）を用いるViTKDといった既存の戦略は、多くの場合、静的なマッピング・スケジュールに依存している。これらのアプローチは、訓練の初期段階から生徒に複雑な深い層の特徴量を模倣させることを強いたり、恣意的な手動のレイヤー選択を必要としたりする。この「一括（all-at-once）」のアプローチは、生徒の進化する能力を考慮できていないため、特に教師と生徒の間に大幅なサイズ差がある場合、訓練の不安定化や収束の遅延を招く。

手法: LEAP

著者らは、学習の「易しいものから難しいものへ」という進行を導入することで、教師と生徒のギャップを緩和するトレーニング・カリキュラムであるLEAP (Layer-skipping Efficiency via Adaptive Progression) を提案する。

核となる洞察: シフトした類似性

Centered Kernel Alignment (CKA) を用いたレイヤーごとの類似性分析を通じて、著者らはベースラインの訓練中に発生する時間的なシフトを観察した：

• 訓練の初期エポックにおいて、生徒の最終的な特徴マップは、教師の浅い中間層に対して高い類似性を示す。
• 訓練が進むにつれて、ピークとなる類似性は徐々に教師の深い層へとシフトしていく。
  これは、浅い層は初期段階の生徒にとって「易しい」ターゲットであるが、深い層は基礎となる表現を学習する必要がある、より複雑な意味的抽象表現であることを示唆している。

適応的カリキュラム

LEAPは、教師の中間特徴マップを、段階的に難易度が上がるターゲットのシーケンスとして扱う。カリキュラムは、オンラインCKA類似性閾値 ($\tau$) に基づいて進行する：

1. 初期化: 生徒は、教師の最初のViTブロックを模倣することから開始する。
2. 適応的進行: システムは、現在の教師ターゲットブロック ($T_m$) と生徒の終端特徴マップとの間のCKA類似性を監視する。
3. 遷移: カリキュラムは、類似性スコアが定義済みの閾値 $\tau$ に達するか、（忍耐限界に達した）パティエンス・リミットに達した場合にのみ、次の教師ブロック ($T_{m+1}$) へと進む。
4. 効率性: このメカニメントにより、生徒がそれらを学習する準備が整うまで、教師の深い層の計算を保留できるため、初期段階における教師の推論の早期終了が可能になる。

損失関数は、単一層の線形プロジェクターによって整列された、生徒の最終的な特徴と現在の教師ターゲットとの間の平均二乗誤差 (MSE) を最小化する。

主な貢献

1. LEAPカリキュラム: 手動のレイヤー割り当てや中間特徴の選択を不要にする、特徴量ベースのViT蒸留のための新しいレイヤー・スキッピング・カリキュラム。類似性指標に基づいて、各段階で「最も易しい」ターゲットを動的に選択する。
2. 堅牢性と分析: さまざな生徒の容量（ViT-Small, ViT-Tiny）およびデータセット規模（ImageNet-100, ImageNet-1K）におけるカリキュラムの堅牢性に関する徹底的な分析。著者らは、蒸留されたモデルが、画像レベル、インスタンスレベル、およびピクセルレベルのタスク全般において汎用性を維持していることを検証している。
3. 効率性の向上: 適応的進行により、深い教師層の推論を遅延させることで、訓練の計算コスト (FLores) とウォールクロック時間を大幅に節約できる。

実験結果

ImageNet-100 (アブレーションとチューニング)

• 精度: LEAPで蒸留されたViT-Sは、90.1% の線形プロービング精度を達成し、ベースラインに対して +12.24% の改善を示した。ViT-Tinyは75.90%から 81.76% へと向上した。
• 効率性: カリキュラムは、教師の推論の早期終了により、訓練FLOPsを（ViT-Sで）25.1%、（ViT-Tinyで）28.8% 削減し、訓練時間をそれぞれ 21% および 22.5% 短縮した。
• 堅牢性: クリーンな精度における改善は、mini-ImageNet-Cにおける分布外（OOD）への堅牢性にも反映された。

ダウンストリームタスク (ImageNet-100)

• インスタンス検索: OxfordおよびParisデータセットにおいて、LEAPで蒸留されたViT-Sは、ベースラインと比較してParisで 7.75%、Oxfordで 3.84% の平均適合率 (mAP) の大幅な向上を示した。
• セマンティック・セグメンテーション: ADE20Kにおいて、LEAPはすべてのプロトコル（Linear Segmentation, EOMT, Multi-Scale）で mIoU を大幅に向上させた。ViT-Sの場合、Linear Segmentationでは12.15%から 20.53% へ、EOMTでは24.49%から 38.10% へとmIoUが増加した。

ImageNet-1K (スケーラビリティ)

• 検索: LEAPは強力な性能を維持し、Parisデータセットで 7.75%、Oxfordで 3.84% のmAP向上を達成した。
• 分類とセグメンテーション: 大規模な分類（線形プロービング）およびセグメンテーションにおいて、LEAPは競争力のある結果を達成し、ベースラインとの差を縮めた。著者らは、大規模な分類における劇的な改善の欠如について、このデータセットにおけるコンパクトな生徒モデルの「アーキテクチャの容量限界」に起因すると述べている。
• 効率性: このスケールでの節約はより緩やかであったが（ViT-Tinyで11.51%のFLOP削減）、手法は特徴の完全性を維持しており、これは検索における利得によって証明されている。

アブレーション研究

• 漸進的 vs 静的: LEAPはすべての単一層の静的監督戦略を上回り、その恩恵が単一の「最適な」レイヤーではなく、構造化された進行から得られることを裏付けた。
• 密な整列 (Dense Alignment) との比較: 12個のプロジェクターを使用する密な一対一のレイヤー整列と比較して、LEAP（1つのプロジェクターを使用）はほぼ同等の性能（83.36% 対 83.38% の線形プロービング）を達成し、高い構造的効率性を示した。

重要性と主張

本論文は、LEAPが生徒の進化する能力を尊重することで、収束を加速させ、最終的な特徴の整列を改善する構造化された学習パスを提供すると主張している。教師の表現空間を静的なターゲットではなくカリキュラムとして扱うことで、LEAPは以下を実現する：

1. 収束の加速: 生徒は、高度な抽象概念に取り組む前に、安定した基礎を確立する。
2. 計算コストの削減: 教師の推論を早期終了させることで、訓練FLOPsと時間を大幅に削減する。
3. 汎用性の向上: 蒸留されたモデルは、蒸留プロセスにおけるタスク固有の微調整を行うことなく、多様なダウンストリームタスク（セグメンテーション、検索、分類）に適応する能力を維持する。

著者らは、中間特徴にアクセス可能なホワイトボックスの教師を必要とすること、および大規模なデータセットにおける（CKA閾値などの）ハイパーパラメータ・チューニングが最適でない可能性があることなど、制限事項も認めている。今後の課題として、クロスアーキテクチャ蒸留（例：TransformerからCNNへ）やマルチモーダルなシナリオへの適用が示唆されている。