Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers

技術要約：エントロピーによるマスク型自己教師あり学習ビジョン・トランスフォーマーのブロック重要度の解明

問題提起
マスク型自己教師あり学習ビジョン・トランスフォーマー（MAE、VideoMAEなど）は、ラベルなしデータから豊かな視覚表現を学習するための支配的なパラダイムを確立している。しかし、これらのモデルの膨大なサイズは、リソース制約のある環境（エッジデバイスなど）へのデプロイや、効率的な転移学習において大きな障壁となっている。根本的な疑問として、「すべてのトランスフォーマー・ブロックは、ダウンストリームの性能に対して等しく重要であるのか？」という問いが残されている。

既存の解決策には決定的な限界がある。感度ベースのプルーニング（枝刈り）は効果的ではあるものの、反復的なブロック削除とフル・ファインチューニングを必要とし、膨大な計算コストが発生する。データ駆動型のプルーニング手法は、ダウンストリームのデータや活性化統計量に依存しており、データセットのバイアスを導入し、データが利用できない、あるいは制限されている場合の適用性を制限する。非構造化プルーニングは、現代のハードウェア上で効率的にデプロイすることが困難な不規則なスパース性パターンをもたらすことが多い。したがって、トレーニングデータや勾配にアクセスすることなく、ブロックの重要性を推定し、冗長性を特定するための、原理に基づいたデータフリーかつ計算効率の高い手法が必要とされている。

手法：Gardenerおよび重み数エントロピー
著者らは、マスク型自己教師あり学習ビジョン・トランスフォーマーのための、データフリーでワンショットなブロックレベルのプルーニング・アルゴリズムであるGardenerを提案する。核心となる洞察は、ブロックの重要性は、学習済みのパラメータ自体、具体的には重みの構造的分布の中にエンコードされているという点にある。

この手法は、**重み数エントロピー（weight-number entropy）**と呼ばれる新しい指標に基づいている。従来の、重みの大きさや活性化に基づいて作用するエントロピーの定義とは異なり、この定式化は、トランスフォーマー・ブロック内における値の区間（インターバル）ごとのパラメータの「個数」の分布を特徴付けるものである。

1. 定式化: $N_l$ 個のスカラー重みを持つブロック $B_l$ について、重みの値範囲を $K$ 個の互いに素な区間に分割する。経験的な確率質量 $p_l(i)$ は、区間 $i$ に属する重みの数を、ブロック内の総重み数で割った比率として計算される。
2. エントロピー計算: 重み数エントロピー $H(B_l)$ は、$-\sum p_l(i) \log p_l(i)$ として計算される。この指標は、重みのスケーリングに対して不変性を保ちながら、ブロック内の重みの構造的多様性を捉える。
3. プルーニング戦略: Gardenerは、学習済みパラメータに対する一回のパス（走査）によって、すべてのブロックに対してこのエントロピーを計算する。ブロックはエントロピーの昇順でランク付けされる。エントロピーが低いことは、パラメータの分布がより集中していることを示し、著者らはこれが転移学習における重要度の低さに対応すると仮定している。アルゴリズムは、ターゲットとするプルーニング比率に基づき、単一のショットで、下位ランクのブロックを除去する。これには、フォワード／バックプロパゲーション、データへのアクセス、または反復的なファインチューニングを必要としない。

主な貢献

• 問題の定式化: 本論文は、リソース制約のある設定下における、マスク型自己教師あり学習ビジョン・トランスフォーマーのためのデータフリーなブロック重要度推定の課題を定義している。
• 理論的洞察: 学習済みパラメータのみから計算される情報理論的基準としての重み数エントロピーを導入し、それがオラクル感度（反復的なブロック削除とファインチューニングから導出されるもの）と強い相関関係にあることを示している。
• アルゴリズムの提案: 著者らは、線形時間の計算量を持つ、メモリオーバーヘッドが無視できるほど小さい、データを用いないワンショットのプルーニング・アルゴリズムであるGardenerを提案している。
• 実証的検証: 複数のプルーニング比率においてVideoMAE-Bを用いた広範な実験を行い、複数のダウンストリーム動画認識ベンチマーク（UCF101）において、Gardenerが既存のデータフリーなベースラインを一貫して上回るか、あるいは同等の性能を示すことを示した。また、感度ベース（オラクル）のプルーニングの性能に極めて近い結果を得ている。
• 構造的分析: 本研究は、マスク型自己教師ありモデルにおける系統的な構造的ヘテロジェニティ（不均一性）の経験的証拠を提供しており、初期および中間層のブロックは高いエントロピー（多様な低次/中次パターンを捕捉）を持ち、深い層のブロックは低いエントロピー（意味的な抽象化に特化）を持つことを明らかにしている。

結果
VideoMAE-B（Kinetics-400で事前学習）を用いて行われたUCF101での実験から、以下の知見が得られた。

• ブロックのヘテロジェニティ: 異なるトランスフォーマー・ブロックを削除すると、ダウンストリームの性能が劇的に変化することが確認され、ブロックが等しく重要ではないことが証明された。例えば、ブロック1を削除すると、加重平均再現率（WAR）が46.73%へと大幅に低下したが、ブロック12を削除した場合は、WARは91.29%（元は91.78%）であった。
• オラクルとの相関: 重み数エントロピーによるブロックのランキングは、感度ベースのオラクル・ランキングと強く一致している。エントロピーが高いブロックは、削除した際の性能低下が常に大きくなる。
• プルーニング性能: Gardenerは、すべてのプルーニング比率において、他のデータフリーな基準（大きさベース、分散ベース、およびランダム選択を含む）よりも優れた性能を示した。特筆すべきは、最大**91.7%**のブロックをプルーニングした後でも、競争力のある転移性能（WAR 68.81%）を維持しており、同じ比率における感度ベースのプルーニングの結果に極めて近い値を示したことである。
• 効率性: 本手法は無視できる程度の計算オーバーヘッドしか発生させず、パラメータに対する一回のパスで動作するため、反復的な感度ベースの手法よりも数桁効率的である。

意義と主張
本論文は、学習済み重みの情報理論的分析が、モデル圧縮およびリソース効率の高い転移学習のための、原理に基づいた効率的な経路を提供することを主張している。重み数エントロピーを用いることで、データへのアクセスなしにブロックの重要度を正確に推定できることを示すことにより、著者らは、マスク型自己教師あり学習トランスフォーマーにおいて、データ駆動型または反復的なプルーニングの必要性に疑問を投げかけている。

本研究は、これらのモデルには実質的なブロックレベルの冗長性が存在すること、そして重み数エントロピーが学習中に獲得された内在的な表現特性を捉えていることを強調している。これにより、単純な測定を通じて冗長なブロックを特定することが可能となり、迅速なモデル適応を実現できる。著者らは、Gardenerを、あらゆるプルーニング・シナリオに対する完璧な代替品としてではなく、厳格なゼロデータ制約下においてオラクル挙動を近似する、堅牢で低コストなサロゲート（代理）として位置付けており、データと計算資源が限られた環境における大規模な基盤モデルのデプロイを促進するものであるとしている。

限界
著者らは、重み数エントロピーは粗い粒度の静的な指標であり、入力依存の挙動やタスク固有の活性化パターンを考慮していないため、高度に専門化されたダウンストリーム・タスクへの適応性が制限される可能性があることを認めている。さらに、現在の研究はViTベースのマスク型オートエンコーダにおけるブロックレベルのプルーニングに焦点を当てており、これらの基準をより細かい構造（例：アテンション・ヘッド）へ拡張することは未解決の課題である。最後に、感度との相関は強いものの、すべてのアーキテクチャや学習レジームにおいて完璧であることが保証されているわけではない。