技術的サマリー：タスク関連性は局所的な代替可能性ではない

問題定義

ビジョンネットワークにおいて、チャネルの重要性は通常、単一のスカラースコアで要約されます。この慣行は、2 つの明確に異なる問いを混同しています：

1. タスク関連性：あるチャネルがターゲットタスクについてどの程度の情報を伝達するか？
2. 局所的な代替可能性：あるチャネルを除去した場合、同じ層内の他のチャネルがネットワーク機能を維持するために必要な情報を供給できるか？

著者らは、これらの特性は一致する必要はないと主張します。高い予測性を持つチャネルでも、他のチャネルが重複する情報を保持している場合は容易に除去可能であり、逆に予測性が低いチャネルでも、他のチャネルがその特定の役割をカバーしていない場合は不可欠となり得ます。既存の指標（大きさ、勾配感度、再構成誤差など）は、これらの効果を単一の値に圧縮することが多く、タスクへの貢献度と同一層のピアによる回復可能性を明示的に区別できていません。

手法

本論文は、タスク関連性と局所的な代替可能性を分離するチャネル情報の2 軸ビューを導入します。分析は、CIFAR-100 で学習された凍結済みネットワーク（ResNet-18、VGG-16、MobileNetV2）に対して、固定された較正セットを用いて事後に行われました。

2 つの軸

1. 局所軸（代替可能性）：

   • 入力捕捉（$I_X$）：チャネルが入力変動をどの程度強く捉えるかの代理指標。重みベクトルと入力共分散のレイリー商（$w_i^\top \Sigma_X w_i$）を通じて計算されます。
   • ピア重なり（$\bar{R}_X$）：チャネルの信号が同じ層のピアとどの程度重なるかを測定する指標。チャネル活性化のペアワイズ相関行列から導出されます。
   • 定義：高い $I_X$ と低い $\bar{R}_X$ を持つチャネルは、独自の局所構造を担っており、代替されにくいとされます。

2. ターゲット軸（関連性）：

   • タスク相互情報（$I(T; Y)$）：チャネルがタスクマージン（正解ラベルのロジットマージン）について保持する情報を測定します。
   • ターゲット冗長性/超過：ガウス部分情報分解（PID）の代理指標を使用します。論文は、スケーラブルなガウス-MMI（最大相互情報）定義の下では、ターゲット冗長性が単一のタスク関連性に収束し、局所的なピア重なりとは区別されることを指摘しています。

実験プロトコル

• 構造分析：層とシード全体における 2 つの軸間の相関とクラスタリング（調整ランダム指数）の測定。
• 学習軌跡：ランダム初期化から収束までの軸の整合性を追跡し、分離が学習されるかどうかを判断します。
• 勾配分析：残差化された勾配方向を通じて 2 つの軸の幾何学的なデカップリングを説明するガウス線形モデルの導出。
• 介入テスト：
  • 病変：微調整なしに個々のチャネルを除去し、即座の損失増加を測定します。
  • プルーニング：FLOPs 一致のリカバリ（微調整）を用いた構造化プルーニングを行い、精度保持を評価します。
  • ピア置換：除去されたチャネルの活性化を、上位ピアからの線形再構成で置換し、回復可能性をテストします。

主要な貢献

1. 軸の構造的な分離

本研究は、学習済みネットワークにおいて、局所軸とターゲット軸が弱く整合している（スピアマン $\rho \approx 0.01$）ことを示し、異なるチャネルのグループ化を定義している（低い調整ランダム指数）ことを実証しました。これは、軸が強く結合している（$\rho \approx 0.7$）ランダム初期化とは対照的です。この分離は初期化のアーティファクトではなく、学習された現象です。

2. デカップリングのメカニズム

著者らは、ガウス残差化メカニズムを提案します。線形ガウスモデルにおいて、入力捕捉の勾配は投影された信号パワー方向に従いますが、タスク関連性の勾配は残差化されたタスク共分散方向に従います。タスク共分散方向が支配的な入力パワー方向と弱く整合している場合、2 つの勾配はほぼ直交し、学習中に観察されるデカップリングを説明します。

3. プルーニングの予測可能性

固定された FLOPs 一致のプルーニングプロトコル下では、局所軸の指標は、ターゲット軸の指標よりも除去可能性のより信頼性の高い予測子です。

• 病変の証拠：一致したタスク関連性のビン内では、ピア再構成の $R^2$（局所的サポート）が損傷からの回復を予測しますが、タスク関連性や入力捕捉はそうではありません。
• プルーニング結果：ResNet-18、VGG-16、MobileNetV2 全体を通じて、最良の局所軸手法は最良のターゲット軸手法を有意な差（例：AUC で +8.0% から +10.1%）で上回ります。
• アーキテクチャ依存性：局所的な代替可能性は一般的に優れていますが、VGG-16 においては重みの大きさが強力なベースラインとして残っていることが指摘されており、アーキテクチャ固有の割り当ての詳細が依然として重要であることを示唆しています。

4. 高次構造

分析により、局所的な代替可能性は、初期層では「単一の重複」から、深い層では「分散されたハル」へとシフトすることが明らかになりました。逆に、ターゲット側の情報は深い層になるほどトリプレットレベルのシナジーを必要とするようになり、分散したシナジース情報により、中間層はターゲット側からの圧縮が困難であることを示唆しています。

結果

• 弱い整合：入力捕捉（$I_X$）とタスク関連性（$I(T; Y)$）の相関は学習中に急激に低下し、最終モデルではゼロ付近に落ち着きます。
• クラスタの発散：局所的特徴（冗長性）とターゲット特徴（関連性）によってグループ化されたチャネルは、ほぼランダムな重なり（ARI $\approx 0.02$）を示し、これらがチャネルの異なる部分集合を特定していることを確認しました。
• プルーニング性能：
  • ResNet-18：最良の局所手法（+8.0 pp）> 最良のターゲット手法。
  • VGG-16：最良の局所手法（+6.6 pp）> 最良のターゲット手法。ただし、大きさ（ノルムベースのベースライン）は依然として競争力があります。
  • MobileNetV2：最良の局所手法（+10.1 pp）> 最良のターゲット手法。
  • ストレステスト：局所優位ターゲットの階層は、CIFAR-10、Tiny-ImageNet、ImageNet-100、および ConvNeXt-T のパイロットにおいて維持されますが、軸の分離の度合いは異なります。
• 勾配の直交性：実測値は、SGD 更新方向が学習初期後に両方の情報勾配とほぼ直交することを確認し、残差化仮説を支持しています。

意義と主張

本論文は、プルーニングスコアの普遍的なランキングではなく、軸レベルの区別を主張します。

• 核心的洞察：プルーニングは本質的に代替可能性の介入です。これは、層の残りが利用可能である場合、チャネルが依然として必要かどうかを問うものです。タスク関連性はチャネルが何を表すかを説明しますが、局所的な代替可能性はネットワークがそれを必要とするかどうかを説明します。
• 限界：最も強力な証拠は CIFAR-100 上の CNN から導出されています。ImageNet や ConvNeXt でのストレステストはこの傾向を支持していますが、著者らは、さらなる検証なしにすべてのアーキテクチャ（例えばトランスフォーマーなど）に普遍的に適用できるとは主張していません。
• 実践的含意：これらの知見は、プルーニングヒューリスティックが局所的なピアサポートを明示的に考慮すべきであることを示唆しています。ノルムベースのスコア（大きさなど）は、局所入力捕捉の代理として機能する特定のアーキテクチャ（VGG-16 など）では競争力があるかもしれませんが、除去可能性の決定的要因であるピア重なりを捉えることはできません。

この研究は、チャネルの重要性を単一のスカラーではなく、2 次元の特性として再定義し、ネットワークの冗長性を理解し、プルーニング戦略を導くためのより微妙な診断を提供します。