技術的サマリー：選択プラトーとスパースリティ依存の剪定特徴階層

1. 問題定義

数十年にわたる研究と、単一ショットのニューラルネットワーク剪定のための多様な重み重要度基準（大きさベースの手法からテイラー重要度やヘッシアンベースのアプローチまで）の普及にもかかわらず、実証結果は一貫して、機能的に異なるこれらの手法が、整合されたスパースリティ予算下でほぼ同一の下流精度に収束することを示している。実務者は長らくこの収束を観察してきたが、満足すべき理論的説明は依然として見出されていない。さらに、単純な大きさのランキングを超えた特徴工学がいつ剪定性能を向上させることに成功し、いつ徒労に終わるのか、その条件は不明である。

2. 核心的現象：選択プラトー

著者らは選択プラトー現象を形式化した。彼らは、標準的な層ごとのランク正規化後の重み大きさに対して動作する任意のランク単調スコア関数について、その具体的な関数形に関わらず、結果として得られるチャネル選択は同一であることを実証した。

• 数学的基盤: 補題 1 は、2 つのスコア関数 $s_1$ と $s_2$ が層ごとの大きさのランクの厳密な単調関数である場合、任意の与えられたスパースリティ $S$ に対して、全く同一の Top-K サブセットのチャネルを誘発することを確立している。
• 実証的観察: したがって、そのようなすべてのランク単調手法は、共通の精度プラトー $\Pi(S)$ に収束する。このプラトーの高さはスパースリティによって劇的に変化するが、スコア関数の構築方法には普遍性がある。

3. 手法と実験設定

このプラトーをいつ、どのように脱却できるかを調査するため、著者らはスパースリティ - 情報 - 複雑性スペクトル (SICS) 仮説を提案し、体系的な実証研究を実施した。

• アーキテクチャとデータセット: 本研究はCIFAR-10上のViT-Smallに焦点を当てている。著者らは明確に、この段階ではクロスドメインの主張を控えており、これを単一の（アーキテクチャ、データセット）設定として扱っていると述べている。
• 剪定タスク: 12 個のトランスフォーマーブロックにわたる MLP $fc1$ レイヤーの構造化チャネル剪定。
• スパースリティレベル: 4 つのレベルがテストされた：$S \in \{0.5, 0.6, 0.7, 0.8\}$（除去されるチャネルの割合）。
• 特徴クラス: 実験では、複雑性メトリック $\kappa$ によって分類された9 つの異なる特徴クラスを 4 つのスパースリティレベルでテストした（合計 36 セル）：
  • $\kappa=0$ (ランク単調): ランクの厳密な単調関数（例：V1a peak_smooth, RandomSpline）。
  • $\kappa=1$ (滑らかな非単調): 低周波の非単調構造を持つ特徴（例：V1b var_smooth のような平滑化されたロジスティックマップ軌道統計）。
  • $\kappa=2$ (高周波の揺らぎ): 微細なスケールの振動を含む特徴（例：A5 のような生、非平滑化のロジスティックマップ軌道統計）。
  • コントロール: 大きさから決定論的に導出された「偽の」非単調スコア関数（PureMag4）と、非カオス非単調コントロール（NL_sin, Weier4）を含む。
• 最適化: スコア関数の融合重みは、プロキシ検証セット上でDung Beetle Optimizer (DBO) を用いて探索された。

4. 主要な貢献と仮説

SICS 仮説

本論文は、選択プラトー $\Pi(S)$ を脱却するために必要なスパースリティ依存の最小特徴複雑性 $\kappa(S) \in \{0, 1, 2\}$ が存在すると提案している。この仮説は、3 つの明確な領域を予測する：

1. 低スパースリティ ($S \lesssim 0.65$, $\kappa=0$): ランク単調スコアリングが実証的に最適である。非単調特徴はノイズを追加するか、性能を低下させる。
2. 臨界スパースリティ ($0.65 \lesssim S \lesssim 0.75$, $\kappa=1$): チャネルランク閾値と形状が整合する滑らかな非単調特徴が、測定可能な精度の脱却をもたらす。
3. 極端なスパースリティ ($S \gtrsim 0.75$, $\kappa=2$): 高周波の「揺らぎ」成分を含む特徴のみが成功する。滑らかな非単調特徴はプラトー以下に低下する。

主要な発見と直感に反する副次的発見

36 セルの実験は、SICS 構造に対する統計的に有意な証拠を提供する：

• 領域の検証:
  • $S=0.5$ および $0.6$では、すべての特徴がプラトーに集積する（$\kappa=0$ を確認）。
  • $S=0.7$ では、滑らかな非単調特徴がプラトーのアンカーに対して**+6.6%**脱却し、高周波特徴も同様に機能する。
  • $S=0.8$ では、高周波（生カオス）特徴のみが脱却する（+2.6%）。滑らかな特徴はプラトー以下に落ちる。
• 大きさからの独立性が重要: 重み大きさから純粋に導出された「偽の」非単調スコア関数（PureMag4）は、勾配ベースラインさえも下回る。これは、任意の非単調性では不十分であり、非単調構造は大きさランキングに対して統計的に独立でなければならないことを示している。
• より多くの指標が良いわけではない: 特徴次元を増やすこと（例：より多くの軌道統計を追加すること）は、過学習やノイズの蓄積につながり、性能を低下させる可能性がある（例：A5_Log6 は A5 よりも劣った）。
• ランク整合は必要だが不十分: $S=0.7$ におけるチャネル保持境界と整合する手作りのパラメトリックな膨らみ（例：ガウス）は、カオス由来の特徴の +0.046 の脱却と比較して、わずか +0.006 の脱却しか達成しなかった。これは、整合が必要である一方で、カオス由来の形状の特定の構造的複雑性が、付加的かつ非加法的な価値を提供することを示唆している。
• 最適化ランドスケープ: $\kappa=0$ ゾーンでは、最適化ランドスケープが極端に低い変動を示す（シードはほぼ同一の重みに収束する）のに対し、$\kappa=1$ ゾーンでは有意に高い変動を示し、より構造化されたランドスケープを示唆している。

5. 機構的解釈

本論文は、$\kappa(S)$ の非減少性を説明するテイラー展開の議論を提供する：

• 低 $S$: 剪定摂動は小さく、一次項（大きさ/テイラー重要度）が支配的である。
• 臨界 $S$: 二次のヘッシアン項が重要になる。チャネル間の結合を捉えるには非単調特徴が必要だが、支配的な固有モードは低ランクであるため、滑らかな（$\kappa=1$）特徴で十分である。
• 高 $S$: 三次の項と微細なスケールの相互作用が重要になり、これを解くには高周波の振動特徴（$\kappa=2$）が必要となる。

著者らはまた、非滑らかな特徴がチャネル保持境界と整合しなければならないというランク整合仮説についても言及している。しかし、彼らは明確に、この整合性だけでは、カオス由来の特徴で観察された完全な脱却を再現するには不十分であると指摘している。

6. 意義と限界

意義:

• 統合的説明: SICS は、多様な剪定手法が類似の精度に集積する理由（それらが同じ $\kappa$ 領域に属するため）を説明する枠組みを提供し、特徴工学がいつベースラインのランキングを上回るか、あるいは上回れないかを予測する。
• 設計指針: 将来の選択アルゴリズムは、すべてのスパースリティレベルに対して単一の「最良」スコア関数が存在すると仮定するのではなく、ターゲットスパースリティに合わせてその特徴複雑性を適応させるべきであることを示唆している。
• 方法論的厳密性: 本論文には、従属仮説（カオスは単に形状生成のための便利な基質であるという仮説）の直接の反証テストが含まれており、カオス由来の特徴の特定の構造が荷重を担うものであるという主張を更新している。

限界と範囲:

• クロスドメインの主張なし: 著者らは明確に、アーキテクチャやデータセット全体での普遍性を主張していないと述べている。結果は ViT-Small/CIFAR-10 に特化したものである。
• 機構の検証: 領域構造は実証的に検証されているが、機構的説明（テイラー展開、ランク整合）は、さらなる検証（例：直接のヘッシアンスペクトル測定など）を必要とする「仮説的機構」または「候補説明」として提示されている。
• 将来の作業: 本論文は、他のアーキテクチャ（ResNet, Swin）、データセット（ImageNet）、選択問題（トークン剪定、KV キャッシュ圧縮、MoE ルーティング）でのテスト、ならびに SICS 適応型プルーナーアルゴリズムの開発を含む将来の方向性を概説している。

結論として、本論文は現在の剪定ヒューリスティックにおける根本的な限界（選択プラトー）を特定し、この限界を克服するために必要な特徴の最小複雑性を規定するスパースリティ依存の階層（SICS）を提案している。これは、厳密な実証的証拠と、特徴の独立性および構造的複雑性に関する微妙な分析によって支えられている。