Gradual Capacity Growth for Sparse Network Discovery

技術要約：疎なネットワーク発見のための段階的容量成長

1. 問題提起

疎なニューラルネットワーク学習における中心的な課題は、ネットワークの密度（スパース性）とタスクの性能との関係が一般に未知であり、タスクに依存することである。性能は通常、ある「動作密度」（高密度モデルに近い精度が得られる最小の密度）を超えると飽和するが、この密度を特定するには、通常、高価な試行錯誤や高密度での事前学習が必要となる。

既存の手法には、以下のような特有の制限がある：

• 反復的な重み枝刈り (Iterative Magnitude Pruning: IMP): 高密度での事前学習と複数回の再学習サイクルを必要とし、高密度学習の3〜4倍の浮動小数点演算量（FLOPs）を要する。
• 動的スパース学習 (Dynamic Sparse Training: DST) および 初期化時の枝刈り (Pruning-at-Initialization): これらの手法は、ターゲットとなるスパース性が事前に固定されている必要があり、網羅的な探索なしには最適な動作密度を発見することができない。
• 成長ベースの拡張 (Growth-based Expansion): 従来の手法は、通常、幅を拡張して高密度モデルへと収束させることを目的としており、スパース性を最終的なアーキテクチャ特性ではなく、一時的な状態として扱っている。

本論文は、動作密度の発見は、固定されたスパース性予算を最適化する問題とは別の問題であると断定している。目標は、高密度での事前学習や事前設定されたスパース性ターゲットなしに、累積的な学習コストを最小限に抑えつつ、性能が飽和する最小の密度 $\rho^*$ を見つけるために、疎なネットワークを建設的に成長させることである。

2. 手法：段階的容量成長 (Gradual Capacity Growth: GCG)

著者らは、建設的な「疎から密へ」の学習フレームワークである Gradual Capacity Growth (GCG) を提案する。GCGは、疎なシードから開始し、性能の飽和が推定されるまで接続を段階的に追加していく。

コア構成要素:

• 初期化: ネットワークは低密度 ($\rho_{init}$) での PHEW [19] を用いて初期化され、孤立したノードを避けつつ、高性能な出発点を提供する。
• 成長メカニズム (PathGrow):
  • 動機: ニューラルタンジェントカーネル (NTK) の分析に基づくと、高い重みのパスに参加する接続は収束を加速させる。しかし、純粋にパスの重みを最大化しようとすると、ボトルネック（隠れ層の狭窄）が生じ、汎化性能を損なう可能性がある。
  • パス重み大きさ積 (Path Weight Magnitude Product: PWMP): 高い信号を持つ経路を効率的に特定するために、GCGは潜在的なエッジに対してスコア $S(i, j)$ を計算する。このスコアは、ソースノードの「複雑さ」（入力からノード $i$ までの総PWMP）と、デスティネーションノードの「汎用性」（ノード $j$ から出力までの総PWMP）の積である。これは、絶対値化された重みを持つネットワークを用いた、単一のフォワードおよびバックワードパスによって計算される。
  • 確率的サンプリング: 最もスコアの高いエッジを決定論的に追加する（これによりボトルネックが発生する）代わりに、PathGrowはPWMPスコアに比例した確率で新しい接続をサンプリングする。これにより、構造的な多様性を維持しながら、高信号パスへの成長をバイアスさせる。
• 学習スケジュール:
  • インターリーブ成長: 成長は学習プロセスの初期段階で行われ、短い「ラフな学習」フェーズと交互に行われる。これにより、勾配がノイズになる前に、ネットワークが有用なパス重みの信号を露出させることが可能になる。
  • 指数的成長: 各ステップにおいて、現在の密度の一定割合 ($\Delta \rho_k = \gamma \cdot \rho_k$) だけ密度が増加し、密度と性能の景観の探索を効率化する。
  • 重みの初期化: 新しい接続は、ノイズを避け、勾配降下法が適切な値を学習できるように、ゼロの重みで初期化される。
• 停止基準:
  • 各中間密度において広範な学習は行われないため、観測された性能と密度の軌跡に対して指数関数的な飽和曲線 ($P(G_k) = P_0 + A(1 - e^{-\beta \rho_k})$) を適合させる。
  • 動作密度 $\hat{\rho}^*$ は、適合された曲線が予測される最大改善の95%に達する最小の密度として推定される。

3. 主な貢献

1. 建設的なフレームワーク: GCGは、学習中に動作密度を発見する「疎から密へ」のパラダイムを導入し、高密度での事前学習や事前設定されたスパース性予算の必要性を排除する。
2. PathGrow アルゴリズム: 高いPWMPパスによる急速な収束と、構造的な多様性（ランダムサンプリングによる）のバランスを取る、確率的な成長ルール。
3. 効率性: GCGは、反復的な枝刈りと比較して、大幅に低い累積学習コストで動作密度を推定する。
4. 実証的検証: CIFAR、TinyImageNet、および ImageNet における広範な実験により、GCGが中程度の密度において高密度モデルに近い性能を示す疎なサブネットワークを特定することを実証している。

4. 結果

• 性能 vs 密度: CIFAR および TinyImageNet において、GCGは、密度が約30〜50%のときに IMP-C (Iterative Magnitude Pruning) の性能に匹敵または上回るサブネットワークを見出す。IMP-C はより低い密度（約15〜20%）で最適な精度を達成するが、GCGは中程度の密度で同等の精度に到達する。
• ベースラインとの比較:
  • PathGrow vs 他の手法: PathGrow は、ほとんどのベンチマークにおいて Random Growth (RG) や Gradient-based Growth (GG) を上回るか、それに匹敵する。また、欠落している接続に対して高価な勾配推定を必要とする GG よりも効率的である。
  • GCG vs PHEW/RigL: 学習予算が正規化されている場合、GCGは一括枝刈り (PHEW) や動的スパース学習 (RigL) よりも一貫して優れた性能を示す。これは、反復的な成長の利点を強調している。
  • ImageNet: ResNet-50 を用いた大規模な ImageNet では、GCG は動的な手法（RigL や GSE など）に約2パーセントポイント遅れる。著者らは、これを「成長のみの手法」が、時間の経過とともに有用性が低下した接続を削除・再割り当てできないことに起因すると考えている。
• 学習コスト: GCG は IMP-C よりも大幅に効率的である。CIFAR のベンチマークにおいて、GCG は高密度学習の約 1.5倍の FLOPs で同等の性能を達成するが、IMP-C は 3〜4倍 を必要とする。

5. 意義と限界

意義:
本論文は、疎な学習を単なる最適化問題としてではなく、ネットワークがいかにして高性能なサブネットワークへと成長するかという探索問題として捉えている。GCG は、限られた最適化予算の下で、精度と密度のトレードオフを探索するための実用的なメカニズムを提供する。これは、特に高密度での事前学習という膨大なコストをかけずに、中程度のスパース性領域で疎なネットワークを発見する上で、枝刈りに対する補完的なアプローチとして有効である。

限界 (著者による記載):

• スパース性の天井: 成長のみの手法は、低重要度の接続が明示的に削除されないため、極端なスパース性レベルには到達できない。
• アーキテクチャの特異性: PWMP ヘリスティックはフィードフォワードおよび畳み込み構造向けに調整されており、重みの大きさが機能的重要度から乖離するアテンション機構（クエリ・キー行列）には自然には拡張できない。
• 効率性の指標: コスト分析はアルゴリズムの FLOPs に基づいており、現在のアクセラレータ上で利得を相殺する可能性のあるハードウェア固有のオーバーヘッド（例：疎なメモリ・アクセス、カーネル起動のオーバーヘッド）を無視している。
• ドメインの範囲: 実験はビジョン・ベンチマークに限定されており、大規模な NLP や音声ドメインにおける検証は今後の課題である。

著者らは、GCG が「破壊的な枝刈り」や「固定予算の動的学習」に対する建設的な代替案を提示しており、より広範な成長ベースの研究アジェンダへの一歩であると結論付けている。