Neural network relief: a pruning algorithm based on neural activity

巨大で複雑なパズルを解こうとしているところを想像してみてください。あなたは数千個のピースが入った大きな箱を持っていますが、実際に絵を組み立てる時には、そのうちのほんの一握りのピースしか必要ありません。残りのピースはただの邪魔者であり、場所を取り、正しいピースを見つけるのを難しくしているだけです。これは、画像認識や音声アシスタントの背後にある超スマートなコンピュータの脳、「ディープニューラルネットワーク（DNN）」が直面している状況そのものです。これらのデジタルな脳は、数百万もの小さな接続（コネクション）で構成されていますが、研究者たちは、特定のタスクに対しては、そのほとんどの接続が何もせずにただ座っているだけであることに気づきました。彼らは働きすぎであり、過剰装備なのです。

科学者たちが投げかけている大きな問いは、「筋肉を削ることなく、いかにして脂肪を削ぎ落とすか？」ということです。私たちは、パズルを解く方法を忘れることなく、これらの巨大なネットワークを縮小し、より高速に動作させ、メモリ使用量を減らしたいと考えています。この論文は、これらのコンピュータの脳が作業中に実際にどのように「思考」しているかを見ることで、この問題に取り組んでいます。単にどの接続が無用かを推測するのではなく、著者たちは、脳の活動に耳を傾け、最も静かな部分を見つけ出し、それらを優しくオフにする新しい方法を提案しています。それは、部屋全体を掃き掃除するのではなく、どの電気が消えているかを注意深くチェックして、必要なときにはスイッチを切り、重労働を行うための明るく活動的な部分を残していく、賢い清掃員のようです。

---

「NNrelief」戦略

NNreliefをご紹介しましょう。これは、オーケストラの非常に注意深い指揮者のように振る舞う、新しいプルーニング（「枝打ち」を意味する専門用語）アルゴリズムです。典型的なディープニューラルネットワークでは、たとえ静かに鼻歌を歌っているだけでも、すべてのミュージシャン（またはニューロン）が演奏しています。NNreliefの目標は、音楽が完璧に聞こえ続けるように配慮しながら、実際には曲に貢献していないミュージシャンを見つけ出し、彼らに休憩を求めることです。

旧来の方法 vs 新しい方法

長い間、これらのネットワークをトリミングする標準的な方法は、**マグニチュード（大きさ）**に基づいたものでした。想像してみてください、2つの地点を結ぶたくさんのロープがあります。旧来の方法は、「細いロープを切れ！」と言いました。細いロープ（小さな数値、つまり「重み」）は大きな重さを支えられないため、役に立たないはずだ、という考え方です。

しかし、この論文の著者たちは、これはチームへの貢献度を、その人がどれだけ大声で叫んでいるかだけで判断することに似ていると主張しています。ある人はメガホン（巨大な重み）を持っていても、実はささやいている（弱い信号）だけで、実際にはあまり役に立っていないかもしれません。逆に、普通の声で話していても、適切なタイミングで適切な言葉を叫んでいる人もいるでしょう。

NNreliefはゲームのルールを変えます。ロープの太さ（重み）を見る代わりに、どれだけの信号が実際にそこを通過しているかを見ます。それはこう問いかけます。「この接続は今、実際にどれだけの情報を運んでいるのか？」もし接続が弱い信号しか運んでいないなら、たとえロープが太くても、それは排除されます。もし接続が強い信号を運んでいるなら、たとえロープが細くても、それは残ります。

仕組み：「重要度スコア」

チームは、重要度スコアと呼ばれるシンプルな数学的トリックを作成しました。これは、ネットワーク内のあらゆる接続に対する「貢献度メーター」と考えてください。

1. 彼らはネットワークが問題（猫の写真を識別するなど）を解く様子を観察します。
2. 各接続にどれだけの「エネルギー」や「信号」が流れているかを計算します。
3. 接続を最も重要なものから最も重要でないものへとランク付けします。
4. 目標を設定します：「上位95%の信号を維持せよ」。
5. そのラインを下回るものはすべてカットします。

面白い点は、固定された数の接続をカットする（例：「50%をカットする」）のではないということです。彼らは活動量に基づいてカットします。つまり、ネットワークは、信号を強く保つためにどれだけの接続を保持すべきかを自分自身で決定するのです。

「リリーフ（解放）」効果

これを実行したところ、非常に興味深いことが起こりました。ネットワークは単に小さくなっただけでなく、よりバランスの取れたものになりました。プルーニングの前は、いくつかの接続が重要性を叫んでいる一方で、他の接続は沈黙していました。プルーニングの後、残った接続はすべて、ほぼ同じレベルの重要度を持つようになりました。著者たちはこれを**「ニューラルネットワーク・リリーフ（Neural Network Relief）」**と呼んでいます。それは、一部のスタープレイヤーと多くの死重が存在するチームではなく、全員が自分の役割を果たしているチームのようなものです。ネットワークは、残ったすべての接続が何か有用なことを行っている、引き締まった効率的な機械へと進化します。

結果：大きな勝利、小さな損失

チームは、MNIST（手書き数字）、CIFAR-10/100（小さなカラー画像）、Tiny-ImageNetといった標準的な画像データセットを使用して、いくつかの有名なネットワークアーキテクチャ（LeNet、VGG、ResNet）でテストを行いました。

結果は以下の通りです：

• VGGネットワークに対して： CIFAR-10データセットにおいて、精度をほとんど落とすことなく、ネットワークを50倍以上縮小（元のパラメータの2%未満を保持）することに成功しました。Tiny-ImageNetデータセットでは、わずか**0.03%**の精度低下で、40倍以上の圧縮（パラメータのわずか2.32%を保持）を達成しました。
• ResNetネットワークに対して： 高い割合のプルーニングされたパラメータを実現しました。具体的には、CIFAR-10におけるResNet-56に対して、76.2%のパラメータを保持（約23.8%がプルーニングされた）しつつ、精度をオリジナルに非常に近い状態に保ちました。
• オプティマイザの驚き： 彼らは、AdamとSGDという2つの異なる「トレーニング・コーチ（オプティマイザ）」をテストしました。VGGネットワークにおいて、AdamはSGDよりもはるかに攻撃的であり、より多くの接続を切り落としました。しかし、ResNetネットワークにおいては、両方のコーチが同様のパフォーマンスを示しました。これは、ネットワークの種類がトレーニング方法と同じくらい重要であることを示唆しています。

彼らが「行わなかった」こと

この論文が主張していないことも明記しておく必要があります。著者たちは、現在のコンピュータハードウェアが必要とする数学的計算量（FLOPs）を最小化することが目的ではないと明言しています（減少は見られましたが）。彼らの主な焦点は、接続の数と、それが運ぶ「信号」にありました。また、彼らは「継続学習（新しいタスクを学びながら古いタスクを忘れないこと）」の問題を解決したとも主張していませんが、彼らの手法がその将来の目標に向けた重要なステップであると示唆しています。

まとめ

この論文は、ニューラルネットワークのどの部分が無用かを推測する必要はないということを示唆しています。ニューロンの実際の活動に耳を傾けることで、外科的な精密さで脂肪を削ぎ落すことができます。その結果、驚くほど堅牢で、より小さくシンプルなネットワークが得られます。それは、エンジンを適切にチューニングすれば、より小さなエンジンでも車を同じ速さで走らせることができると発見することに似ています。「ニューラルネットワーク・リリーフ」のアプローチは、何を放すべきかを正確に知っていれば、「少ないことは、より多くのことである（Less is more）」ということを証明しています。