F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models

想像してみてください。あなたの前には、物語を書き、数学の問題を解き、人間のようにチャットができる、信じられないほど賢い巨大なロボットがいます。このロボットは「大規模言語モデル（LLM）」です。しかし、一つ問題があります。このロボットはあまりにも巨大すぎるのです。動かすには、まるで一つのバッテリーで都市全体を動かそうとするかのように、膨大なコンピュータと大量の電力が必要です。科学者たちは、その賢さを失うことなく、より小さなデバイスでも動かせるように、このロボットを小さくする方法を常に模索しています。

彼らを小さくする一般的な方法の一つに「プルーニング（枝刈り）」があります。ロボットの脳を、ニューロン同士の接続が詰まった巨大な図書館だと考えてみてください。プルーニングとは、その図書館を調べて、あまり重要ではないと思われる本を捨てていく作業のようなものです。目標は、図書館をバックパックに入るサイズまで小さくしつつ、それでも質問に答えられるだけの賢さを維持することです。しかし、ここには難しいバランスがあります。もし間違って「重要な」本を捨てすぎてしまうと、ロボットは間違いを犯したり、ロボット的な話し方をしたりするようになります。逆に、どの本を残すべきかを慎重に選びすぎると、その仕分け作業に膨大な時間がかかり、エネルギーを使い果たしてしまいます。この論文は、まさにその問題、つまり、いかに素早く、安価に、そしてロボットの天才性を損なうことなく本を仕分けるかという課題に取り組んでいます。

---

問題点： 「一律的なアプローチ」という間違い

研究者たちは、まずWANDAと呼ばれる人気のある手法に着目しました。WANDAを、どの本を捨てるかを決める司書だと想像してください。WANDAは、その本がどれくらい「大きい声」を出しているか（重み）と、どれくらいの頻度で読まれているか（入力活性化）の2つの要素を見ます。本が静かで、めったに読まれない場合、WDAはそれを捨てます。

問題は、WANDAが画一的なアプローチをとっていることです。それは、図書館のすべての棚に対して全く同じ扱いをします。「よし、すべての棚から本の50%を捨てるぞ」と決めてしまうのです。しかし、ここに問題があります。ある棚には、ロボットの最も重要な事実（例：「パリはフランスの首都である」）が詰まっている一方で、他の棚には退屈で繰り返しの多い情報が詰まっているかもしれません。単に「棚」であるという理由だけで、その「パリ」の棚から本の50%を捨ててしまうと、WANDAは意図せずしてロボットの知識を消去してしまうのです。

別の手法であるSPAREGPTは、非常に慎重になろうとします。それは、すべての本を精査し、その本を取り除いた場合にロボットの脳がどれほど痛むかを正確に計算し、残った本を注意深く編集してダメージを修復します。これはロボットの賢さを維持するには素晴らしい方法ですが、図書館を整理するために博士号を持つチームを雇うようなものです。これには膨大な時間とエネルギーがかかり、そのために、しばлоしば割に合わないものになってしまいます。

解決策： F-WANDA（賢い司書）

この論文の著者は、標準的な手法の優れたアップグレードであるF-WANDAを導入しました。彼らは、単に本の声の大きさを見るだけでなく、「この特定の棚に対して、ロボットの脳はどれくらい『配慮』しているか？」と問うべきだと気づきました。

これを知るために、F-WANDAはもう一つ素早いチェックを行います。ロボットの脳を小さなテスト（「バックプロパゲーション（逆伝播）」）に通し、どの棚が実際にロボットの答えを導き出しているのかを確認します。もしある棚が正しい答えを得るために不可欠であれば、ロボットの脳は強い信号（フィッシャー情報量と呼ばれます）を示します。もしその棚がただのノイズであれば、信号は弱くなります。

ここが魔法のトリックです。F-WANDAはこの信号を使ってルールを変更します。

• 「パリ」の棚（高い信号）： ロボットはこれに強く依存しています。F-WOLAはこう言います。「これらの本の50%を捨ててはいけません！20%だけ捨てましょう。ほとんどを残しておく必要があります。」
• 「退屈な」棚（低い信号）： ロボットはこれに関心を持っていません。F-WANDAはこう言います。「さあ、これらの本の80%を捨ててしまいましょう。これらは必要ありません。」

このようにして、F-WANDAは最も重要な事実を守りながら、モデルを大幅に小型化します。しかも、F-WANDAの素晴らしい点は、ロボットを再学習させたり、重みを更新したりする必要がないことです。素早いチェックを一度行うだけで、すぐにプルーニングを開始できます。

研究結果

チームはこれを、有名な大規模言語モデルのファミリーであるLLAMA-2（具体的には70億および130億パラメータのバージョン）でテストしました。彼らは、F-WANDAが競合に勝てるかどうかを確認したかったのです。

• 賢さ： モデルを50%の非構造化スパース性（つまり、接続の半分が削除された状態）に削減したとき、F-WANDAは元のWANDAよりもはるかに高い知性を維持しました。一般的な知識を測定するMMLUというテストにおいて、F-WANDAは7BモデルでWANDAに対して1.6ポイント、13Bモデルで1.4ポイントスコアを向上させました。それは、非常に慎重なSPAREGPTをも上回りました。
• 流暢さ： ロボットは自然な響きを保っていました。WikiText-2というテストにおいて、F-WANDAのパープレキシティ・スコアは7Bモデルで6.85となり、元のWANDAとほぼ同一でした。これは、ロボットがロボット的になったり、混乱したりしていないことを意味します。
• エネルギーと速度： こここそがF-WANDAが真に輝く部分です。非常に慎重なSPAREGPT法は、モデルをプルーニングするために長い時間と多大なエネルギーを消費しました。F-WANDAははるかに速く、かつ安価でした。実際、F-WANDAはSPAREGPTが使用したエネルギーと時間のわずか3分の1しか使いませんでした。強力なH100 GPUを使用して7Bモデルをプルーニングするのに、F-WANDAは約12分、4.3 kJのエネルギーを要しましたが、SPAREGPTは35分、12.6 kJを要しました。

トレードオフと限界

著者は、F-WANDAがどんな状況でも魔法の杖になるわけではないことも注意深く指摘しています。

• ハードウェアの規則： もしコンピュータチップが、厳格なパターン（例えば、ブロック内の4つの接続のうち正確に2つを保持するなど）で接続の保持と削除を行うことを要求する場合、F-WANDAはそのスマートな予算管理を行うことができません。そのような特定のケースでは、元のWANDAと同じように動作します。
• メモリ： F-WANDAはあの追加のチェックを行うため、作業中にWANDAよりも多くのコンピュータメモリ（約2倍）を必要とします。非常に巨大なモデル（700億パラメータなど）の場合、メモリに収めるための特別な工夫が必要になるかもしれません。
• 汎用性： 彼らはLLAMA-2ファミリーのみでテストを行いました。これが他のタイプのロボットの脳（LLaMA-3やMistralなど）でも全く同じように機能するかどうかはまだ分かっていませんが、おそらく機能すると推測しています。

なぜこれが重要なのか

大きな教訓は、F-WANDAが「パレート・フロンティア」に位置しているということです。これは、あなたが手に入れられる最高の取引であることを意味する専門用語です。つまり、最小のコスト（エネルギーと時間）で、最高の品質（最も賢いロボット）が得られるということです。

どの部分が実際に懸命に働いているかを確認するための素早いチェックを一つ加えるだけで、研究者たちは膨大なエネルギーを節約しながら、ロボットをより賢くすることに成功しました。これは、図書館をより良くするために、必ずしも図書館全体を作り直す必要はない、ただどの本を捨てるかについてより賢くなる必要があるのだということを思い出させてくれます。これにより、これらの強力なAIモデルを現実世界で動かすことがより簡単かつ安価になり、AIをすべての人にとってより持続可能なものにする助けとなります。