SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
SLOPEは、二重にプルーニングされたN:Mスパース重みと、トレーニングの最終1%のイテレーションにのみ適用される「レイジー」な低ランクアダプター戦略を組み合わせた大規模言語モデルのための新しい事前学習手法であり、高密度モデルに匹敵するモデルの精度を維持しながら、学習と推論の両方において大幅な高速化（最大1.54倍）とメモリ削減（最大0.63倍）を実現する。
現代の人工知能の世界は、膨大なテキストライブラリを学習し、人間の言語を理解し生成するように訓練された巨大なデジタル脳である、大規模言語モデルによってますます定義されるようになっています。これらのシステムは強力ですが、それには高い代償が伴います。学習には膨大なコンピュータパワーを必要とし、実行には膨大な量のメモリを必要とするのです。これらのモデルをより速く、より安価に使用するために、研究者たちは、重要性が低いと思われる内部構造の一部を取り除くことでモデルを簡素化しようと長年試みてきました。これは「プルーニング（枝刈り）」として知られるプロセスです。頻繁に読まれない本をすべて取り除くことに決めた巨大な図書館を想像してみてください。建物は小さくなり、移動しやすくなりますが、もし本を減らしすぎたり、間違った本を取り除いたりすると、図書館は質問に答える能力を失ってしまいます。デジタル領域において、この簡素化はしばしば精度の低下を招き、モデルの信頼性が低下することにつながります。さらに、データの削除はスペースを節約しますが、コンピュータは学習のあらゆるステップにおいて、どの部分を保持し、どの部分を破棄すべきかを判断するという複雑な作業を依然として行わなければならず、多くの場合、速度面のメリットを打ち消してしまいます。
研究チームは、速度、メモリ、および精度の間のこの永続的なトレードオフを解決するために、SLOPEと呼ばれる新しいアプローチを開発しました。彼らの手法により、これらの巨大な言語モデルは、言語を理解する能力を犠牲にすることなく、大幅に少ないリソースで学習および使用することが可能になります。彼らの革新の核心は、モデルの学習プロセスをどのように扱うかにあります。最初からモデルを単純に保とうとするのではなく、学習期間のほぼ全期間において、標準的で簡素化された構造を用いて学習を進めます。そして、学習時間の最後の極めて短い段階において、モデルが失われた精度を取り戻すのを助ける、小さく柔軟な要素を導入します。この追加要素は、重厚なフルサイズのコンポーネントではなく、微調整ツールのように機能する軽量で効率的なレイヤーであり、膨大な追加データを保存したり処理したりすることなく、モデルが鋭さを取り戻せるようにするものです。
研究者たちはまた、これらのモデルを簡素化しようとするこれまでの試みを遅らせてきた特定のボトルネックにも取り組みました。標準的なコンピュータ演算において、モデルは内部データを2つの異なる方向から見なければなりません。一度目は次の単語を予測するため、二度目は間違いを修正するためです。従来の簡素化手法は、最初の方向についてはうまく機能しましたが、二番目の方向でデータを見る際に、コンピュータに追加の遅い作業を強いていました。新しい手法は演算の順序を変更することで、簡素化が両方向で同時に効率的に機能するようにしています。これにより、コンピュータは、ゼロと非ゼロの特定のパターンを扱うように設計された専用ハードウェアを活用し、データをより高速に処理できるようになります。修正フェーズで処理される前にデータのプルーニング方法を再構成することで、研究者たちは、モデルがより高い速度でデータを通過しながら、同様に効果的に学習できるようにしました。
数億から数百億のパラメータを持つモデルを用いてテストしたところ、実質的な結果が得られました。新手法は、学習プロセスを最大1.25倍加速させ、使用中の最終モデルの実行速度を最大1.54倍速くしました。おそらくさらに重要なことに、いくつかのケースにおいて、これらのモデルの実行に必要なコンピュータメモリの量を半分以上に削減しました。研究者たちは、学習の最後にのみ軽量で柔軟なレイヤーを追加することで、モデルが、より大規模で簡素化されていないバージョンに非常に近い精度レベルを達成できることを見出しました。このアプローチは、簡素化されたモデルが再び有用になるために、フルサイズのデータを用いた高価な最終再学習フェーズを必要とするという、よくある落とし穴を回避しています。代わりに、モデルは学習を開始した瞬間からユーザーの質問に答える瞬間まで、その全ライフサイクルを通じて効率的な状態を維持します。
この研究は、簡素化が特定の戦略とともに適用されるならば、人工知能において効率性と高いパフォーマンスを両立させることが可能であることを示しています。研究者たちは、追加の容量をいつ加えるかというタイミングが極めて重要であることを示しました。学習プロセスの最後にわずかな柔軟性を導入することは、そのプロセス全体を通じて柔軟性を維持しようとすることよりも、より良い結果をもたらします。この発見は、モデルは完全に複雑であるか、あるいは完全に単純であるかのどちらかでなければならないという仮定に異を唱え、モデルが大部分は単純でありながら、ゴールラインで的を絞ったブーストを受けるというハイブリッドなアプローチが、両方の利点を提供することを示唆しています。この成果は、高度な人工知能をより身近で、より速く、そしてそれを動かすハードウェアへの要求をより少なくするための、明確な進むべき道を提供しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。