Learning how to Forget: Fine-tuning for Long-Context Sparse Attention
本論文は、モデルが様々なKVキャッシュ・ポリシーと共適応することを可能にすることで、中程度のハードウェア上でスパースアテンションを用いた効率的な長文脈推論を実現する、Transformerモデルのためのファインチューニング手法を導入しており、これは多くの場合、厳密なアテンション手法を凌駕する性能を示す。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の人間のようなテキストを生成する人工知能システムは、会話や長い文書の初期の内容を記憶しておくための、短期記憶として機能するメカニズムに依存しています。このメモリはデジタルバッファに保存され、システムが新しい単語を処理するたびに大きくなっていきます。これらのシステムが長いテキストにわたってうまく機能するためには、このメモリは膨大である必要がありますが、それを保持するために必要なコンピュータハードウェアは高価で限定的です。メモリバッファがいっぱいになると、システムは新しい情報を入れるために、どの古い情報を破棄すべきかを決定しなければなりません。もし間違った情報を捨ててしまうと、システムは推論したり質問に答えたりする能力を失ってしまいます。これにより、難しいトレードオフが生じます。メモリを小さく保てばコストを節約でき、標準的な設備でシステムを動かすことができますが、賢明であるために必要なコンテキスト（文脈）を失うリスクがあります。
研究者たちは、システムに何を保持するかを選択させる方法、すなわち「スパース・アテンション（疎な注意）」として知られるプロセスを教えることで、この問題を解決しようと長く試みてきました。しかし、ある新しい研究は、これまでのAIの訓練方法における決定的な欠陥を明らかにしました。既存の多くの手法は、完璧で無制限のメモリを使用してAIを訓練し、その後、後付けで限定的なメモリで動作するように強制するというものです。研究者たちは、このアプローチが失敗する理由を突き止めました。なぜなら、AIは実際に直面することになる特定の制約の下でどのように機能するかを、一度も学習していないからです。最初から意図的に忘れさせ、固定されたメモリサイズに適応するようにモデルを訓練することで、チームは、システムが限られたリソースの下でも、より高い性能を発揮できることを実証しました。これは、単一の中程度の性能を持つコンピュータチップ上で動作する場合でも同様です。
Amazon Web Servicesとアムステルダム大学の科学者たちが率いるチームは、これらの大規模言語モデルを微調整（ファインチューニング）するための新しい方法を開発しました。巨大なスーパーコンピュータを使用して完璧なメモリをシミュレートする代わりに、彼らはモデルに特定のメモリ管理ポリシーと共適応（co-adapt）するように教えました。無限の棚がある図書館で本を整理するように訓練された司書が、後に小さな部屋と一つの棚だけで作業するように命じられた場面を想像してみてください。大きな図書館で訓練された司書は、小さな部屋で何を保持すべきかを優先順位付けすることに苦労するでしょう。対照的に、この論文で提案されている手法は、その司書を直接その小さな部屋の中で訓練し、その特定の空間のルールに基づいて、どの本を残し、どの本を捨てるべきかを正確に教えます。これにより、モデルは、広すぎるスペースを持つ習慣を「脱学習」しようとするのではなく、自分自身の限界のリズムを学ぶことができるのです。
研究チームは、このアプローチを40億個のパラメータを持つモデルでテストしました。これは相当な規模ですが、管理可能なサイズです。彼らは、1枚の40ギガバイトのメモリを持つグラフィックスカードを用いて実験を行いました。これは、従来の手法で必要とされる数十枚のカードのクラスターと比較して、多くの組織にとって手頃なセットアップです。彼らは、メモリ負荷を複数の高価なデバイスに分割する「シーケンス・パラレリズム」と呼ばれる手法を用いる標準的な手法と、この新しい訓練技術を比較しました。結果として、新しい手法で訓練されたモデルは、特に特定の簡潔な回答を生成する必要があるタスクにおいて、標準的なモデルを上回ることが多いことが示されました。長々ととりとめなくテキストを生成するのではなく、簡潔な回答を生成する場合です。複雑な質問やデータ抽出を含むいくつかのテストにおいて、標準的な手法は出力が長すぎ、無意味な数字で埋め尽くされてしまいましたが、新しい手法は適切なタイミングで停止し、正しい単一の値を提示することを学習していました。
この成功の鍵となったのは、「ヘビーヒッター・オラクル（heavy-hitter oracle）」と呼ばれる、情報の保持を決定するための一般的な戦略の改善でした。この戦略は、モデルが時間の経過とともにどの情報に最も注意を払っているかを追跡することで機能します。研究者たちは、オリジナルのバージョンのこの戦略が遅く非効率であることを発見しました。彼らは基礎となるコードを書き直し、プロセス全体を遅延させることなく、システムがこれらの重要度スコアを高速に計算できるようにしました。この最適化により、システムは、通常そのようなタスクに伴う膨大な計算能力を必要とすることなく、リアルタイムで何を忘れるべきかについてスマートな決定を下すことが可能になりました。チームはまた、これらの技術を他の人々にも利用可能にするために、新しいオープンソースのソフトウェアライブラリを公開しました。これは、多額のハードウェア費用をかけずに、長文コンテキストAIシステムを構築したいと考えるあらゆる人々への障壁を下げることを目的としています。
この研究は、モデルの訓練方法が、実行されるハードウェアと同じくらい重要であることを強調しています。研究者たちが、使用時に直面するのと全く同じメモリ制約の下でモデルを訓練させたとき、モデルはその制約を効果的にナビゲートすることを学習しました。JSONデータを扱う特定のテストでは、標準的な手法は正しいデータポイントを見つけることができず完全に失敗しましたが、新しい手法は約半分の確率でそれらを特定することに成功しました。これは、長いコンテキストを扱う能力は、単にメモリを増やすことの問題ではなく、システムに持っているメモリをどのように管理させるかを教えることの問題であることを示唆しています。これらの知見は、多くのアプリケーションにおいて、最も効果的な道筋は、より大きなコンピュータを構築することではなく、ソフトウェアがすでに保有しているリソースをより効率的に活用する方法を教えることにあることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。