Layer-wise LoRA fine-tuning: a similarity metric approach

あなたは、ある特定の仕事（例えば、数学の問題を解いたり、コードを書いたりすること）を教えようとしている、と想像してみてください。このロボットは「大規模言語モデル（LLM）」と呼ばれ、インターネット上のほぼすべての情報を読み込むことで、すでに膨大な一般知識を習得しています。それは、あらゆることに少しずつ詳しい天才のようなものですが、専門特化させる必要があります。新しい技を教えるには、通常、「ファインチューニング」を行う必要があります。これは、その内部設定を調整することを意味します。しかし、ここに落とし穴があります。これらのロボットはあまりにも巨大であるため、すべての設定を調整しようとすると、巨大なテック企業しか手が届かないほど強力で高価なコンピュータが必要になります。それは、ビル全体のネジを一本締め直すために、ビル全体を建て直そうとするようなものです。

この問題を解決するために、科学者たちは「LoRA（Low-Rank Adaptation）」と呼ばれる賢いショートカットを考案しました。スカイスクレイパー（超高層ビル）のすべてのネジに触れる代わりに、LoRAは、ロボットが新しいタスクを学習するのを助けるための、非常に軽量で小さな「継ぎ当て（パッチ）」のネジを追加することを提案しています。これにより、多額の費用とエネルギーを節約できます。しかし、このショートカットを使ってもなお、ロボットは非常に大きいため、その「継ぎ当て」さえも小型のコンピュータには重すぎることがあります。ここで大きな疑問が生じます。新しい仕事においてロボットを賢くするために、本当にすべての部分にパッチを当てる必要があるのでしょうか？ それとも、魔法が起きる特定の場所がいくつか存在するのでしょうか？ この論文は、その問いを掘り下げ、「どの部分を修正して、残りの巨大な機械をそのままにしておくべきか」という「黄金のスポット」を見つけ出せるのかどうかを問うています。

「レイヤーごと」の探偵作業

著者であるKeith Ando Ogawa氏とそのチームは、ロボットの脳を多層階建てのビルとして扱うことにしました。大規模言語モデルの中では、情報は一連の「レイヤー（層）」を通じて流れていきます。これは、スカイスクレイパーの各フロアのようなものです。文章が下の階から上の階へと進むにつれて、情報は処理され、変換されていきます。チームは、すべてのフロアがすべての新しいタスクに対して等しく重要なのではないのではないかと考えました。あるフロアは数学の問題のために重労働をしているかもしれませんが、別のフロアは詩を書くために役立っているかもしれません。

彼らのアイデアはシンプルですが強力でした。すべてのフロアにLoRAパッチを貼るのではなく、ロボットが何かを学習するときに、実際に最も変化するフロアを見つけることはできないか、と考えたのです。彼らは、「類似性指標」と呼ばれる数学的なツールを使って、この「変化」を測定する方法を編み出しました。これは「変化検出器」のようなものだと考えてください。彼らは、ロボットが特定のフロアに情報を渡す前の「考え」と、そのフロアが処理した後の「考え」を調べました。もし入力と出力がほぼ同一であれば、そのフロアはあまり何もしていません。しかし、もし入力と出力が大きく異なっていれば、そのフロアは多くの仕事をしていることになります！

彼らはこの手法を「レイヤーごとのLoRAファインチューニング（Layer-wise LoRA fine-tuning）」と呼びました。これは、スカイスクレイパーの中を歩き回り、どのフロアで最も活動が行われているかを確認する探偵を雇うようなものです。最も活発なフロアを特定したら、その特定のフロアにのみLoRAパッチを貼り、静かで活動のないフロアはそのまま固定（フリーズ）しておきます。

彼らが発見したこと：少ないことは、より豊かなこと

チームがこのアイデアをいくつかの異なる種類のロボットの脳でテストしたところ、結果は驚くほど良好でした。彼らは、最も活発なレイヤー（具体的には全レイヤーの約半分）だけを選択することで、学習可能なパラメータ（調整する「ネジ」）の数を**50%**削減できることを発見しました。

ここが最高の部分です。調整する設定を半分に減らしたにもかかわらず、ロボットが愚かになることはありませんでした。実際、LLaMA 2-7BやMistral-7Bのようなモデルでは、最も重要なレイヤーだけに集中することで、数学の問題を解いたりコードを書いたりする能力がむしろ向上しました。Gemma-7Bのような他のモデルでは、性能の低下はごくわずかで、ほとんど無視できる程度でした。

また、研究者たちは彼らの「変化検出器」による手法を、他のレイヤー選択方法（例えば、単に真ん中のフロアを選んだり、上部と下部のフロアを選んだりする方法）と比較しました。彼らの手法は、これらの単純な推測を一貫して上回りました。例えば、GLUEと呼ばれる標準的なテストにおいて、彼らの手法はロボットの性能を高く維持しながら作業量を半分に抑えましたが、単に中間レイヤーを選んだ手法では、ロボットが躓いてしまうことがありました。

彼らはまた、これがコンピュータのメモリや速度にどのように影響するかについても確認しました。調整するレイヤーが少なくなったため、トレーニングプロセスはより高速になりました。一部のモデルでは、約1.25倍のスピードアップが見られ、コンピュータが必要とするメモリも減少しました。これは、これらのモデルをより小さく安価なコンピュータで動かそうとしている人々にとって、非常に大きな意味を持ちます。

なぜこれが重要なのか

この論文は、巨大なAIモデルのすべての部分を等しく重要として扱う必要はないことを示唆しています。レイヤーを通過する情報がどれだけ変化するかという単純な測定を用いることで、「スイートスポット（最適解）」を見つけることができます。これは、知能を失うことなく、これらの強力なAIツールをより効率的にできることを意味します。

著者らは、テキストのみを読み取るロボット、テキストのみを書き出すロボット、そして画像を見てテキストを読むことができるマルチモーダルなロボット（LLaVA-1.5-7B）を含む、さまざまな種類のロボットでこれをテストしました。すべての場合において、適切なレイヤーを選択することはうまく機能しました。彼らはさらに、選択されたレイヤーの「ランク（rank）」（パッチをより複雑にすること）を倍増させて、それが役立つかどうかを試みましたが、大きな違いはないことも分かりました。単に正しいレイヤーを選ぶことこそが鍵であり、パッチ自体をより複雑にすることではないようです。

この論文は、AIにおけるあらゆる問題を解決したと主張しているわけではありませんが、ファインチューニングをより安価で高速にするための、非常に実用的かつ効果的な方法を提示しています。これは、多くのタスクにおいて、ターゲットを絞った小さな努力が、大規模で全面的な刷新と同じくらい効果的であることを示唆しています。著者らが述べているように、このアプローチは既存のツールとうまく適合し、家のような大きさのスーパーコンピュータを持っていなくても、よりスマートなAIの構築に参加できる、より多くの研究者や小規模な企業への道を開く可能性があります。