Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning
本論文は、分布外汎化を予測する勾配ベースの多様性指標であるG-Vendiを紹介し、これを利用して、未知のベンチマークにおけるLLMの推論性能を大幅に向上させるとともに、遥かに大規模なプロプライエタリなデータセットで学習されたモデルを凌駕する多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを開発する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、超スマートなロボットにパズルを解く方法を教えようとしていると想像してください。あなたには膨大なパズル本のライブラリがありますが、それらはすべて同じ退屈なスタイルで書かれており、同じジョークや同じ種類の謎解きばかりです。もしそのロボットにそれらの本だけを読み込ませたら、ロボットは「それら特定の」パズルについては達人になるかもしれませんが、見たこともないような奇妙な新しいパズルを渡されると、おそらく行き詰まってしまうでしょう。これが、今日の最も賢いチャットボットの背後にあるAIの脳、大規模言語モデル（LLM）の世界です。科学者たちは、これらのロボットを真に賢くするためには、「多様な」トレーニングデータ、つまり多種多様な例が必要であることを以前から知っていました。しかし、ここでトリッキーな問題があります。どうやって多様性を実際に「測定」するのか？ それは単に異なる単語を持っていることなのか？ それとも異なるトピックを持っていることなのか？ あるいは、ロボットが考え方を学ぶのを助けるために、データが真に有用であるための、より深く目に見えない性質があるのでしょうか？ この論文はその謎に深く切り込み、データの中に、ロボットが未知のものに対処できる能力を予測する「秘伝のソース（隠し味）」を見つけられるかどうかを問いかけています。
この研究の背後にいる研究者たち（NVIDIAと大学のチーム）は、推測するのをやめて、測定を開始することにしました。彼らは、トレーニングデータの「X線検査」のように機能する、G-Vendiという新しいツールを構築しました。G-Vendiは、表面的なレベル（例えば、どれだけの異なる単語が使われているかを数えたり、物語が異なって聞こえるかを確認したりすること）を見るのではなく、「勾配（グラディエント）」を見ます。勾配とは、ロボットがそのデータから学ぼうとする時に、データが残していく微細で目に見えない足跡のようなものです。もし2つのパズルが非常に似た足跡を残すなら、それらはロボットに同じことを同じ方法で教えていることになります。もしそれらが非常に異なる足跡を残すなら、それらはロボットに何か新しいことを教えているのです。これらの足跡の「エントロピー（または混沌）」を測定することで、G-Vendiは、そのデータセットがいかに真に多様であるかを判断することができます。
チームは大規模な実験を行い、300種類以上の異なるバージョンのロボットを、300万個の合成パズルサンプルを用いて訓練しました。その結果、G-Vendiは汎化性能を予測する「水晶玉」であることが分かりました。彼らが高いG-Vendiスコアを持つデータセット（つまり、足跡があちこちに散らばっており、思考のあらゆる方法をカバーしているもの）を選んだとき、その結果として生まれたロボットは、一度も見せたことのない「新しい」パズルを解くことに驚異的な能力を発揮しました。実際、その相関関係は非常に強く（1.0のうち約0.9）、多様性スコアは、ロボットが未知のテストでどれほどうまく立ち回るかをほぼ完璧に予測しました。このことは、「秘伝のソース」とは単に大量のデータを持つことではなく、ロボットの脳を多くの異なる方向へと伸ばさせるようなデータを持つことである、ということを示唆しています。
この発見を得て、チームは**Prismatic Synthesis（プリズマティック・シンセシス）**と呼ばれる新しい手法を考案しました。あなたが最も美味しいスープを作ろうとしているシェフだと想像してください。ただ鍋に材料を投げ込むのではなく、スープを味わい、特定の味が足りないことに気づき、次にその足りない材料をピンポイントで探し出すのです。Prismatic Synthesisは、AIのデータに対してまさにこれを行います。それは「勾配空間（足跡）」を調べ、ロボットがまだあまり学んでいない空白の場所を見つけ、そして、それらの隙間を埋めるために特別に設計された「新しいパズル」を生成するために強力なAIを使用します。これはフィードバックループのようなものです。データを生成し、ロボットがどこに弱いかをチェックし、その弱点を修正するためにさらなるデータを生成し、そして繰り返すのです。
結果は驚くべきものでした。彼らはこの手法を用いて、数学的推論（PrismMath）と自然言語推論（PrismNLI）のための2つの新しいデータセットを作成しました。彼らのデータは、人間の手助けなしに完全にAIによって生成されたものでしたが、そのデータで訓練されたモデルは非常に強力でした。例えば、320億パラメータのAIによって生成されたデータで訓練された彼らのPrismMath-7Bモデルは、6710億パラメータの巨大なAIによって生成されたデータで訓練された最先端のモデルを、7つの困難な数学ベンチマークのうち6つで打ち負かしました。これは、賢い生徒を作るために必ずしも巨大で高価な「教師」AIが必要なわけではないことを示唆しており、非常に大きな出来事です。つまり、適切な種類の多様なデータがあればよいのです。
また、論文ではいくつかの一般的なアイデアを明確に否定しています。彼らは、戦略なしに単にどんどんデータを生成するだけの「ナイーブ・スケーリング（素朴なスケーリング）」をテストしましたが、それはすぐに壁に突き当たる（限界に達する）ことが分かりました。ロボットはある地点を過ぎると退屈するか、混乱してしまうのです。また、AIにさまざまなキャラクター（海賊、ロボット、詩人など）になりきって多様なテキストを作らせる「ペルソナ誘導型」の生成もテストしました。これは最初は多少の効果がありましたが、最終的にはプラトー（停滞）に達しました。なぜなら、それはテキストの「スタイル」を変えるだけであり、問題を解くために必要な「思考」自体を変えるわけではないからです。論文は、表面的なレベルの風味を変えるだけでは不十分であり、根底にある認知プロセスを変えなければならないことを示しています。
結局のところ、この研究は、よりスマートなAIへの道は、単に多くのデータやより大きなコンピュータを持つことではないことを示唆しています。それは、戦略的であることです。G-Vendiのようなツールを使ってデータの真の「思考の多様性」を測定し、Prismatic Synthesisのような手法を使ってロボットの知識の隙間を狙い撃ちすることで、より優れた汎化性能を持つモデルを構築できます。著者たちは、高度に精選された小さなデータセットが、多様性に欠ける10倍大きなデータセットよりも優れた性能を発揮することが多いという事実を見出しました。これは、AIの世界においては、思考の「量」よりも、思考の「質」の方が重要かもしれないということを思い出させてくれます。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。