Deterministic multi-hash routing supports long-horizon training in a compact language model

人工知能が急速に進化する世界において、研究者たちは言語を理解し、世界について推論できる機械を構築しようと絶えず試みています。これを行うために、彼らは「言語モデル」と呼ばれるデジタルな脳を作り出します。これは本質的には、膨大な量のテキストからパターンを学習する、数字の巨大なネットワークです。これらのモデルを、不可能に巨大化させることなく賢くするための一般的な戦略は、「混合エキスパート（mixture of experts）」と呼ばれる設計を使用することです。図書館において、すべての本を単一の司書が読むのではなく、図書館の異なるセクションが異なる専門家によって扱われる様子を想像してみてください。コンピュータモデルにおいては、これは、与えられた単語に対して、システムが内部プロセッサ（すなわち「エキスパート」）の特定の小さなグループのみを起動させ、残りを休止状態にしておくことを意味します。通常、コンピュータは文脈を見て、「これはどのような種類の単語であり、今何を必要としているのか？」と自問することで、どのエキスパートを使用するかを決定します。この意思決定プロセスは、モデルのトレーニング中にモデル自身によって学習されるため、柔軟ではありますが、複雑で予測が困難でもあります。

ボリス・ペイリゲール（Boris Peyriguere）という研究者は、異なる道を模索し、シンプルかつ大胆な問いを投げかけました。「もし、コンピュータがどのエキスパートを使うかを決定する必要がないとしたらどうだろうか？」という問いです。文章ごとに動的なルールを学習する代わりに、もしエキスパートの選択が、単語そのものに基づいた固定的なものとして永久に決まっていたとしたらどうでしょうか。この新しいアプローチでは、単語のアイデンティティは、周囲の会話に関係なく、常に同じ2つの扉を開ける永久的な鍵として機能します。彼は、約2億100万パラメータ（そのサイズと複雑さの尺度）を持つコンパクトな言語モデルを構築し、この硬直的で、あらかじめ決定されたシステムを用いてトレーニングを行いました。このモデルは、初期学習フェーズにおいて、約1300億語にさらされ、その後、さらに320億語を用いて洗練され、最終的に指示に従うよう教えられました。結果は、この固定されたシステムが長期間にわたって効果的に学習できることを示し、物理的な推論や常識に関するテストにおいて、異なる方法でトレーニングされた一部のより大きな従来のモデルをも凌駕する、驚くべき性能を生み出しました。

この実験の核心は、モデルがどのように情報を処理するかという点にあります。標準的なセットアップでは、コンピュータは現在の状況を分析して最適な道具を選びます。ペイリゲールのモデルでは、ツールは単語が見られた瞬間に、変更されることのない事前計算されたマップに基づいて選ばれます。モデルの語彙に含まれるすべての単語に対して、特定のペアのエキスパートが割り当てられています。このマップはトレーニングが始まる前に作成され、プロセス全体を通じて固定されていました。モデルは依然として、文脈を理解するためにすべての単語を処理する共有パスを使用しますが、追加の「残差（residual）」処理能力は、それら、あらかじめ割り当てられた2つのエキスパートから得られます。この設計は、一つのレイヤーの複雑さを取り除きます。つまり、モデルは情報のルーティング方法を学習する必要がなくなり、これにより計算上の労力が節約され、システムが検査しやすくなります。ルーティングテーブルは整数の固定リストであるため、誰でもモデルを実行して文章を通すことなく、特定の単語に対してどのエキスパートが使用されるかを正確に確認することができます。

トレーニングプロセスは厳格かつ透明でした。モデルは、ウェブページ、教育資料、コード、数学を含む膨大なテキストのコレクションを読み込むベースフェーズから始まりました。この初期の露出の後、研究者たちはトレーニングを一時停止し、同じユニークな単語を再訪して、全く同じ一連のイベントを繰り返すことなくモデルの理解を深めるために、新しい内部設定を用いてトレーニングを再開しました。最後に、モデルは指示チューニングを受け、質問と回答の30万個の例を見せることで、コマンドに従う方法を学びました。このプロセス全体を通じて、固定ルーティングシステムは持ちこたえました。モデルは崩壊したり学習に失敗したりすることなく、代わりに、問題解決能力を着実に向上させました。最終的に、モデルは合計で1620億語以上のデータにさらされました。これは、そのサイズのモデルとしてはかなりの量です。

推論能力に関するテストにおいて、モデルは堅実な結果を出しました。物理的な相互作用を測定するPIQAというテストにおいて、モデルは68.01パーセントの精度を達成しました。科学的な質問のセットであるARC-Challengeでは、27.13パーセントを記録しました。おそらく最も注目すべきは、2つの異なる科学的質問のセットのスコアを組み合わせた際、モデルが47.29パーセントの複合精度に達したことです。このパフォーマンスは、3億5千万から7億74百万のパラメータを持つ、より大規模な公開モデルのいくつかを上回っていました。これらのより大きなモデルは、同じ厳格なルールとテスト方法で評価されましたが、この小さな固定ルーティングモデルの性能には及びませんでした。このことは、固定ルーティングシステムの効率性が、モデルの限られたサイズをより良く活用することを可能にしたことを示唆しています。

しかし、研究者は、この方法が究極の解決策であるとか、他のすべてのアプローチよりも決定的に優れていると主張しているわけではないことに注意を払っています。この研究は、一致したフルスケールの高密度コントロール（dense control）やマルチシードの複製が含まれていないことを明示しています。このような対照実験なしでは、固定ルーティングが高性能をもたらしたのか、あるいは特定のデータやトレーニングスケジュールなどの他の要因がより大きな役割を果たしたのかを確実に判断することは不可能です。論文は、固定ルーティングが、ほとんどの現代的なシステムで使用されている柔軟で学習可能なルーティングよりも優れていることを証明するものではないと明言しています。むしろ、この研究は概念実証（プルーフ・オブ・コンセプト）として機能しています。つまり、固定された、変化しないルートを持つモデルが、長期にわたってトレーニング可能であり、複雑なタスクを学習でき、高品質な結果を生み出すことができることを示しているのです。

この研究の意義は、単なる数値の先へと広がっています。ルーティングテーブルをモデルの固定され監査可能な部分にすることで、研究者は、より検査および検証が容易なシステムを作り上げました。多くの高度なAIシステムにおいて、意思決定プロセスは、モデルが学習するにつれて変化する「ブラックボックス」であり、特定の決定がどのように下されたかを正確に知ることを困難にします。このモデルでは、経路は明確で不変です。ある単語がどのエキスパートを起動させるかを知りたい場合は、単にテーブルでその単語を検索するだけです。この透明性は、モデルがどのように機能するかを正確に理解する必要がある研究者や、システムが予測通りに動作することを保証したい開発者にとって価値があります。また、モデルは、固定ルーティングが大規模なアプリケーションにおいてリスクが高いと以前に考えられていた懸念にもかかわらず、長いトレーニングセッションを安定して扱うことができることも示しました。

結局のところ、この論文は、効率的な言語モデルを構築する方法についての新しい視点を提供しています。それは、コンピュータが常に自らの道具を選ぶ方法を学習しなければならないという仮定に異議を唱え、事前に決定された静的な選択が、コンパクトなモデルにおいては、同様に、あるいは効率性の面でさえ、より良く機能し得ることを示しています。研究者によって公開されたモデルは、そのトレーニングコードおよび評価ツールとともに、他の人々が研究し、再現できるように公開されています。この開放性は、科学コミュニックが、例えば異なるデータを用いて同じ実験を実行したり、標準的なモデルと直接比較したりすることによって、この発見をさらにテストすることを可能にします。現時点では、この研究は、より単純で硬直的なルーティングのアプローチが、長く生産的なトレーニングの旅を維持し、その能力に見合った、あるいはそれ以上の成果を出す言語モデルを生み出すことができるという実証として立っています。