人工知能という広大な風景の中で、最も強力なツールはトランスフォーマーと呼ばれる大規模言語モデルです。これらのシステムは、膨大な量のテキストを読み込み、次に何が来るかをより正確に予測するために、「重み」として知られる数十億もの内部の数値を調整することで学習します。長年、研究者たちはこれらの内部数値をブラックボックスとして扱ってきました。学習中に数値が変化することは分かっているものの、読まれているテキストの性質が、それらの変化をどのように形作るのかを正確に理解することには苦慮してきました。一つの重要な問いが未解決のまま残されていました。それは、テキスト自体の予測可能性が、モデルの内部数値の増大や変化を左右するのかどうか、という問いです。モデルが高度に構造化された予測可能な物語を読み込む場合と、混沌としたランダムな単語の羅列を読み込む場合とでは、機械の内部にある数値の大きさに違いが現れるのでしょうか。

独立系研究者のTiexin Dingによる新しい研究は、驚くべき精度でこの問いに答えています。研究者は、これらの内部数値の成長が、単一の特性、すなわち「前の単語に基づいて次の単語をどれだけ容易に推測できるか」という性質に基づいた、厳格で予測可能なパターンに従っていることを発見しました。特定の種類のテキスト改変を分析することで、研究は、テキストが予測可能であればあるほど、モデルの内部数値が特定の測定可能な方法で拡大することを見出しました。この関係は、学習に使用される学習速度に関わらず成立しており、生のデータと機械の内部構造を結びつける根本的な法則が存在することを示唆しています。

この研究は、訓練されたモデルの内部にある数値の形状に関する単純な観察から始まりました。研究者がモデルの異なるレイヤーにおける数値の大きさを調べたところ、それらはワイブル分布として知られる一貫したパターンに従っていることが分かりました。このパターンは2つの値によって定義されます。一つは驚くほど安定している「形状因子」であり、もう一つは学習に伴って変化する「スケール因子」です。安定した形状はモデルの内部構造が一貫していることを意味し、変化するスケール因子は、学習に応じて回転するダイヤルのように機能します。研究はこのスケール因子に焦点を当て、何がその成長を駆動しているのかを問い直しました。

答えを見つけるために、研究者は標準的なテキストデータセットを用いた制御実験を設計しました。異なる本やトピックを用いて学習させるのではなく、研究者はテキスト自体は同じに保ったまま、それを体系的にバラバラにしました。テキストの一部をシャッフルして単語の順序を入れ替え、完全に秩序だったものから完全に混沌としたものまで、データセットのスペクトルを作成しました。モデルを訓練する前に、研究者は各バージョンのテキストに対して特定の統計量を測定しました。それは、前の単語から次の単語を推測する平均的な難易度です。クリーンなテキストでは次の単語は予測しやすく、シャッフルされたテキストでは次の単語の予測はほぼ不可能でした。

結果は、この予測可能性とモデルの内部数値の成長との間の明確な数学的関係を明らかにしました。研究によれば、スケール因子の成長はランダムではなく、テキストの予測可能性と完全なランダム性のベースラインとの差に基づいた特定の曲線に従っていました。決定的なのは、この関係が単なる推測ではなく、2つの別々に測定された事実から導き出されたものであるという点です。第一に、数値の成長はテキストに残っている構造の量に直接比例することが判明しました。第二に、シャッフルされたテキストにおける次の単語の予測の難易度は、テキストがよりバラバラになるにつれて、特定の曲線的な飽和パターンに従うことでした。これら2つの事実を組み合わせると、数値の成長は精密な凸型の曲線に従わざるを得なくなります。つまり、曲線の形状は偶然データに適合させたものではなく、テキストの構造と学習プロセスの相互作用から生じる必然的な帰結であったのです。

この研究は、モデルが数値を更新する速さを制御する異なる学習速度にわたって、この法則をテストしました。研究者がこれらの速度を調整すると、異なるすべての訓練実行が単一の統一された線へと収束しました。この収束は、この関係が特定の設定によるアーティファクト（人工的な産物）ではなく、システムの根本的な特性であることを証明しました。その後、研究者はこの法則が未来を予測できるかどうかを確認するために、厳格なテストを行いました。事前学習時のテキストの予測可能性のみを用いて、未知のシャッフルされたバージョンのテキストにおいて内部数値がどれほど成長するかを予測しました。その予測は非常に小さな誤差範囲内に収まっており、テキストの特性だけでモデルの内部成長を予測できることを裏付けました。

しかし、研究はこの法則が適用される境界線を明確に引いています。研究者がモデルをコンピュータコードに対してテストしたところ、予測は失敗しました。コードは予測可能性が低いため、理論上はこの法則に従えば高い成長を示すはずですが、モデルの数値は予想よりもはるかに成長しませんでした。研究者は、コードが豊かな文脈的マッピングよりも、反復やテンプレートに大きく依存していることを特定しました。これは、予測可能性が主要な駆動要因である一方で、第二の要因である「冗長性」も役割を果たしていることを示唆しています。この法則は、次の単語が文脈に依存するテキストに対しては完璧に機能しますが、単にパターンを繰り返すことで次の単語が予測可能になるテキストに対しては崩壊します。

この知見は、研究者がモデルの内部、すなわち個々のレイヤーを調べた際にも維持されました。テキストの予測可能性と数値の成長との間の同じ関係が、モデルのあらゆる部分に現れましたが、その影響の強さは部位によって異なっていました。情報の流れを処理するレイヤーが最も強い反応を示し、他の部分は感度が低いことが分かりました。これにより、研究者はネットワークのどこにテキストの構造が数値として書き込まれているのかを正確にマッピングすることができました。さらに、研究は2つの異なるモデルアーキテクチャをテストしましたが、具体的な数値は変わっても、関係性の基礎となる形状は同じままでした。これは、この法則が特定の設計に依存せず、これらのモデルが学習する際の堅牢な特徴であることを示しています。

結局のところ、この研究は人工知能を理解するための、明確で先見性のあるツールを提供しています。これは、モデルが訓練される前にデータセットを見るだけで、モデルの内部数値がどのように進化するかを正確に予測できることを実証しています。これは、データと機械の間の長年のループを閉じ、テキストの構造が単なる受動的な入力ではなく、モデルの内部ダイナミクスを駆動する能動的な要因であることを示しています。この法則には、コードのような高度に反復的なデータに対する限界もありますが、学習データの質と構造を測定するための強力な新しい方法を提供しており、複雑で目に見えないプロセスを、単純で具体的なツールを用いて測定、予測、理解可能なものへと変えています。