Phase transition in large language models and the criticality of natural languages

技術要約：大規模言語モデルにおける相転移と自然言語の臨界性

問題提起
自然言語は、普遍的な統計的特徴、特にジップの法則（単語の頻度と順位の関係）やヘップスの法則（文書長と語彙数の関係）といったべき乗則挙動を示す。統計物理学において、このようなべき乗則挙動は、異なるマクロな相の間にある臨界点に位置する系の特徴である。この観察は、自然言語を生成する確率過程が、「反復的」な相と「不可解」な相を隔てる臨界面上にあるという仮説を動機づけている。しかし、現実世界の自然言語には制御可能なパラメータが存在しないため、この仮説を検証することは根本的に困難である。すなわち、遷移を観察するために「温度」や外部場を変化させることができないのである。簡略化された数学的モデルを用いたこれまでの試みは、現実世界の言語現象に対して限定的な洞察しか提供できなかった。

手法
自然言語における制御可能性の欠如を克服するため、著者らは大規模言語モデル（LLM）を効果的かつ制御可能なモデルとして利用する。具体的には、Pile（大規模な英語データセット）で学習された160MパラメータのPythiaモデルを採用する。本研究では、テキストの生成を、サンプリング中に温度パラメータ $T$（ボルツマン分布における物理的な温度に相当）を変化させる確率過程として扱う。

著者らは、統計解析を容易にするために、生成されたテキストを品詞（POS）タグ（18種類の異なる値）のシーケンスにマッピングする。そして、生成されたテキストを、様々な温度（$T$）および学習ステップ数（$k$）にわたって系統的に分析し、以下の項目を調査する：

1. 相関の減衰： 品詞間の時間相関 $C(t, t+\Delta t)$ を測定し、相関が指数関数的に減衰するか（無秩序）、あるいはべき乗則に従うか（臨界）を判定する。
2. 積分相関（$\tau$）： 相関の総和を計算することで、シーケンス長 $N$ の関数として短距離秩序と長距離秩序を区別する。
3. パワースペクトル解析： 品詞シーケンスのパワースペクトル $S(\omega)$ を分析して周期構造を検出し、ピークの数（$n_{peaks}$）を数えることで、反復パターンの特性を記述する。
4. 学習ダイナミクス： 部分的に学習されたモデル（様々な学習ステップ $k$ において）に対してこれらの解析を繰り返し、いつこれらの臨界的特徴が出現するかを特定する。
5. パープレキシティ評価： Pileデータセットに対するパープレキシティを用いて、異なる $T$ および $k$ で生成されたテキストが、自然言語の統計量にどの程度一致しているかを定量的に測定する。

主な結果

1. $T_c \approx 1$ における相転移： 解析の結果、LLMにおいて $T_c \approx 1$ という臨界温度における明確な相転移が明らかになった。

   • 低温相 ($T < 1$)： テキストは長距離秩序を示し、相関は正の値に収束する。パワースペクトルは発散する数のピーク（$n_{peaks} \propto N$）を示しており、これは単純な周期性ではなく、複雑で不均質な反復構造があることを示唆している。
   • 高温相 ($T > 1$)： テキストは無秩序で不可解である。相関は急速に減衰し（短距離）、パワースペクトルには $\omega=0$ における単一のピークのみが含まれる。
   • 臨界点 ($T \approx 1$)： 相関はべき乗則に従って減衰し（$C \sim \Delta t^{-\eta}$、ここで $\eta \approx 0.2$）、積分相関 $\tau$ はシーケンス長 $N$ とともに発散する。この挙動は、自然言語で見られるべき乗則統計を反映している。

2. 学習過程における出現： これらの現象はモデルのアーキテクチャに固有のものではなく、モデルが自然言語を学習するにつれて出現するものである。

   • 学習の初期段階（$k \lesssim 100$）では、モデルは温度に関わらず無秩序なテキストを生成し、相転移は観察されない。
   • 臨界的挙動（発散する $\tau$）は、$k_c \approx 102$ 付近で出現する。
   • 複雑な反復構造（発散する $n_{peaks}$）は、それより少し遅い $k \approx 10^3$ 付近で出現する。
   • これは、臨界性と複雑な反復の両方が、自然言語データを通じて獲得される固有の性質であることを示している。

3. 自然言語への最適な一致： 本研究では、自然言語データセットに対するモデルのパープレキシティが、最終学習ステップ（$k=143,000$）および臨界温度 $T \approx 1$ において最小になることが示された。これは、臨界点におけるLLMによって定義される確率過程が、自然言語の統計的性質に最も近いことを定量的に裏付けている。

意義と主張
本論文は、これらの知見が「自然言語は臨界的である」という仮説に対する強力な証拠を提供すると主張している。著者らは、自然言語の確率過程が、反復的な相と不可解な相を隔てる臨界面上にあるとする概略モデルを提案している。この自然言語を学習したLLMは、確率過程の空間における一次元多様体を定義し、この多様体は、温度が臨界値に設定されたとき、自然言語に対応する点の近くで臨界面と交差する。

本研究の意義は以下の点にある：

• 実証的検証： 玩具的な数学モデルを超えて、現実的かつ大規模な言語モデルにおける相転移を実証したこと。
• 統計物理学的視点： 自然言語を臨界現象の観点から特徴付ける枠組みを提供し、言語に見られるべき乗則挙動が、システムが臨界点付近で動作していることのシグネチャー（徴候）であることを示したこと。
• 普遍性： 予備的な結果は、これらの現象が異なるモデルサイズや言語（中国語、フランス語、日本語、韓国語、スペイン語）においても堅牢であることを示唆しており、自然言語の普遍的な臨界的性質を暗示している。

著者らは、自然言語は確かに臨界的であり、LLMは、現実世界の言語データではアクセス不可能なこの臨界性を実証的に観察することを可能にする、制御可能な有効モデルとして機能すると結論付けている。