Berezinskii--Kosterlitz--Thouless transition in a context-sensitive random language model

技術要約：文脈依存型ランダム言語モデルにおけるベレジンスキー・コステリッツ・サウレス（BKT）転移

問題提起
自然言語は、ジップの法則や情報距離のべき乗則減衰といった統計的な規則性を示しており、これらは物理系の相転移付近で見られるスケーリング特性に類似している。大規模言語モデル（LLM）は近年、創発的なスケーリング則を示しているが、統計物理学で定義される数学的に厳密な相転移を示す特定の生成言語モデルは依然として存在しない。確率的文脈自由文法（CFG）に関するこれまでの調査では、標準的な熱力学的極限において真の相転移を決定的に示すことに失敗している。さらに、BKT転移はロバストなスales則を説明するものであるが、伝統的には二次元系における連続対称性と関連付けられている。著者らは、離散的な自由度を自然に持つ一次元言語モデルが、特定の臨界点への微調整を必要とせずに、BKT転移を示すことができるかという問いに取り組んでいる。

手法
著者らは、**文脈依存型ランダム言語モデル（CS-RLM）**を構築している。これは文脈依存文法（CSG）のクラスに属する確率モデルである。このモデルは一次元長距離ポッツモデルに着想を得ており、以下の3つの相互作用プロセスによって動作する。

1. 成長（Growth）: 非終端記号が規則（例：$X \to YZ$）に従って展開し、熱力学的極限（$N \to \infty$）を可能にするために文字列の長さを増大させる。
2. 文脈依存書き換え（Context-Sensitive Rewrites）: 部分文字列が周囲の文脈に基づいて書き換えられる（$\alpha_- X \alpha_+ \to \alpha_- Y \alpha_+$）。その際、受理確率はメトロポリス・ヘイスティングス法によって制御される。エネルギー変化 $\Delta E$ は、距離 $|i-j|$ における記号ペアを結合する長距離相互作用カーネル $|i-j|^{-(1+s)}$ を用いて計算される。
3. 終了（Termination）: 非終端記号は終端記号へと遷移する（熱力学的極限を容易にするため、主要な解析では無視される）。

本研究では、アルファベットサイズ $K=2$（イジングモデルに相当）かつ分岐規則が $X \to YZ$ のケースに焦点を当てる。著者らは、標準的な統計物理学の観測量を用いてシステムを分析する。

• 秩序パラメータ（磁化、$M$）: 記号頻度のベクトル和の大きさを定義し、記号生成のバイアスを捉える。
• 感受率（$\chi$）: 秩序パラメータの分散を測定する。
• ビンダー・パラメーター（$U$）: 秩序パラメータの正規化された尖度であり、無秩序相、秩序相、および臨界相を区別するために用いられる。
• 相関関数: べき乗則減衰か指数関数的減被かを検出するために分析される。

著者らは、モンテカルロ・シミュレーション（文の長さ $N$ を16から4096まで変化させる）において有限サイズスケーリング法を用い、熱力学的極限における挙動を外挿している。

主な結果

1. 相転移の存在: 数値シミュレーションは、温度パラメータ $k_B T$ を調整することで、秩序パラメータ（磁化）が厳密にゼロ（無秩序）から厳密に非ゼロ（秩序）へとシフトするという、明確な相転移を示している。
2. BKT転移の特定: システムは標準的な二次相転移ではなく、BKT転移の特徴を示す。
   • 拡張された臨界性: 感受率は単一の臨界点だけでなく、低温相全体にわたって発散する。これは、システムが有限のパラメータ範囲にわたって臨界状態に留まっていることを示している。
   • ビンダー・パラメーターの挙動: ビンダー・パラメーターは異なるシステムサイズに対して交差点を持ち、臨界領域において0と1の間の非自明な値を取る。これはBKT挙動と一致する。
   • 相関の減衰: 臨界領域において、相関関数は指数関数的減衰ではなく、多項式（べき乗則）減衰を示す。
3. パラメータへの頑健性: BKT転移は、標準的な一次元長距離ポッツモデルで通常必要とされる $s=1$ とは異なる、相互作用カーネルの減衰指数 $s=0.9$ においても観察される。この転移は、マルチレベルのスピン（$K>2$）においても持続する。
4. 臨界指数: 著者らは有限サイズスケーリングを通じて臨界指数 $\nu$ および $\gamma$ を決定した。$\gamma$ は異なる分岐規則（$X \to YZ$ 対 $X \to XX$）間で一定であるが、両方の指数が成長率パラメータ $q$ およびアルファベットサイズ $K$ に依存することを見出した。

意義と主張
本論文は、自然言語モデルの枠組み内でBKT転移を明確に示した最初の例であると主張している。この知見の意義は以下の3点に集約される。

• 理論的新規性: 離散的な自由度を持つ一次元システムにおいてBKT相を捉えたことは、そのような相には二次元の連続対称性が必要であるという従来の観点に挑戦するものである。
• スケーリング則の説明: 自然言語やLLMで見られる堅牢なスケーリング則（特定の臨界点への微調整を必要としないもの）は、言語構造とBKT相の間の根本的なつながりによって一般的に説明できる可能性を示唆している。BKT相においては、標準的な臨界点とは異なり、スケール不変な挙動が有限の領域にわたって持続する。
• 文法の役割: 本研究は、文脈依存的なメカニズム（長距離依存性と展開ダイナミクス）が、非自明な相転移を誘発するのに十分であることを強調しており、CFGとCSGを区別している。著者らは、言語生成に固有の「成長」メカニズムがシステムの有効次元数を変化させ、この型破りな臨界性を可能にしていると仮定している。

著者らは、本モデルは簡略化されたものであるものの、言語モデルが外部的なチューニングなしに創発的な能力やスケーリング則を示す理由について、原理的な説明を提供するものであると結論付けている。これは、文脈依存的な生成プロセスに伴う固有の統計力学に起因するとされている。