Alternative routes to universal diversity scaling in component systems: from proteomes to large language models

技術要約：コンポーネント・システムにおける普遍的な多様性スケーリングへの代替的経路

問題提起
ゲノムやプロテオームから、言語、LEGOの構築物、大規模言語モデル（LLM）に至るまで、複雑な「コンポーネント・システム」は、多様性に関して極めて一貫した統計的法則を示している。主に以下の2つの規則性が観察される：

1. ヒープの法則（Heaps' Law）： 異なるコンポーネントの数（語彙サイズ、$h$）は、システム全体のサイズ（$m$）に対して劣線形に成長する。通常、$\langle h \rangle \propto m^\nu$（ただし $0 < \nu < 1$）と表される。
2. 二次的変動スケーリング（Quadratic Fluctuation Scaling）： 語彙の分散は平均に対して二次的にスケールする（$\sigma_h^2 \propto \langle h \rangle^2$）。これは、非自己平均的（non-self-averaging）な振る舞いを示している。これは、単純なサンプリングモデル（ポアソン・スケーリング、$\sigma_h^2 \propto \langle h \rangle$）とは対照的である。

これらのパターンはしばしば、基礎となる「イノベーション（革新）」メカニズム（システムが成長するにつれて新しいコンポーネントが発見されるプロセス）の徴候として解釈されるが、これら両方の法則を同時に生成するために必要な最小限の構成要素については、依然として十分に理解されていない。さらに、これらの統計的法則が生成メカニズムを一意に特定するのか、あるいは代替的な枠組み（例：潜在的な不均質性）が同一のマクロ的なシグネチャを生み出し得るのかについても不明である。

手法
著者らは、2つの広範な説明的枠組みを比較するために、数学的モデリング手法を用いている：

1. 逐次成長モデル（イノベーション・複製モデル）： これらのモデルは、既存のコンポーネクターの複製、または新しいコンポーネントの発見（イノベーション）を通じて、トークンが追加されることでシステムが成長すると仮定する。著者らは、この一般クラスのモデルに関する解析的な条件を導出し、特にイノベーション確率 $p_n(h, m)$ を調査している。彼らは、連続時間近似と平均場軌道の安定性解析を用いて、平均と分散の漸近挙動を分析している。
2. 潜在的不均質性を伴うサンプリングモデル： これらのモデルは、実現値（realizations）がコンポーネントの頻度分布（多くの場合、べき乗則やジップの法則に従う）からサンプリングされると仮定する。この際、分布は「潜在変数」（例：テキストにおけるトピック、ゲノムにおける分類学的群）によって変化する。著者らは、**全分散の法則（law of total variance）**を利用して、総分散を「トピック内」の分散と「トピック間」の分散に分解している。

本研究は、これらの理論的予測を4つの異なるデータセットに対して検証している：

• プロジェクト・グーテンベルクの書籍およびWikipedia： 単語の多様性を分析するためにテキストコーパスを使用。
• LEGOの構築物： テーマが付与されたレゴセットにおける、ブロックタイプの多様性を分析。
• プロテオーム： 分類学的クレードが付与された細菌ゲノムにおける、タンパク質ドメインファミリーの多様性を分析。
• 大規模言語モデル（LLM）： ランダムなプロンプトを用いたGPT-2およびLlama-3による生成テキスト。

主要な貢献と結果

1. イノベーションモデルにおける必要条件
著者らは、一般的なイノベーション・複製モデルがヒープの法則と二次的変動スケーリングの両方を再現するためには、イノベーション確率が特定の漸近的依存関係を満たさなければならないことを導出した：
$$p_n \sim \frac{h}{m}$$
これは、**「多様性が多様性を生む（diversity-generates-diversity）」**メカニズムを表しており、新しいコンポーネントを発見する確率が、現在の多様性（$h$）に比例して増加し、システムサイズ（$m$）に反比例して減少することを意味する。

• もし $p_n$ が $m$ のみに依存する場合（例：標準的なユール・サイモン・モデル）、システムは劣線形成長を再現できるが、ポアソン・スケーリング（$\sigma_h^2 \leq \langle h \rangle$）に制限され、観察される二次的変動を捉えることができない。
• 著者らは、この線形依存性がこのクラスのモデルにおける必要条件であることを示している。他の関数形式では、これら両方の経験的なスケーリングを同時に再現することはできない。

2. 大規模言語モデルにおけるスケーリングの出現
本研究は、LLMにおける「多様性が多様性を生む」仮説を検証している。ランダムなプロンプトを与えられたGPT-2およびLlama-3の出力語彙を分析することで、有効なイノベーション確率が実際に現在の語彙サイズに対して線形である（$p_n \propto h/m$）ことを見出した。これは、LLMの複雑さにもかかわらず、その生成プロセスが、観察された統計的法則を生み出すために必要な特定のイノベーション・ルールを実質的に実装していることを示唆している。

3. 代替経路としての潜在的不均質性
著者らは、潜在変数（トピックなど）を伴うサンプリングモデルにおいて、明示的なイノベーション・メカニズムを必要とせずに、二次的変動スケーリングが自然に発生することを実証している。

• 全分散の法則を用いることで、平均語彙サイズが潜在変数に依存する場合（例：$\langle h \rangle_t = k(t)m^\nu$）、実現値間の分散には、潜在変数の分散に比例する項が含まれることを示した：$\sigma_h^2 \approx \langle h \rangle + \text{CV}^2[k(t)] \langle h \rangle^2$。
• システムサイズが十分に大きい場合、この二次項が支配的となり、経験的なスケーリングを再現する。
• 決定的な点として、この枠組みにおいて、データから推論された「有効な」イノベーション確率（$p_n \approx d\langle h \rangle/dm$）も、明示的なルールによるものではなく、潜在的不均質性の統計的帰結として、線形形式（$p_n \sim h/m$）へと収束する。

4. 実証的妥当性と識別不能性
ゲノム（分類学的グループ）およびLEGOセット（テーマ）の分析によれば、既知のアノテーション（注釈）によって実現値を条件付けることで、異なる多様性レベル（異なる前係数 $k(t)$）を持つグループへと分離できる一方で、グループ内でのべき乗則の成長は維持される。しかし、条件付けを行った後でも残留的な二次的変動が持続することから、既知のアノテーションは潜在的な構造の一部しか捉えていないことが示唆された。

• メカニズムに関する結論： 本論文は、イノベーション駆動型の成長と潜在変数サンプリングという2つの枠組みは、ヒープの法則、変動スケーリング、および推論されたイノベーション確率のみに基づけば、現象論的に区別不能であると結論付けている。両方の経路は、同じマクロ的な統計法則へと至る。

意義と主張
本論文は、コンポーネント・システムにおける多様性スケーリングの解釈を明確化する上で、以下の概念的な二重性を明らかにしていると主張している：

• 一意な特定は不可能： 観察された統計的法則（ヒープの法則と二次的変動）は、基礎となる生成メカニズムを一意に特定するものではない。それらは、明示的な「富者がさらに富む（rich-get-richer）」イノベーション・プロセスからも、あるいは不均質な潜在状態の統計的な集計からも生じ得る。
• 統一された統計的視点： 著者らは、潜在的な構造がコンポーネントの頻度、平均的な多様性、および多様性の変動を説明するという統一的な視点を提案している。成長モデルで見られる「多様性が多様性を生む」メカニズムは、基礎となる潜在的不均質性の「有効な記述」である可能性がある。
• 注意喚起： 本研究の結果は、多様性スケーリングを特定のイノベーション・プロセスの決定的な証拠として解釈することに対する警告として機能する。LEGOの構築物や遺伝子発現プロファイルのように、逐次的なイノベーションが自然な記述ではないシステムにおいては、潜在変数がより簡潔な説明を提供する。
• 今後の方向性： 本論文は、これらのメカニズムを判別するためには、二次の統計量（例：高次の相関）を超えた観測量、あるいは潜在変数が完全に特性化されているシステムが必要であることを指摘している。

本研究は、複雑系理論、統計物理学、および生物学を橋渡しし、多様性のスケーリングの普遍性が、特定の動的なルールよりも、一般的な統計的原理（全分散の法則など）に由来している可能性を示唆している。