Inferring the Size of Large Language Models From Popular Text Memorization

技術的概要：人気テキストの記憶から大規模言語モデルの規模を推定する

1. 問題定式化

大規模言語モデル（LLM）の総パラメータ数（$|f|$）は、能力、コスト、および性能比較を解釈するための主要な指標である。しかし、主要な技術企業（OpenAI、Google、Anthropic など）が開発した最も高度なクローズドウェイトモデルについては、この指標はほぼ常に非公開とされている。この不透明性は、クローズドモデルとオープンモデルの比較における曖昧さを生み、API 価格設定とレイテンシの経済的駆動力を不明瞭にしている。

本論文は、厳密なブラックボックス制約下（プロンプトの提出とテキスト出力の観察にアクセスが限定され、ログイット、重み、または隠れ状態へのアクセスがない）で、2 つの特定の推論問題に取り組みます：

1. 絶対的規模推定: 未知のモデル $f$ のパラメータ数 $|f|$ を推定する。
2. 相対的規模推定: 閾値 $\tau > 0$ に対して $|f| > (1 + \tau)|g|$ かどうかを判定し、あるモデルが他よりも著しく大きいかどうかを確立する。

核心的な課題は、テキスト生成の品質にも影響を与えるトレーニングデータ分布、インストラクションチューニング、アーキテクチャの選択などの交絡変数から、モデル規模のシグナルを分離することである。

2. 手法

提案されたアプローチは、古典文学、宗教書、基礎文書など、広く流通する人気テキストが、事実上すべての大規模な事前学習コーパスに含まれているという観察に基づいている。著者らは、これらの記憶されたテキストにおいて次のトークンを正確に予測するモデルの能力は、その総パラメータ数によって根本的に制限されると仮定している。

データ収集とシグナル抽出:

• ソーステキスト: 『不思議の国のアリス』や『聖書』などの 37 の人気パブリックドメインテキストと、4 つの希少なベースラインテキストの多様なセットが使用される。
• 精度指標: モデル $M$、テキスト $T$、接頭辞長さ $l$ に対して、著者らは生精度（$\hat{\alpha}_r$）と引き上げ精度（$\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$、ここで $\hat{\beta}$ は希少なテキストに対するベースライン精度）を計算する。
• 精度プロファイル: 複数の接頭辞長さとテキストをサンプリングすることで、この手法は各モデルに対して高次元の精度プロファイルベクトル（$A_{T,L}(M) \in \mathbb{R}^{2KL}$）を構築し、変化するコンテキスト全体での性能を集約する。

推論フレームワーク:
本論文は、これらの精度プロファイルを規模推定値に変換するための 2 つの補完的な手法を導入する：

1. スケーリング則推定器（絶対的推定）:

   • PCA 投影: 既知のオープンウェイトモデルの精度プロファイルに主成分分析（PCA）を適用し、1 次元の潜在規模インデックス（$z_M$）を抽出する。このインデックスは、パラメータ数によって駆動されると仮定される、性能における支配的な分散を捉える。
   • 指数関数的スケーリング: ニューラルスケーリング則に基づき、潜在インデックス $z$ とパラメータ数 $\theta$ の間の関係は指数関数的としてモデル化される：$\hat{\theta}(z) = A \cdot e^{B \cdot z}$。この曲線は、既知のサイズを持つオープンウェイトモデルを用いて較正される。
   • 保守的下限: クローズドモデルの場合、推定値はこの曲線から導出されるが、交差検証の誤差範囲に基づき 0.5 の係数で調整され、保守的な下限を生成する。

2. ペアワイズ統計的検定（相対的推定）:

   • ブロック化符号置換検定: 2 つのモデル $f$ と $g$ を比較するため、この手法はそれらの精度プロファイルの差を計算する。同じテキスト内での測定値は相関しているため、検定は各ソーステキストを「ブロック」として扱う。
   • 仮説検定: 片側ブロック化符号置換検定は、精度の差が体系的に一方のモデルを他方よりも優位にするかどうかを評価する。帰無仮説（$H_0$）は、体系的な優位性がないと仮定する。$H_0$ の棄却は、優位なモデルがより大きい可能性が高いことを示す。
   • 閾値設定: この検定は、偽陽性率を制御しつつ、$|f| > (1+\tau)|g|$ かどうかを判定する。

範囲と限界:
この手法は、標準的なインターネット規模のコーパスでトレーニングされた汎用モデルを想定している。専門的な微調整（コード専用モデルなど）による破滅的忘却や、戦略的回避（パブリックテキストの意図的な忘却など）を採用するモデルは明示的に除外される範囲とされている。ミクスチャー・オブ・エキスパート（MoE）アーキテクチャの場合、この手法は推論中のアクティブなパラメータが総パラメータ数のサブセットであるため、総パラメータ数に対する保守的な下限を提供する。

3. 主要な貢献

1. 記憶に基づく規模シグナル: 本論文は、人気テキストにおける次のトークンの精度を集約することが、内部モデルへのアクセスがなくても、モデル規模と強く相関する堅牢で高次元のシグナルを生み出すことを実証している。
2. 二重下限フレームワーク: PCA 駆動のスケーリング則推定器と厳密なペアワイズ統計的検定を組み合わせた二重手法アプローチを提案する。任意のターゲットモデルに対する最終的な推論は、これら 2 つの手法が生成する下限の最大値である。
3. 検証と応用: このフレームワークは、19 のオープンウェイト密モデル（絶対推定で $R^2 = 0.95$、相対的検定で約 90% の精度/再現率を達成）、16 のオープンウェイト MoE モデル、および 21 の人気クローズドウェイトモデルで検証された。

4. 結果

• オープンウェイト密モデル: スケーリング則推定器は、較正セットで $R^2$ 0.9504、Leave-one-out 交差検証で 0.9387 を達成した。すべての予測は 2 倍の誤差バンド内に収まった。
• オープンウェイト MoE モデル: このフレームワークは、評価された 16 の MoE モデルすべてに対して有効な下限を確立した。「tightness」（下限と真のサイズの比率）は大きく変動したが（例：WizardLM-2-8x22b で 86% 対 Mimo-v2-pro で 11%）、下限は一貫して保守的であった（真のサイズを超えることはなかった）。
• クローズドウェイトモデル: Anthropic、Google、OpenAI、Alibaba の 21 のモデルに適用された結果、フレームワークは以下の点を明らかにした：
  • 内部製品階層を正しく回復（例：Anthropic において Opus > Sonnet > Haiku）。
  • 業界のスケーリング戦略の相違を明らかに：
    • Google と Anthropic: 著しい世代間スケーリングを示し、フラッグシップモデルの下限は 400B パラメータを超えた（例：Claude Opus 4.6 は 433B、Gemini 3 Flash は 405B）。
    • OpenAI と Alibaba: 厳格なパラメータ上限の下で運用されている。GPT-4o や Qwen3.6-Max などのフラッグシップモデルは 110B 付近に制限されており、性能の向上は巨大なパラメータ拡張ではなく、アルゴリズムの最適化やデータの質によって駆動されていることを示唆している。
  • 小型バリエーションの具体的な下限を特定（例：GPT-5.4-nano は 2B、Claude Haiku 4.5 は 49B）。

5. 意義と主張

本論文は、クローズド LLM の隠れた設計選択を探る最初の体系的なブラックボックス手法を提供すると主張している。モデル規模がパブリックドメインテキストの記憶において検出可能な「指紋」を残すことを実証することで、著者らは以下のことを示している：

• 透明性: 重みやログイットへのアクセスなしに、モデル規模の保守的な下限を推定することが可能である。
• 戦略的洞察: この手法は、業界が単一ではないことを明らかにする。一部の提供者はパラメータを積極的にスケーリングしているが、他方はパラメータの天井に達したように見え、能力向上のために他のレバーに依存している。
• 堅牢性: 記憶シグナルが意図的に抑制されていない限り、このアプローチは汎用モデルにおいてトレーニングデータやアーキテクチャの変動に対して堅牢である。

著者らは謙虚であり、下限は構築上保守的であること、および MoE アーキテクチャや戦略的回避を持つモデルの正確なパラメータ数を回復することは依然として未解決の課題であることを認めている。この研究は内部指標を置き換えるものではなく、現代の AI 開発の「ブラックボックス」に対する厳密な外部プローブを提供するものである。