技術要約：Transformer言語モデルにおける表現容量（Representational Capacity）

問題提起

本論文は、Transformerベースの言語モデルにおける特徴量表現の幾何学的限界に関する理解における、根本的なギャップに対処している。モデル次元数（$d_{model}$）は、パラメータ数と潜在空間のサイズを制御する主要なハイパーパラメータであるが、その具体的な役割が、表現可能な最大特徴数にどのように影響するかについては、これまで十分に探求されてこなかった。

既存の理論、特に線形表現仮説（特徴量は潜在空間内の方向として存在する）および重ね合わせ仮説（モデルは次元数よりも多くの概念を、準直交する方向を用いることで表現する）は、表現可能な特徴数の数が潜在空間の幾何学によって制限されることを示唆している。しかし、ジョンソン＝リンデンシュトラウス（JL）補題に代表される標準的な理論的境界は、ランダムな射影の仮定に基づいている。本論文は、これらの標準的な境界は「学習済み」の表現におけるパッキング効率を著しく過小評価しており、数千の次元を持つモデルが、どのようにして数万または数百万規模の語彙や特徴量セットを支えることができるのかを説明できていないと主張している。

手法

1. 埋め込みによる許容偏差（$\epsilon$）の推定

著者らは、**埋め込み行列（embedding matrix）**を、潜在空間全体の準直交制約の測定可能なプロキシ（代理指標）として用いることを提案している。

• 根拠: 初期状態において、ランダムな重みは直交するワンホット・トークンベクトルを高次元の $R^{d_{model}}$ へと写像するため、高次元幾何学により埋め込みは準直交となる。学習はこの構造を維持しつつ、「意味のある」レキシカルおよびセマンティックな関係に対応するコサイン類似度の分布の「右側の裾（right tail）」を発達させる。
• 指標の定義: 著者らは、$\epsilon$（完全な直交からの許容偏差）を、偶発的な類似性と意味のある関係の境界として定義する。これは、埋め込み行列のペアごとのコサイン類似度分布の平均 $\mu$ と標準偏差 $\sigma$ を用いて、$\mu + 2\sigma$ としてヒューリスティックに推定される。
• 分類: この指標は、数十のオープンソースモデルに適用され、準直交性への適合度に基づいてモデルを分類するために用いられる。

2. 調整された容量式の導出

本論文は、近接直交するベクトル $k$ の数は $k \leq \exp(d \cdot \epsilon^2 / C)$ となるという標準的なJL補題を批判している。

• 経験的な失敗: 実証的な定数を厳格化したとしても、Llama 2 7Bのような学習済みモデルにこの標準的な公式を適用すると、実際の語彙サイズ（32,000）よりも数桁低い容量推定値（例：約277方向）が得られる。
• 最適化シミュレーション: 「最適化された」ベクトルのパッキング効率を特徴付けるため、著者らはランダムな単位ベクトルを初期化し、グラム行列の非対角要素に対して高指数のペナルティを最小化する（勾配降下法をシミュレートする）プロセスを行った。
• 式の調整: シミュレーションデータへのフィッティングにより、容量が単なる生のカウント $k$ ではなく、**ベクトルと次元の比率（$k/d$）**に依存するという修正された関係式を導出した。新しい関係式は以下の通りである：
  $$\epsilon = \sqrt{\frac{C \cdot \ln(k/d)}{d}} \implies k \leq d \cdot \exp\left(\frac{d \cdot \epsilon^2}{C}\right)$$
  この単一パラメータの修正により、標準的なJL境界と比較して予測誤差が2桁減少した。

3. 表現容量の定義

推定された $\epsilon$ と調整された公式を組み合わせることで、本論文は**表現容量（Representational Capacity）**を、埋め込み、アンエンベディング（unembeddings）、および特徴量が利用可能な、区別可能な準直交方向の定量的上限として定義する。

主な結果

1. 2つの異なるモデルクラス

数十のモデルの分析により、$\epsilon$ に基づく2つのクラスへの分岐が明らかになった：

• クラス1（高 $\epsilon$）: $d_{model}$ が低く、類似度分布が広いモデル（$\epsilon > 0.2$）。これらのモデルは、埋め込みレベルでの準直交構造を欠いており、重ね合わせを同様の手法で活用していないと考えられる。多くは、結合された埋め込み／アンエンベディング行列を利用している。
• クラス2（低 $\epsilon$）: $d_{model}$ が高く、ゼロ付近に密集したタイトな分布を持つモデル（$\epsilon < 0.1$）。これらのモデルは、厳格な準直交制約を維持しており、重ね合わせの能動的な利用と一致している。

2. 容量の推定と感度

• 規模: クラス2のモデルでは、表現容量は $\sim 10^5$ から $\sim 10^{10}-10^{11}$ に及ぶ。例えば、Llama 2 7B（$d_{model}=4096, \epsilon=0.0645$）は、約4,000万方向の容量を持つと推定され、その語彙および疎なオートエンコーダ（SAE）から抽出される数百万の特徴量を十分に収容できる。
• 感度: 容量は $\epsilon$ に対して指数関数的に敏感である。偏差の許容度（例：0.05から0.09への増加）のわずかな上昇が、容量の6桁の跳ね上がりをもたらす。これは、$\epsilon$ が $d_{model}$ よりも支配的なレバーであることを示している。
• スケーリング傾向: クラス2内では、より大きなモデルは、生の容量を最大化することよりも、よりタイトな直交制約（より低い $\epsilon$）を好む傾向がある。これは、大きなモデルが、生の幾何学的空間よりも、内部の安定性と信頼性の高い特徴抽出を優先していることを示唆している。

意義と主張

本論文は、トランスフォーマーにおける特徴表現の幾何学的限界を推定するための、初の定量的フレームワークを提供すると主張している。主な貢献は以下の通りである：

1. 理論的境界の経験的修正: 標準的な幾何学的境界（JL補例）は学習済みモデルには不十分であることを示し、観察されたパッキング効率と一致する、経験的に調整された公式を提供した。
2. 共有リソースの定量化: 「表現容量」を、埋め込み、アンエンベディング、および特徴量が共有する、重なりへの許容度（$\epsilon$）によって制御される有限の幾何学的リソースとして定義した。
3. 診断的洞察: 本フレームワークは、すべてのモデルが等しく重ね合わせを利用しているわけではないことを明らかにした。高 $\epsilon$ モデルと低 $\epsilon$ モデルの区別は、潜在空間の構成方法における根本的な構造的差異を示唆している。
4. 設計への示唆: 著者らは、$d_{model}$ の選択（現在はしばに2の累乗といったヒューリスティックに基づいている）が、理論的には容量ターゲットによって導かれ得ると示唆している。また、有用な容量には「天井」が存在し、それを超えて幾何学的空間を増やしても収穫逓減となる可能性、および、より大きなモデルは安定性を維持するために自然とよりタイトな直交性に収束していくのではないかと仮定している。

限界と注意点

論文内では、以下の限界についても明記されている：

• 仮定的一般化: 埋め込みの幾何学が、より広範な潜在空間（中間層の特徴量を含む）を反映しているという仮定は、動機付けられた仮説であり、証明された事実ではない。
• ヒューリスティックな閾値: $\mu + 2\sigma$ という閾値はヒューリスティックなものである。容量は $\epsilon^2$ に対して指数関数的に敏感であるため、絶対的な容量値は信頼性が低いが、モデル間の相対的な比較には依然として情報価値がある。
• 幾何学的 vs 計算論的: 導出された容量は「幾何学的な可能性」の境界であり、「計算論的な利用」ではない。モデルのアーキテクチャ（深さ、アテンションヘッド）が、利用可能な最大方向を効果的に学習または処理できるかどうかについては考慮していない。
• データの希少性: 大きなモデルがよりタイトな直交性を好むという観察は、$d_{model} > 6000$ の限られたデータポイントに基づいている。