💬 NLP

How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?

この論文は、言語モデルの中間層における特徴の線形表現と線形アクセス性を仮定する「線形表現仮説」を数学的に定式化し、 $k$ -スパースな $m$ 個の特徴を線形に符号化・復号するために必要なニューロン数 $d$ について、古典的な圧縮センシングとは異なる新たな上下界（ $d = \Omega(\frac{k^2}{\log k}\log (m/k))$ および $d = O(k^2\log m)$ ）を導出することで、線形アクセス性の制約が表現能力に与える定量的な影響と「超位置仮説」の理論的妥当性を示しています。

原著者： Nikhil Garg, Jon Kleinberg, Kenny Peng

公開日 2026-02-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nikhil Garg, Jon Kleinberg, Kenny Peng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI（言語モデル）の脳の中で、いったいどれくらい多くの『アイデア』や『特徴』を同時に隠し持てるのか？」**という不思議な問いに、数学的な答えを出したものです。

タイトルにある「線形表現仮説（Linear Representation Hypothesis）」とは、**「AI の中間層では、あらゆる概念（例えば『猫』や『嬉しい』という感情）が、単純な『直線』のようなベクトル（矢印）として並んで保存されている」**という考え方です。

この論文は、その仮説をさらに細かく分解し、**「直線として保存されていること」と「直線として読み取れること」**の 2 つに分けて、その限界を調べました。

以下に、難しい数式を使わずに、日常の例え話で解説します。

1. 核心となる問い：狭い部屋に何人のゲストを招けるか？

AI のニューロン（神経細胞）の層を、**「狭い部屋」だと想像してください。
この部屋には、「d 人」のベッド（ニューロン）しかありません。
しかし、AI が文章を作るためには、「m 個」**もの様々な概念（猫、犬、喜び、悲しみ、質問、命令など）を同時に扱わなければなりません。

ここで問題なのは、「m（概念の数）」が「d（ベッドの数）」よりもはるかに多い場合です。
「ベッドが 100 個しかない部屋に、1000 人ものゲストをどうやって収容し、かつ、誰が誰なのかを正確に区別して呼び出せるのか？」

これがこの論文が解こうとした問題です。

2. 2 つの重要なルール：「寝かせる」ことと「起こす」こと

論文は、この問題を 2 つのルールに分けて考えました。

線形表現（Linear Representation）：
- **「ゲストをベッドに寝かせる」**こと。
- 各概念が、部屋の空間内で「特定の方向（ベクトル）」として存在している状態です。
- これだけなら、古典的な「圧縮センシング（Compressed Sensing）」という数学の分野で、**「ベッドの数に比べて、指数関数的に多くのゲストを収容できる」**ことが知られていました。
- 例え： 100 人のベッドがあれば、数学的には 100 万人のゲストを「重ねて」寝かせることができます。
線形アクセス（Linear Accessibility）：
- **「ゲストを正確に起こして、名前を呼ぶ」**こと。
- ここが重要なのです。次の層（次の部屋）の AI が、**「単純な直線的な線（プロブ）」**を使って、誰が誰かを区別できる必要があります。
- もし「起こす」作業が複雑な計算（非線形）を必要とするなら、AI の次の層はそれを処理できません。AI は「直線的な関係」しか次のステップで使えないからです。

3. 発見された驚きのギャップ

ここで論文が示した最も重要な発見は、「寝かせるだけ」と「起こすまで」では、収容できる人数の限界が全く違うということです。

寝かせるだけ（非線形な読み取り）：
- ベッド数 $d$ に対して、 $d^2$ 倍くらいのゲストを収容できます。
- 例え： 100 人のベッドで、1 万人のゲストを区別して扱えます。
寝かせて、かつ直線的に起こす（線形アクセス）：
- ここが論文の核心です。直線的に読み取る必要があると、収容できる人数は $d^2$ 倍ではなく、 $d$ の 2 乗に比例する形になりますが、実は**「スパース性（一度にアクティブなゲストが少ない）」**という条件が厳しくなります。
- 具体的には、**「一度に同時に寝ている（アクティブな）ゲストが $k$ 人だけ」**という条件付きで、 $d \approx k^2 \times \log(\text{総人数})$ 程度のベッドが必要になります。
- つまり、「直線的に読み取る」ためには、単純な「重ね寝」よりもはるかに多くのスペース（ニューロン）が必要になるのです。

アナロジー：

非線形アクセスの場合： 部屋に 100 人のゲストを、それぞれが「誰か」を覚えていれば、誰が誰かを探すのに「魔法の鏡（複雑な計算）」を使えば、100 万人のゲストを隠せます。
線形アクセスの場合： しかし、次の部屋にいる人が「ただの定規（直線的な線）」で測って誰かを見分けなければならないなら、100 万人も隠すと混雑しすぎて、誰が誰か区別できなくなります。そのため、**「一度に 10 人くらいしか寝ていない（k が小さい）」**という前提がないと、100 万人は収容できません。

4. 結論：AI は「重なり合わせ（スーパーポジション）」で動いている

この研究は、**「AI は限られたニューロンの数でも、直線的な構造を保ちつつ、膨大な数の概念を『重ね合わせ』て保存できる」**ことを数学的に証明しました。

スーパーポジション仮説の証明：
以前から「AI は少ないニューロンで多くの概念を扱えるのは、概念同士を重ねているからだ（スーパーポジション）」という仮説がありましたが、これを「直線的に読み取れる」という厳しい条件付きでも成立することを示しました。
なぜ重要なのか？
これは、AI がなぜこれほどまでに人間のような複雑な文章や思考ができるのか、その「脳の仕組み」の理論的な根拠を与えます。AI は単に大量のデータを覚えているだけでなく、**「限られたスペースに、効率的に概念を詰め込み、かつ次のステップで素早く取り出せる」**という天才的な（あるいは数学的に必然的な）方法で動いていることがわかりました。

5. 補足：「方向」の不思議な性質

論文の面白い部分として、「寝かせる方向（表現ベクトル）」と「起こす方向（プローブベクトル）」は、必ずしも同じである必要がないという点も示しています。

例え： 「猫」という概念を、部屋の「北東」に寝かせておいても、次の人が「南東」から光を当てれば「猫」を正確に起こせる、ということです。
さらに、「猫」と「犬」の寝ている方向が、ほぼ同じ方向（重なっている）でも、起こす方向（光の当て方）を工夫すれば、区別して起こせることが示されました。
- これは、AI の内部では、一見するとごちゃ混ぜに見える概念でも、実は「読み取り方」次第で完璧に区別できていることを意味します。

まとめ

この論文は、**「AI の脳は、限られたニューロンという狭い部屋で、直線的なルールに従いながら、驚くほど多くのアイデアを『重ねて』保存し、次のステップで素早く取り出せる仕組みを持っている」**と数学的に証明しました。

それは、**「狭い部屋に何人でも人を収容できる魔法の布団」のようなものですが、その魔法は「一度に起きる人が少ないこと」と「起こす人が直線的な道具しか使えないこと」**という、AI の構造に特有の制約の中で成り立っているのです。

これにより、AI がなぜこれほどまでに賢く、多様なタスクをこなせるのか、その理論的な裏付けがより強固になりました。

論文要約：言語モデルの線形表現仮説下で、いくつの特徴量を格納できるか？

論文タイトル: How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?
著者: Nikhil Garg, Jon Kleinberg, Kenny Peng (コーネル大学)
日付: 2026 年 2 月 11 日 (arXiv:2602.11246v1)

1. 背景と問題設定

大規模言語モデル（LLM）の中間層における「線形表現仮説（Linear Representation Hypothesis: LRH）」は、モデルが特徴（例：文脈、感情、事実など）を活性化空間の線形方向として格納しているという仮説です。この仮説は、線形分類器（プロブ）による特徴の抽出や、活性化操作によるモデルの制御（ステアリング）の成功、そしてスパース・オートエンコーダー（SAE）による解釈可能な特徴の発見など、多くの実証研究の基盤となっています。

特に注目されているのは「超位置（Superposition）」の概念です。これは、 $d$ 個のニューロンが、ニューロン数 $d$ よりも遥かに多い $m$ ( $m \gg d$ ) 個の特徴量を格納できるという考え方です。

しかし、従来の理論的枠組みでは、以下の 2 つの概念が混同されがちでした。

線形表現（Linear Representation）: 特徴が活性化ベクトルの中で線形に埋め込まれていること。
線形アクセス可能性（Linear Accessibility）: その特徴が、線形なプロブ（線形関数）によって復元・抽出できること。

本研究の核心的な問いは、「線形表現仮説の下、 $d$ 個のニューロンが $m$ 個の特徴量を『線形に表現し、かつ線形にアクセス可能』に格納するために、必要なニューロン数 $d$ は特徴量数 $m$ とスパース性 $k$ （入力ごとに活性化される特徴の最大数）に対してどの程度のオーダーで増加するか？」という点です。

2. 数学的枠組み

著者らは LRH を数学的に厳密に定式化し、以下の 2 つの条件を明確に区別しました。

線形表現: 入力テキスト $\ell$ の活性化 $f(\ell) \in \mathbb{R}^d$ が、特徴ベクトル $z(\ell) \in \mathbb{R}^m$ と表現行列 $A \in \mathbb{R}^{d \times m}$ を用いて $f(\ell) = Az(\ell)$ と表せること。
線形アクセス可能性: 特徴 $z_i$ を、線形プロブ $g_i(x) = \langle b_i, x \rangle$ （ $b_i \in \mathbb{R}^d$ ）を用いて、誤差 $\epsilon$ 以内で復元できること。つまり、 $\langle b_i, f(\ell) \rangle \approx z_i(\ell)$ が成り立つこと。

ここで、 $z(\ell)$ は $k$ -スパース（非ゼロ要素が $k$ 以下）であると仮定します。
本研究は、以下の 2 つのシナリオにおける $d$ の必要十分条件を比較します。

Q1 (一般アクセス): 復元関数 $g$ が非線形でもよい場合（従来の圧縮センシングの枠組み）。
Q2 (線形アクセス): 復元関数 $g$ が線形プロブでなければならない場合（本研究の焦点）。

3. 主要な理論的結果

3.1 古典的圧縮センシングとの対比 (Q1)

従来の圧縮センシング理論（Candes & Tao, 2006 など）によれば、非線形な復元アルゴリズム（例： $\ell_1$ -最小化）を用いる場合、 $k$ -スパースな $m$ 個の特徴を $d$ 次元で表現・復元するために必要な次元は以下の通りです。
$d = O\left(k \log \frac{m}{k}\right)$
これは、 $d$ が $k$ に対して線形であることを示しています。

3.2 線形圧縮センシングの限界 (Q2: 本研究の主要成果)

復元が線形プロブに制限される場合、問題は「線形圧縮センシング」と呼ばれる新たな領域に入ります。著者らは、この設定におけるほぼ一致する上界と下界を証明しました。

上界 (Theorem 2):
線形アクセス可能性を満たすために、以下の次元 $d$ で十分であることが示されました。
$d = O_\epsilon(k^2 \log m)$
これは、ニューロン数に対して指数関数的な数の特徴量を格納できることを意味し、「超位置仮説」を理論的に裏付けるものです。
下界 (Theorem 3):
線形アクセス可能性を達成するためには、少なくとも以下の次元が必要であることが示されました。
$d = \Omega_\epsilon\left( \frac{k^2}{\log k} \log \frac{m}{k} \right)$

3.3 結果の解釈

線形アクセスの制約: 古典的な圧縮センシング（ $d \sim O(k)$ ）と比較して、線形アクセスが要求される場合、必要な次元 $d$ は $k^2$ のオーダーに増加します。これは、線形アクセス可能性が単なる線形表現よりもはるかに強い制約であることを示しています。
超位置の可能性: それでもなお、 $d$ は $m$ に対して対数的（ $\log m$ ）であるため、 $d$ 個のニューロンで $m$ ( $m \gg d$ ) 個の特徴量を格納することは依然として可能です。

4. 証明手法と技術的洞察

4.1 上界の証明

標準的な「非干渉（incoherent）」行列の構成を用いています。具体的には、列ベクトルが互いにほぼ直交する（内積が $O(\epsilon/k)$ 以下）ランダム行列（例えば、スケーリングされたガウス行列やラデマッヘル行列）を $A$ として選びます。 $k$ -スパース性を活用することで、他の特徴による干渉（ノイズ）が累積しても誤差 $\epsilon$ 以内に収まることを示しています。

4.2 下界の証明

下界の証明は、以下の 3 つのステップで構成されます。

ランクの制約: 行列 $B^T A$ のランクは $d$ 以下です。Alon (2003) の結果を用い、対角成分が 1 で非対角成分が小さい行列は、ランクが十分に大きくなければ成立しないことを示します。
部分行列への適用: 単一の行列全体ではなく、 $B^T A$ の任意の大きな部分行列（principal submatrix）に対しても同様の制約が成り立つことを示します。
グラフ理論と Turán の定理: 特徴間の「干渉」をエッジとするグラフ $G$ を定義します。任意の $r$ 個の頂点の集合に必ず干渉ペア（エッジ）が存在するという性質から、 $G$ には $r$ -クリークが存在しないことが導かれます。Turán の定理を用いて、この条件を満たすグラフのエッジ数の下限を求め、それが $d$ の下限に帰着されることを示しました。

5. 追加的な知見と一般化

特徴ベクトルの幾何学 (Proposition 9 & 11):
- 線形表現仮説の下でも、特徴の「表現ベクトル（ $a_i$ ）」と「プローブベクトル（ $b_i$ ）」は必ずしも一致せず、互いに直交していることさえあり得ます。
- また、異なる特徴の表現ベクトル同士が強く相関している場合でも、線形アクセスは可能です。
- しかし、表現ベクトルとプローブベクトルのノルムを 1 に制限すれば、表現とプローブの方向は一致し、異なる特徴は直交する方向を持つという「直感的な」幾何学構造が復元されます。
活性化関数とバイアス (Theorem 12 & Corollary 13):
- 線形プロブに ReLU などの単調増加な活性化関数やバイアスを追加しても、特徴量の格納容量（ $d$ のオーダー）は asymptotically（漸近的に）変化しないことが示されました。

6. 意義と結論

本研究は、言語モデルの線形表現仮説に対する数学的基盤を確立した重要な論文です。

概念の明確化: 「線形表現」と「線形アクセス可能性」を厳密に区別し、両者が異なる数学的制約を持つことを示しました。
理論的裏付け: 線形アクセス可能性という制約下でも、ニューロン数に対して指数関数的な特徴量（超位置）を格納できることを証明し、LRH が言語モデルの複雑な振る舞いを説明する有力な理論的基盤となり得ることを示しました。
定量的なギャップ: 非線形復元と線形復元の間には、必要な次元数において $k$ に対して $O(k)$ から $O(k^2)$ へと変化する定量的なギャップが存在することを明らかにしました。

将来的には、複数の層がどのように線形表現を連鎖的に利用するか、あるいはより高度なデコーダ（多層ニューラルネットなど）を用いた場合の容量限界など、さらなる研究が期待されます。