🧬 biology

Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

この論文は、生物学的な数量システムに見られる「スカラー変動性（大きさに比例するノイズ）」が、分布学習のみで訓練されたトランスフォーマー言語モデルには見られず、むしろ数値の大きさに伴って表現のばらつきが減少する逆の傾向を示すことを明らかにしたものである。

原著者： Jon-Paul Cacioli

公開日 2026-04-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jon-Paul Cacioli

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

この論文は、**「AI（大規模言語モデル）が数字の『大きさ』をどう感じているか」**という面白い実験結果を報告したものです。

結論から言うと、**「人間の脳は数字が大きくなると『ぼやけ』が増えるが、AI は逆に『くっきり』する」**という、真逆の現象が見つかりました。

わかりやすく、3 つのポイントと身近な例え話で解説しますね。

1. 人間の脳は「音痴」になる（スカラー変動性）

まず、人間の脳や生物の感覚システムには面白いルールがあります。
それは、**「数字が大きくなるほど、感覚が『ぼやけ』る」**というものです。

例え話：
- 1 円玉と 2 円玉の違いは、すぐにわかります（差は 1 円）。
- しかし、1 万円と 2 万円の違いも、1 円と 2 円の「差」は同じ 1 万円ですが、感覚的には 1 円と 2 円の差ほど鮮明には感じられません。
- さらに1 億と 2 億になると、その差は巨大ですが、脳の中では「1 億」と「2 億」の区別が、1 円と 2 円の区別よりも「ぼんやり」してきます。

これを専門用語で**「スカラー変動性（Scalar Variability）」**と呼びます。
**「数字が 10 倍になれば、誤差（ぼやけ）も 10 倍になる」**という法則です。だから、どんな数字でも「相対的な誤差の割合」は一定に保たれます。これは、生物がエネルギー効率よく情報を処理するために進化した仕組みだと言われています。

2. AI は「完璧なカメラ」になる（逆の現象）

研究者は、「じゃあ、最新の AI（Llama や Mistral などの大規模言語モデル）も、この『ぼやけ』のルールに従っているのかな？」と疑問に思い、実験しました。

実験の内容：
AI に「1」「10」「100」「1000」などの数字を、さまざまな文脈（例：「1 個のリンゴ」「100 人の人」など）で読ませ、AI の頭の中（内部のデータ）がどう変化するかを調べました。
驚きの結果：
AI は、人間の脳とは真逆の反応をしました。
- 小さな数字（1, 2, 3...）：AI の頭の中では、文脈によって**「ぐちゃぐちゃ」**にバラバラに広がっていました。
- 大きな数字（100, 1000, 10000...）：AI の頭の中では、**「ピシッと決まって、くっきり」**していました。

例え話：

小さな数字は、日常会話で「1 回」「2 回」「3 回」など、あらゆる場面で使われるため、AI は「これ、どういう意味かな？」と迷って、頭の中の位置がバラバラになります。
大きな数字（例えば「1 兆円」や「100 万光年」）は、使われる場面が限定的（ニュースや専門書など）なので、AI は**「あ、これはこの意味だ！」と即座に決め打ち**し、頭の中の位置が同じ場所に集まります。

つまり、**「AI は、よく使われる数字ほど『ぼやけ』、あまり使わない大きな数字ほど『くっきり』と捉える」**のです。

3. なぜこうなるのか？（エネルギーの制約がないから）

この違いは、**「エネルギーの制約」**の有無が原因だと考えられています。

生物（人間）：
脳はエネルギーが限られています。だから、大きな数字を処理する際も、小さな数字と同じように「ぼやけ」を許容して、効率的に情報を圧縮しています。これが「スカラー変動性」を生みます。
AI（機械）：
AI には「脳のエネルギー制限」がありません。計算リソースは無限に近いので、「よく使われる（頻度の高い）言葉」は、文脈が多様すぎて整理しきれずバラバラになり、「あまり使わない（頻度の低い）言葉」は、文脈が限定的なので整理されてくっきりするという、統計的な結果だけが出ているのです。

まとめ

この論文は、**「AI は人間の『感覚の仕組み』を真似ているようで、実は全く違う」**ことを示しました。

人間の脳： 数字が大きくなると「ぼやける」（一定の誤差率）。
AI： 数字が大きくなると「くっきりする」（逆の現象）。

AI は「数字の大きさの感じ方（幾何学的な形）」は人間と似ていますが、「ノイズ（ぼやけ）の出し方」は人間とは正反対です。これは、AI が単に「言葉の統計」を学んでいるだけで、生物のような「エネルギー制約のある生きた感覚」を持っていないことを意味しています。

一言で言うと：

「AI は、よく使われる小さな数字に『混乱』し、あまり使わない大きな数字に『冷静』になる。人間とは真逆の『数字の感じ方』をしているのだ」

という発見です。

論文サマリー：「同じ幾何学、逆のノイズ：トランスフォーマーの大きさ表現はスカラー変動性を欠く」

著者: Jon-Paul Cacioli (独立研究者、オーストラリア・メルボルン)
対象モデル: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, Llama-3-8B-Base (70 億〜80 億パラメータ)

1. 研究の背景と問題提起

生物学的な「大きさシステム（magnitude systems）」には、2 つの決定的な特性があることが知られています。

幾何学的特性: 内部表現の距離は刺激の大きさの対数関数に従い（対数圧縮）、ウェーバーの法則（Weber's Law）に従います。
スカラー変動性（Scalar Variability）: 表現ノイズが大きさに比例して増大し、変動係数（CV: Coefficient of Variation）が一定になります。

効率的符号化（Efficient Coding）の枠組みでは、これら 2 つは「入力分布の統計（べき乗則）」と「代謝的制約（固定されたノイズ予算）」の相互作用によって生じると考えられています。

本研究の問い：
トランスフォーマー型言語モデル（LLM）は、訓練データの整数のべき乗則分布により対数圧縮幾何学を学習することは示されていますが（Cacioli, 2026）、代謝的制約を持たないため、生物学的な「スカラー変動性（CV 一定）」を示すのでしょうか？それとも、ノイズ構造が異なるのでしょうか？

2. 研究方法

データと対象

モデル: 3 つの 70 億〜80 億パラメータモデル（Llama-3-8B-Instruct, Mistral-7B, Llama-3-8B-Base）。
刺激: 26 種類の数値（1, 2, ..., 1000 まで）。
文脈: 各数値を 5 つの異なる「キャリア文（carrier sentences）」に埋め込み、隠れ状態（hidden-state）を抽出。
抽出位置: 各レイヤーの magnitude トoken 位置（RMSNorm 前）。

指標と分析

主要指標: 各数値と各レイヤーにおいて、5 つの文ベクトルの重心からの平均ユークリッド距離（ $V$ ）を計算し、表現のばらつき（variability）を測定。
制御変数:
- 文の同一性補正: 文固有のシフトを除去した残差（ $V_{residual}$ ）。
- 大きさ軸への投影: 26 個の重心の第 1 主成分（PC1） onto 投影した分散（ $V_{proj}$ ）。
スケーリング指数（ $\alpha$ ）の推定: $\log(V)$ $lo g (V)$ を $\log(n)$ $lo g (n)$ （数値の大きさ）に対して回帰し、スケーリング指数 $\alpha$ $α$ を推定。
- 仮説 H1: $\alpha > 0$ （生物学的なスカラー変動性）。
- 仮説 H2: $\alpha \approx 1$ （CV 一定）。
- 仮説 H3: $\alpha < 1$ （代謝制約の欠如による）。
事前登録: OSF で事前登録済み（https://osf.io/w4892）。

3. 主要な結果

3.1 確認的仮説の検証

スカラー変動性の否定（H1, H2 不採用）: 予想に反し、すべてのモデル、すべての主要レイヤー（16〜31 レイヤー）、すべての指標において、 $\alpha$ は負の値となりました。
- 数値が大きくなるにつれて、表現のばらつきは減少しました。
- 平均 $\alpha$ は約 -0.03〜-0.05（生データ）、対数空間でのスカラー予測（ $\alpha=1$ ）とは全く異なる結果でした。
層深さの影響（H4 不採用）: レイヤーの深さと $\alpha$ の間に有意な相関は見られず、この「逆スカラー（anti-scalar）」パターンはモデルの深さ全体で安定していました。

3.2 探索的発見

語料頻度の強い予測力: 数値の表現ばらつきは、訓練データにおける語料頻度（log 変換）と強く正相関しました（ $\rho \approx 0.84$ $ρ \approx 0.84$ ）。
- 頻度の高い小さな数値は多様な文脈で出現し、表現の分散が大きい。
- 頻度の低い大きな数値は限定的・定型化的な文脈で出現し、表現の分散が小さい。
大きさ軸への集中: この逆スカラー効果は、行動的に重要な「大きさ軸（PC1）」上で、直交方向に比べて 3〜5 倍強く現れました。
インストラクションチューニングの影響: インストラクションチューニング済みモデル（Llama-Instruct）は、ベースモデル（Llama-Base）よりも $\alpha$ がより負の値を示し、大きな数値の表現がさらに圧縮されました。

4. 結論と学術的意義

主要な結論

幾何学とノイズの分離: トランスフォーマーは、分布統計（べき乗則）から対数圧縮幾何学を学習しますが、スカラー変動性（ノイズの比例増大）は学習しません。
代謝制約の重要性: 生物学的なスカラー変動性は、単なる分布統計だけでなく、「代謝的制約（固定されたノイズ予算）」と効率的符号化の相互作用によって生じる可能性があります。トランスフォーマーはこの制約を持たないため、大きな数値（稀な文脈）に対してノイズを最小化し、表現をより鋭く（分散を小さく）します。
分布学習の限界: 分布学習だけでは生物学的なノイズ構造を再現できず、スカラー変動性を生み出すには何らかの容量制約や代謝的制約が必要であることが示唆されました。

技術的・学術的意義

LLM の認知特性の解明: LLM が数値を「生物学的な感覚器」とは異なるメカニズムで処理していることを定量的に示しました。
効率的符号化理論の精緻化: 幾何学的特性とノイズ特性が独立して決定される可能性を提示し、生物学的システムと人工システムの違いを明確にしました。
今後の研究への示唆: 生物学的なノイズ特性を再現させるには、単なるデータ分布の学習だけでなく、モデルに何らかの「制約（ノイズ予算やエネルギー制約）」を課す必要があるかもしれません。

この研究は、大規模言語モデルが生物学的な知覚システムをどの程度模倣できているか、そしてその限界がどこにあるかを示す重要な証拠となっています。