Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models

1. 研究背景と問題設定

背景:
近年、トランスフォーマー型言語モデルが数値や時間、空間の大きさをどのように表現しているかに関する研究が増加していますが、その結論は矛盾しています。

• 対立する見解: 一部の研究は隠れ層の表現が「対数的（logarithmic）」に配置されていると報告し（AlQuabeh et al., 2025）、他の研究は「線形的（linear）」な符号化を示唆し（Zhu et al., 2025）、また別の研究は「桁ごとの円環表現」や「フーリエ分解」を指摘しています。

問題点:
これらの矛盾は、単に表現が「対数か線形か」という問いに対する答えの違いではなく、方法論的な窓（測定手法）の違いに起因している可能性があります。しかし、表現の機能的な形式と、それが行動（比較タスク）にどう結びつくかを統一的に説明する原理的な枠組みが欠けていました。

研究の目的:
心理物理学の手法（特にウェーバーの法則）を適用し、LLM の内部表現構造と行動能力の関係を解明すること。具体的には、「データ統計のみが対数的な表現幾何学を生み出すのに十分か」「その幾何学が行動能力を保証するか」という問いに答えることを目指しました。

---

2. 手法と実験デザイン

本研究は、事前登録（Open Science Framework）に基づき、以下の要素で構成されています。

対象モデル:

• 主要モデル: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3（両方とも 32 レイヤー、d_model=4096）。
• 探索的モデル: Qwen-2.5-7B-Instruct（異なるアーキテクチャファミリー、28 レイヤー）。
• 比較対象: Llama-3-8B（Base 版、インストラクションチューニング前）。

マグニチュード領域:

1. 数値: 1〜1000 の範囲（3 桁のオーダー）。
2. 時間: 1 秒〜1 年（自然な単位混合）。
3. 空間: 1 メートル〜1000 キロメートル（自然な単位混合）。

4 つの収束するパラダイム（Psychophysical Toolkit）:

1. A: 表現幾何学の探査 (Representational Geometry Probing)

   • 手法: 表現類似性分析（RSA）とマンテル検定（Mantel test）。
   • 目的: 隠れ状態間の距離行列（RDM）が、線形、ウェーバー（対数）、またはステブンス（冪乗）のどの理論モデルと相関するかを評価。
   • 指標: コサイン距離とユークリッド距離の両方を使用。

2. B: 行動的弁別タスク (Behavioural Discrimination)

   • 手法: 強制選択タスク（「どちらが大きい？」）。
   • 目的: モデルがウェーバーの法則（比率に依存した弁別閾値）に従うか確認。
   • 指標: 正解率、ウェーバー分数（WF）、心理測定関数。

3. C: 精度勾配 (Precision Gradients)

   • 手法: 隣接するマグニチュード間の表現距離の局所密度を測定。
   • 目的: 効率的符号化（Efficient Coding）の予測（小さい値ほど表現精度が高い）を検証。

4. D: 因果介入 (Causal Intervention)

   • 手法: 活性化パッチング（Activation Patching）。
   • 目的: 特定のレイヤーでマグニチュード方向への介入を行い、比較タスクの確率変化（$\Delta p$）を観測。表現構造が機能的に有用か（因果的か）を判定。

コーパス分析:

• 学習データ（OpenWebText）における整数の出現頻度を分析し、効率的符号化の前提条件（$1/s$ のパワール分布）が満たされているか確認。

---

3. 主要な発見と結果

3.1. 表現幾何学の一貫した対数圧縮性（H1: サポート）

• 結果: 3 つのモデル、3 つの領域、16 個の主要レイヤーすべてにおいて、表現距離構造は**一貫して対数的（log-compressive）**でした。
• 統計: ウェーバーモデル（対数）と RSA の相関は 0.68〜0.96（全 96 セル）。線形モデルは一度も最良モデルにならず、コサイン距離とユークリッド距離の両方で一致しました。
• ステブンス指数 ($\beta$): 数値表現において $\beta \approx 0.01$ に収束し、生物学的な感覚（$\beta \approx 0.33 \sim 3.5$）よりもはるかに強い圧縮を示しました。
• 結論: 学習データの統計（整数頻度がパワール分布に従うこと）のみが、生物学的制約（代謝コストなど）なしに対数的な幾何学を生み出すのに十分であることが示唆されました。

3.2. 幾何学と行動能力の解離（H2: モデル依存）

• 数値領域: Llama は人間に近いウェーバー分数（WF = 0.20）を示し、比率依存の弁別を行いました。一方、Mistral は絶対差に依存し、WF は 0.53 と人間範囲外でした。
• 時間・空間領域: 両モデルとも、これらの領域でも対数的な幾何学を持っていたにもかかわらず、弁別タスクでは偶然レベル（Chance）の性能しか示しませんでした。
• 原因: 時間・空間の刺激は「単位混合（例：5 分 vs 2 時間）」であり、モデルの幾何学は単位変換を抽象化できていない（形式依存）ことが判明しました。
• 結論: 対数的な表現構造が存在しても、それが行動能力（比較タスクの成功）を保証するわけではありません。

3.3. 因果的レイヤーの逆転（E5: 重要な発見）

• 発見: 表現幾何学が最も明確（RSA 相関が最大）な後期レイヤーでは、活性化パッチングによる因果介入効果がほとんど見られませんでした。
• 対照: 逆に、幾何学が比較的弱い初期レイヤー（例：レイヤー 5）では、マグニチュード方向への介入が比較タスクの確率に明確な因果的変化（特異性比 4.07 倍）をもたらしました。
• 意味: 最も構造化された表現層は、比較計算の「実行部位」ではなく、むしろ後続のトークン予測のための「構造化された要約」として機能している可能性があります。

3.4. 事前学習とインストラクションチューニングの役割

• Base モデル vs Instruct モデル: Base モデル（Llama-3-8B）も同様に強力な対数的幾何学を持っていましたが、比較タスクは 50%（偶然）でした。
• 結論: 表現構造（幾何学）は事前学習で確立され、行動能力（読み出しメカニズム）はインストラクションチューニングによって獲得されます。

3.5. 効率的符号化の前提条件の確認

• 学習データ内の整数頻度は、パワール指数 $\alpha = 0.773$ の分布に従っており、効率的符号化理論が予測する $1/s$ の事前分布に近いことが確認されました。

---

4. 主要な貢献

1. 心理物理学に基づく解釈フレームワークの確立:
   LLM の連続表現を分析するために、ウェーバー分数、ステブンス指数、RSA、因果介入など、心理物理学の完全なツールキットを初めて体系的に適用しました。
2. 矛盾する知見の解決:
   「対数か線形か」という議論を解消しました。表現の大域的な幾何学は対数的（AlQuabeh et al. の正解）であり、局所的な線形プローブが成功するのは、その対数圧縮が滑らかで単調であるため（Zhu et al. の正解）であることを示しました。
3. 3 つの重要な解離（Dissociations）の提示:
   • 幾何学と行動の解離: 対数的構造があっても、行動能力がない場合がある（時間・空間領域）。
   • モデル依存の読み出し: 同じ幾何学を持っていても、モデルによって行動能力が異なる（Llama は可能、Mistral は不可）。
   • 因果的レイヤーの逆転: 幾何学が最も明確な層は機能的に inactive であり、機能は初期層にある。

---

5. 意義と結論

本研究は、LLM が自然言語データから学習する際、入力データの統計的性質（パワール分布）のみが、生物学的制約なしに対数的なマグニチュード幾何学を生み出すのに十分であるという仮説を支持しています。

しかし、重要な示唆は**「表現構造の存在が、その構造の機能的利用を保証しない」**という点です。

• 対数的な幾何学は、事前学習によって自動的に獲得される「受動的な構造」です。
• それを「比較」というタスクに利用する能力は、インストラクションチューニングによって構築される「能動的な読み出しメカニズム」に依存します。

この研究は、機械学習の解釈可能性（Interpretability）分野において、単に「何の表現があるか（構造）」を調べるだけでなく、「それがどのように使われているか（機能・因果）」を心理物理学的アプローチと因果介入で検証する重要性を浮き彫りにしました。また、生物学的なウェーバーの法則が、単なる統計的効率だけでなく、生物学的な資源制約と相互作用して形成されている可能性についても示唆を与えています。