Language Models Learn Universal Representations of Numbers and Here's Why You Should Care

論文概要

本論文は、大規模言語モデル（LLM）が数値情報をどのように内部表現しているかについて、従来の知見を大幅に拡張した研究です。著者らは、異なるモデルファミリーやサイズ、レイヤーにわたって、数値表現が**「ほぼ完全に普遍的な正弦波（サイン波）構造」**に収束していることを実証しました。また、この特性を考慮した新しいプローブ（探針）を開発し、従来の汎用的な解釈ツールが数値処理の精度を過小評価していることを示し、正弦波構造の精度がモデルの計算精度に直結することをメカニズム的に証明しました。

1. 解決すべき課題 (Problem)

• 数値表現のメカニズムの不明確さ: 以前の研究（Nanda et al., 2023 など）で、LLM が数値を三角関数的（正弦波的）に表現している可能性が示唆されていましたが、その普遍性や自然言語コンテキストにおける一般化性は十分に検証されていませんでした。
• 既存ツールの限界: 従来の解釈ツール（TunedLens や線形プローブなど）は、数値の特殊性（周期性）を考慮していないため、数値表現の正確な解読や、多トークン数値の処理メカニズムの解明において不十分である、あるいは誤った結論を導く可能性があります。
• 自然言語コンテキストの欠如: 既存研究の多くは合成された数学タスクに依存しており、実世界の自然言語における数値処理のロバスト性や一般化性が評価されていませんでした。

2. 手法 (Methodology)

著者らは、以下の主要な手法を用いて分析を行いました。

• 表現類似性分析 (RSA) とフーリエ分解:
  • 8 つの異なるモデルファミリー（OLMo, Llama, Phi など）の入力埋め込みに対して RSA を実施し、数値トークンがランダムなトークンよりも高い類似性を示すことを確認しました。
  • PCA とフーリエ変換を組み合わせ、主要な周波数成分を分析。異なるモデル間で、数値表現の主要な周波数ランクが完全に一致すること（IoU = 1.0）を定量化しました。
• 新しい正弦波プローブの設計 (param-sin):
  • 既存の正弦波プローブ（Kadlčík et al., 2025）を改良し、各潜在特徴に対して単一の正弦波を割り当て、その周波数、位相シフト、振幅を直接最適化する新しいプローブ f_param-sin を提案しました。
  • 式 (2) に示されるように、学習可能なパラメータベクトルを用いて正弦波を厳密に制約する構造を採用しています。
• 実験設定:
  • コンテキスト: 合成数学タスクだけでなく、時系列、医療、料理など多様な自然言語コンテキストから抽出された数値データを使用。
  • 評価: 6 つの異なるモデル（1B〜15B パラメータ）の各レイヤーにおける内部アクティベーションから数値を復元する精度を測定。
  • 介入実験: 誤った予測を行った場合、アクティベーションを「期待される正弦波パターン」に誘導（Steering）することで、誤りを修正できるか検証しました。

3. 主要な貢献 (Key Contributions)

1. 普遍性の定量化: 異なるモデルファミリーやサイズ、レイヤーにわたって、数値表現が「ほぼ完全に普遍的な正弦波構造」であることを初めて定量的に証明しました。
2. 自然言語コンテキストでの検証: 実世界の自然言語データを用いて数値プローブを訓練・評価し、合成データのみで得られた知見が実用性に欠ける場合があることを示しました。
3. 高精度プローブの開発: 数値の正弦波特性を明示的にモデル化した新しいプローブ (param-sin) を開発し、既存の線形プローブや TunedLens よりも遥かに高い精度で数値を復元できることを示しました。
4. メカニズム的証拠: 正弦波表現の精度がモデルの算術タスク（加減乗除）の出力精度を決定づけることを示し、表現の正弦波性を強化することで誤りを削減できることを実証しました。

4. 結果 (Results)

• 普遍性と交換可能性:
  • 異なるモデル間、異なるレイヤー間で、数値表現の正弦波構造は驚くほど一貫しており、あるレイヤーで訓練したプローブを他のレイヤーやモデルに適用しても高い精度（多くの場合 90% 以上）を維持しました。
  • ただし、最初のレイヤーと最後のレイヤーでは情報が散らばっており、精度が低下する傾向が見られました。
• コンテキストの影響:
  • 自然言語コンテキストで訓練されたプローブは、数学的コンテキストでも自然言語コンテキストでも高い一般化性能を示しました。一方、合成数学データのみで訓練されたプローブは、自然言語への一般化が困難でした。
• 多トークン数値の解読:
  • TunedLens は数値トークンの復元精度を過小評価し、直前のトークン以降の情報を失っていると誤って判断しました。
  • 対照的に、正弦波プローブは、3 トークン以内の数値において直前のトークン（offset -1）を 99% の精度で復元できることを示しました。
• 出力追跡と誤り修正:
  • 乗算や除算において、モデルが誤った予測を行う場合、その内部表現の正弦波パターンが崩れていることが確認されました。
  • 誤った予測のアクティベーションを正弦波パターンに「ステアリング（誘導）」することで、乗算で最大 30%、除算で最大 42% の誤りを修正することに成功しました。

5. 意義と結論 (Significance)

• 解釈可能性ツールの見直し: 数値や順序データ（曜日、月など）を扱う際、汎用的な解釈ツール（TunedLens など）は不適切であり、データの種類に特化したプローブ（この場合は正弦波プローブ）を使用する必要があることを示しました。
• モデルの信頼性向上: 数値表現の正弦波性が計算精度の基盤であることを理解することで、モデルの誤りを特定し、メカニズム的に修正（ステアリング）する新たなアプローチが可能になりました。
• 将来の展望: 本研究は、LLM の内部メカニズムを理解する上で「普遍性」と「データ特異性」の両方を考慮する重要性を強調しています。特に、順序データ（Ordinal Data）に対しても同様の正弦波構造が適用可能であることを示唆しており、将来的な数値推論の改善や、より堅牢な AI システムの構築に寄与します。

総括:
この論文は、LLM が数値を「正弦波」という数学的に統一的な方法で表現しているという驚くべき事実を明らかにし、その特性を最大限に活用するための新しい解析手法と介入手法を提供しました。これは、LLM の数学的推論能力の向上と、そのブラックボックス化された内部プロセスの解明において重要な転換点となります。