論文「LLMs Know More About Numbers than They Can Say」の技術的サマリー

この論文は、大規模言語モデル（LLM）が数値の大小比較、特に異なる表記法（例：科学記数法と通常の十進法）を混在させた比較において、内部表現には正しい知識を持っているにもかかわらず、言語出力としてそれを正しく表現できないという矛盾を検証した研究です。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定 (Problem)

近年の LLM は数学的推論や科学分野での応用が進んでいますが、単純な数値計算や同じ表記法内の比較（例：570 vs 580）は得意でも、異なる表記法の数値比較（例：$5.7 \times 10^2$ vs 580）では高いエラー率を示します。
この現象から、以下の根本的な疑問が提起されました。

• LLM は本当に数値の大きさ（マグニチュード）を理解しているのか？
• それとも、単に特定の表記法のテキスト操作に特化しており、数値そのものの「数感覚（Numeracy）」を欠いているのか？

既存のモデル（GPT-4.1 など）でも、この種のクロスノテーション比較タスクで 50〜70% 程度の精度しか出せないことが確認されました。

2. 手法 (Methodology)

著者らは、7B〜8B パラメータ規模のオープンソース LLM（Llama-2, Mistral, Qwen など）を対象に、モデルの**隠れ状態（Hidden States）**を直接探る「プロービング（Probing）」実験を行いました。

2.1 データセット

• 合成データ: 科学記数法と通常の十進法を混在させた数値ペア（例：$5.7 \times 10^2$ vs 560）からなるクロスノテーションデータセット。
• 実データ: arXiv の論文（peS2o データセット）から抽出した数値を含むテキスト。

2.2 実験アプローチ

1. 回帰プローブ（Magnitude Probing）:
   • 隠れ状態から線形回帰モデルを訓練し、数値の対数マグニチュード（$\log_2$ 値）を予測させる。
   • 目的：モデルが数値の「大きさ」を線形に符号化しているか確認する。
2. 分類プローブ（Comparison Probing）:
   • 隠れ状態からロジスティック回帰（二値分類）を訓練し、提示された 2 つの数値のどちらが大きいかを予測させる。
   • 目的：モデルが内部で数値の大小関係を比較しているか確認する。
3. ファインチューニングによる介入（Finetuning with Auxiliary Loss）:
   • 言語モデルの学習損失に加え、分類プローブの損失（補助目的関数）を同時に最小化するようにファインチューニングを行う。
   • 目的：内部表現を改善することが、言語出力の精度向上に因果的に寄与するか検証する。

3. 主要な結果 (Key Results)

3.1 内部表現の高精度な符号化

• マグニチュードの符号化: 特定の隠れ層（特に中間〜後半層）の隠れ状態から、線形回帰を用いて数値の対数マグニチュードを非常に高い精度で復元できました。
  • 合成データでは中央値の相対誤差が約 2.3%。
  • arXiv の実データでも約 19.06% の誤差で復元可能でした。
• 比較の符号化: 2 つの数値の大小関係を判定する線形分類器は、隠れ状態から 90% 以上 の精度で正解を予測できました。
  • 特に、回帰プローブではノイズが多すぎて比較できないほど近い数値（例：差が 2 倍未満）であっても、分類プローブは高い精度を維持しました。

3.2 言語出力との乖離（Verbalization Gap）

• 内部表現には極めて正確な情報が存在するにもかかわらず、モデルに「どちらが大きいか」と言語で答えさせる（Verbalization）と、精度は 50〜70% に留まりました（ランダム推測に近い）。
• 特に、Llama-2 や Mistral などのモデルは、数値の値を無視して、プロンプト内の例の答えの位置（2 番目など）に依存するバイアスを示しました。

3.3 内部表現と出力精度の相関と因果

• 相関: 初期層（最初の 3 層）におけるプローブの精度と、最終的な言語出力の精度の間には強い正の相関が見られました。
• 因果関係の検証: 分類プローブの損失をファインチューニングの目的関数に追加した結果、ベースモデルに比べて言語出力の精度がさらに 3.22% 向上しました。
  • 一部のモデル（Mistral や Qwen ベース）では、この手法により誤り率の 2/3 以上が修正され、99% 以上の精度を達成しました。
  • これは、「モデルは内部で数値を理解しているが、それを言語化するための表現が最適化されていない」ことを示唆し、内部表現を改善することが出力能力の向上に直結することを証明しました。

4. 主要な貢献 (Key Contributions)

1. 数値知識の「隠れた」存在の証明: LLM はクロスノテーションの数値比較において、言語出力では失敗するものの、隠れ状態には線形に符号化された正確な数値マグニチュードと大小関係の知識を持っていることを実証しました。
2. 表現と出力のギャップの解明: 数値推論能力の欠如ではなく、「内部表現から言語生成へのマッピング」の失敗が問題の核心であることを示しました。
3. 改善手法の提案: 補助的なプロービング損失を用いたファインチューニングが、LLM の数値推論能力（特に言語化能力）を向上させる有効な手段であることを示しました。

5. 意義と限界 (Significance & Limitations)

意義

• LLM の能力評価の再考: 単なるブラックボックスとしての出力精度だけでなく、内部表現を分析することで、モデルが本当に「理解」しているかどうかを評価する新しい視点を提供しました。
• 数値推論の向上: 科学、金融、工学など数値処理が重要な分野において、LLM の信頼性を高めるための具体的なファインチューニング戦略（内部表現の最適化）を提示しました。
• 「知っていて言えない」現象の解明: 言語モデルが持つ潜在的な能力を解放する可能性を示唆しています。

限界

• モデルサイズ: 実験は 7B〜8B のオープンウェイトモデルに限定されており、GPT-4.1 などの巨大モデルの内部構造は直接プローブできませんでした。
• データセット: 主要な発見は制御された合成データに基づいており、複雑な文脈（単位の違いなど）を含む実世界の科学テキストへの一般化は今後の課題です。
• プローブの線形性: 単一の線形プローブでは arXiv のような複雑なデータでは精度が落ちる可能性があり、非線形な構造やより高度な解析が必要かもしれません。

結論

この論文は、**「LLM は数値について、私たちが聞ける以上に多くのことを知っている」**という驚くべき事実を明らかにしました。モデルは数値の大きさを内部で正確に計算・比較できる能力を持っており、それを言語出力として引き出すためには、言語生成タスク自体だけでなく、内部の数値表現を最適化するファインチューニングが有効であることが示されました。