技術要約：加算の形状：大規模言語モデルにおける算術の幾何学的構造

1. 問題提起

大規模言語モデル（LLM）は、複雑な数学的推論ベンチマーク（GSM8K、MATHなど）で高い性能を達成しているにもかかわらず、基本的なアルゴリズムのプリミティブ、特に多桁の算術において驚くべき脆弱性を示します。ここには中心的なパラドックスが存在します。すなわち、モデルは内部的に正しい情報をエンコードしているにもかかわらず、それを出力することに失敗し、オペランドが増えるにつれて「1の差（off-by-one）」のエラーを頻発するという現象です。先行研究では、記号的操作や幾何学的表現を用いてこれらの挙動をモデル化しようと試みてきましたが、内部の活性化幾何学と特定の出力失敗（繰り上がり伝播エラーなど）を繋ぐ正確なメカニズムは依然として解明されていません。さらに、軽量なプローブを用いることで、失敗しているモデルから正解（ground truth）をデコードすることは可能ですが、単一の活性化ベクトルの中に正解とハルシネーションが共存することを可能にしている幾何学的構造については、十分に明らかにされていません。

2. 手法

著者らは、10桁の3項加算を行うLLMの微細な内部表現を調査しています。本研究では、次元削減、プロービング、および因果的介入を組み合わせた多角的なアプローチを採用しています。

• データセットと設定: Qwen3-4Bモデルを用い、10,000個の加算問題からなるデータセットを構築しました。各生成桁の位置（$p$）における最終層の隠れ状態ベクトル（$h_p^{(L)}$）を抽出し、主に代表的な中間位置（$p=4$）に焦点を当てました。
• 幾何学的可視化: 高次元の活性化空間を、コサイン距離を用いたUMAP（Uniform Manifold Approximation and Projection）によって2Dに投影しました。セマンティックな参照を提供するために、数字トークン（0–9）の固定された「アンカー（Anchor）」ベクトルを含めています。
• プロービング・フレームワーク: 残差ストリームの活性化に対して軽量なプローブ（ロジスティック回帰、MLP）を訓練し、正解の数字、モデルの出力、入力による繰り上がり（Input Carry）、生の和（Raw Sum）、および新たに定義された連続変数である「繰り上がりポテンシャル（Carry Potential）」を含む、様々な離散的および連続的な変数をデコードします。
• 因果的ステアリング: 幾何学的仮説を検証するため、特定された軌跡上の安定した重心間のステアリング・ベクトルを定義し、活性化に介入して生成されるトークンの変化を観察します。
• 推論時補正: ローカルな信号（Raw Sum）とグローバルな信号（Carry Potential）の間の論理的一致を強制することで、エラーを検出し補正するデュアルストリーム一貫性チェック手法を提案します。

3. 主な知見と貢献

A. 等・生・和の軌跡（Iso-Raw-Sum Trajectory: IRST）

主要な幾何学的発見は、**等・生・和の軌跡（IRST）**です。著者らは、算術表現が以下の階層構造で構成されていることを特定しました。

• マクロ的なバックボーン: 表象は、セマンティック・アンカー（0–9）を中心とした10個の明確な「数字の盆地（digit basins）」にクラスター化されています。
• ミクロ的なテクスチャ: 各盆地内では、入力による繰り上がり状態（$c_p \in \{0, 1, 2\}$）によって決定される平行なファイバー（繊維）へと層状に分かれています。
• 軌跡の定義: IRST（$T_r$）は、同じ生の和（$r_p$）を共有するすべての内部状態を接続する連続的な多様体です。これらの軌跡は、隣接する数字の盆地を貫く連続的な「糸」として機能します。例えば、$r_p=1$ の軌跡は、入力による繰り上がりが増加するにつれて、出力数字1、2、3に対応する安定したノードを接続します。

B. 算術エラーとしての幾何学的滑落（Geometric Slippages）

算術エラーは、ランダムなノイズではなく、**幾何学的滑落（Geometric Slippages）**として特徴付けられます。

• 正解の予測は、数字の盆地内の安定したノードの周囲に密集しています。
• エラーは、活性化ベクトルがIRSTに沿って、盆地やファイバーの間の遷移領域へとドリフト（漂流）したときに発生します。
• このドリフトは、「1の差」のエラーとして現れます。これは、モデルが隣接する繰り上がり状態（例：$c_p=0$ と $c_p=1$ の混同）を混同し、表象が隣接する数字の盆地へとスライドしてしまう現象です。

C. ノイジー・クオンタイゼーション・モデル

これらの軌跡の連続性を説明するために、著者らは**ノイジー・クオンタイゼーション・モデル（Noisy Quantization Model）**を提案しています。

• 連続的な繰り上がりポテンシャル（$\Phi$）: モデルは、コンテキストから導出される繰り上がり信号の推進力または勢いを示す、連続的な「繰り上がりポテンシャル」を内部的に推定しています。離散的な正解の繰り上がりは、このポテンシャルの整数床（integer floor）です（$c_p = \lfloor \Phi \rfloor$）。
• 量子化の失敗: モデルの内部推定は、ニューラルノイズ（$\epsilon$）によって汚染されます。エラーは、感知されたポテンシャル（$\hat{\Phi} = \Phi + \epsilon$）が整数の量子化閾値を越えたときに発生します。
• 浴槽型エラー分布: このメカニズムは、周期的な「浴槽型（bathtub）」エラー分布を予測します。つまり、エラー率は整数境界付近（メタ安定状態）で急増し、半整数値（堅牢なプラトー）では消失します。実験データはこのパターンを裏付けており、これによりモデルの内部的な認知ノイズレベル（$\sigma \approx 0.05$、3項加算の場合）の推定が可能になります。

D. プローブの汎用性の幾何学的起源

本論文は、なぜ軽量なプローブが単一のベクトルから多様な信号（正解、モデル出力、繰り上がり）を同時にデコードできるのかについて、幾何学的な説明を提供しています。この「プローブの汎用性」は、多様体の**位相的分離可能性（topological separability）**の直接的な関数です。Raw Sumの高い分離性と、IRSTファイバーの構造化された性質により、プローブは、最終的な出力が誤っている場合であっても、共存する潜在的な信号を分離することができます。

E. 推論時の自己補正

正しい潜在信号が保持されていることを検証するために、著者らはデュアルストリーム一貫性プロトコルを導入しています。

1. ローカルな計算ストリーム（Raw Sum）とグローバルなコンテキストストリーム（Carry Potential）をデコードする。
2. モデルの出力が、ポテンシャルの近傍から導かれる妥当な繰り上がりと一致しているかを確認する。
3. 不一致がある場合、状態を正しい多様体のファイバー上に投影するように、出力ロジットを上書きする。
   この手法は、トークンの精度を大幅に回復させ（例：Qwen3-4Bにおいてトークン精度を86.26%から89.56%へ向上）、モデルが正しい数学的構成要素を保持していること（離散的なトークン選択が失敗しても）を証明しています。

4. 結果

• 可視化: UMAP投影は、異なるモデル（Qwen3-4B, Qwen3-8B, Gemma-3-4B-IT）およびタスクの複雑さ（3項から5項の加算）にわたって一貫した、数字の盆地と層状の繰り上がりファイバーを持つ明確な階層構造を明らかにしています。
• エラーモデリング: ノイジー・クオンタイゼーション・モデルは、高い忠実度（$R^2 \approx 0.80$）で経験的なエラー分布に適合し、エラーの周期的な性質を正確に予測しています。
• 因果的検証: ステアリング実験は、IRST方向に表現を移動させることで、生成される数字が因果的に変化することを示しており、境界に隣接した状態は、安定した状態よりも反転に必要な摂動が小さいことが示されました。
• 補正の有効性: デュアルストリーム一致性チェックは、幾何学的滑落を効果的に補正し、補正されたエラーの大部分が「1の差」によるものであることが判明しました。アブレーション研究により、出力が誤っている場合でもローカルなRaw Sum信号は堅牢に保持されていることが確認され、ノイジーな繰り上がりポテンシャルが主要なボトルネックであることが特定されました。

5. 意義と主張

本論文は、算術を純粋な記号操作や離散的な状態遷移として見る視点を超え、LLMにおける算術失敗に対するメカニズム的な幾何学的説明を提供することを主張しています。

• 統一されたフレームワーク: 著者らは、エラーを多様体上の連続的なドリフトとして捉える単一の幾何学的フレームワークの下で、プローブの汎用性と算術の脆弱性という観察結果を統合しています。
• 潜在的信号の保持: LLMは、離散的な出力を生成できない場合でも、正しい連続的な内部表現（繰り上がりポテンシャル）を保持していることが多いことを示しており、これは算術におけるハルシネーションが知識の欠如ではなく、多くの場合、量子化の失敗であることを示唆しています。
• 普遍性: IRSTの幾何学とノイジー・クオンタイゼーションのダイナミクスは、異なるモデルアーキテクチャやスケールでも観察されており、最先端のLLMにおける算術表現の収束的なメカニズムを示唆しています。
• 実践的な介入: 本研究は、内部の一貫性に基づく推論時の介入が性能を回復させることを実証しており、連続的なニューラルな思考から離散的な記号的出力へのマッピングを安定させることで、LLMの信頼性を向上させる道筋を提示しています。

著者らは謙虚な姿勢を崩さず、現在の証拠は完全な回路レベルの局在化ではなく、可視化とプロービングを組み合わせたものであること、また、焦点は主に加算にあることを述べています。また、BPEベースのモデルにおいて多桁トークンが繰り上がり信号を絡み合わせている可能性があり、それが今後の研究のフロンティアであると示唆しています。