🤖 AI

Arithmetic in the Wild: Llama uses Base-10 Addition to Reason About Cyclic Concepts

本論文は、Llama-3.1-8B が周期に固有の剰余演算を実行するのではなく、フーリエ特徴量と共有 MLP ニューロンの疎な集合によって駆動されるタスク非依存の 10 進加算メカニズムを再利用して和を計算し、その後それらを周期的なドメインにマッピングすることによって周期的概念について推論することを明らかにしている。

原著者： Sheridan Feucht, Tal Haklay, Usha Bhalla, Daniel Wurgaft, Can Rager, Raphaël Sarfati, Jack Merullo, Thomas McGrath, Owen Lewis, Ekdeep Singh Lubana, Thomas Fel, Atticus Geiger

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sheridan Feucht, Tal Haklay, Usha Bhalla, Daniel Wurgaft, Can Rager, Raphaël Sarfati, Jack Merullo, Thomas McGrath, Owen Lewis, Ekdeep Singh Lubana, Thomas Fel, Atticus Geiger

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Arithmetic in the Wild」を平易な言葉と創造的な比喩を用いて解説したものです。

大きな問い：AI はどのように「時間」について「考える」のか？

あなたが賢い AI に「8 月から 6 ヶ月後は何月ですか？」と尋ねたと想像してください。
あなたは AI が、12 ヶ月の円を描いて指を 6 歩進めるような特別な「カレンダー脳」を持っていると期待するかもしれません。人間はしばしばこのように考えます。

しかし、研究者たちはLlama-3.1-8B（特定の AI モデル）はそうしないことを発見しました。代わりに、それは月や日、時間に関する質問であっても、10 進法（私たちが普段使う数値体系）を話す「万能計算機」を使用します。

比喩：万能翻訳者

AI を、数学は得意だが地理は苦手な翻訳者だと考えてみましょう。

入力（質問）：あなたは「8 月から 6 ヶ月後は何月ですか？」と尋ねます。
- AI の最初の動き：「8 月」が月であることを無視します。「8 月」を数字の8に、「6」を6に翻訳します。
計算（数学）：標準的な加算を実行します。6 + 8 = 14。
- これは剰余算（14 から 12 を引いて 2 になるような計算）ではありません。単に 14 という生の合計値を得ます。
出力（答え）：数字の14を取り、「月の言語」に翻訳し直します。14 は 12（年の終わり）を 2 つ超えているため、2 月と言います。

驚くべき点：AI は「6 + 8 = ?」を解く際と、「8 月から 6 ヶ月後」を解く際に、全く同じ数学ニューロンを使用します。それは「月計算機」を別に持っているのではなく、すべてに再利用する巨大な「数字計算機」を持っているだけです。

秘密のソース：「フーリエ」リズム

AI はこれらの数字をどのように追跡しているのでしょうか？論文は、それがフーリエ特徴と呼ばれるものを使用していることを明らかにしています。

比喩：ドラムサークル
AI の内部脳は、ドラムでいっぱいの部屋だと想像してください。

いくつかのドラムは2秒ごとに叩かれます。
いくつかは5秒ごとに叩かれます。
いくつかは10秒ごとに叩かれます。
いくつかは100秒ごとに叩かれます。

AI が数字を足すとき、単に「1、2、3」と数えるわけではありません。代わりに、これらのドラムのリズムを聴きます。

合計が14の場合、「10 秒ドラム」は 1 回、「2 秒ドラム」は 2 回叩かれています。
AI はこれらのリズムを組み合わせて、14 という数字に到達したことを知ります。

なぜこれが奇妙なのか？
AI が月（12 のサイクル）について考えているなら、「12 秒ドラム」を使うと期待されます。しかし、そうしません。それは10 秒ドラム（および 2、5、20、50、100）に固執します。AI は、最後の瞬間まで、月を円ではなく直線上の数字として扱います。

「マジック 28」ニューロン

研究者たちは AI のコード（具体的にはレイヤー 18）を深く掘り下げ、この数学を担当する小さな専門家のチームを発見しました。

チーム：そのレイヤーにある数千のニューロンの中で、わずか28 個のニューロン（小さな処理単位）しかいません。
仕事：この 28 個のニューロンは「加算クルー」です。彼らがドラムのリズムを聴き、数字を足し合わせています。
効率性：この小さなチーム（レイヤーの約 0.2%）が、時間、日、実際の数字について尋ねた場合でも、加算の重労働のほとんどを担っています。
特化：この 28 個のニューロンは、その「ドラムリズム」によってグループ化されています。いくつかは「周期 2」チーム（数字が偶数か奇数かを確認）、いくつかは「周期 5」チーム、いくつかは「周期 10」チームです。彼らはすべて協力して最終的な合計を構築します。

「エコー」効果

論文はまた、ある面白い癖に気づきました。AI が「8 月から 6 ヶ月後」（つまり 14）を計算する際、数字の大きさを誤解することがあります。

答えが14であることを知っています。
しかし、10 進法で考えることに慣れすぎているため、答えが114（14 + 100）かもしれないとも考えてしまいます。
時間は 2:00 だと知っている人が、一瞬だけ 102:00 かもしれないと考えているようなものです。AI は最終的に正しい方（2 月）を選びますが、より大きな数字の「エコー」が残ります。

発見のまとめ

特別な「カレンダー」脳はない：AI は次の月を見つけるために円を回転させません。すべてを数字に変換し、足し合わせ、変換し直します。
10 進法が王様：12 ヶ月や 7 日といったサイクルであっても、AI は数学を行うために 10 進法システム（2、5、10 などの周期）を使用します。
共有された機構：同じ 28 個の小さなニューロンがすべてのために数学を行います。それらは万能な加算エンジンです。
幾何学 vs 計算：AI が月を円（時計の文字盤のように）で表現しているからといって、円を使って計算しているわけではありません。それは直線上の数字を使って計算し、円を描くのは最後の瞬間だけです。

要約すると：AI は、時計のように見えるパズルを解くように頼まれたとしても、標準的な計算機をすべてに使用する天才的な会計士です。それは時計を「回転」させるのではなく、単に数学を行い、針がどこを指すべきかを教えてくれます。

技術的サマリー：野外における算術

問題定義

本論文は、大規模言語モデル（LLM）における表現幾何学のアルゴリズム的役割を調査し、特にモデルが循環概念（例：月、曜日、時間）をどのように推論するかことに焦点を当てている。先行研究では、LLM がこれらの概念を円形幾何学で表現すること（Engels et al., 2025）や、モジュロ算術で訓練された小型トランスフォーマーが周期的基底上で動作すること（Nanda et al., 2023）が確立されているが、重要な問いが残っている：入力表現の円形構造は、円形計算を意味するか？

著者らは、Llama-3.1-8B が「8 月から 6 ヶ月後は何月か？」のような質問への回答を、円形多様体上を回転させることで計算する可能性を仮説とした。しかし、モデルは概念の特定の周期内（例えば、月については 12 での剰余）で直接的なモジュロ算術を実行しないことが判明した。代わりに、モデルは結果を循環空間へ戻す前に、汎用的でタスク非依存の10 進加算メカニズムを利用する。

手法

本研究は、Llama-3.1-8B の内部メカニズムを解明するために、因果分析と幾何学的プロービングを組み合わせて用いた。

分散アライメント探索（DAS）による因果的抽象化:
- 著者らは DAS（Geiger et al., 2023）を用いて、因果変数（入力概念、オフセット、出力概念）を符号化する残差ストリーム内の低ランク部分空間を局所化した。
- これらの変数がいつ、どこで結合されるかを決定するために、**交換介入精度（IIA）**を測定した。これは、対照的なプロンプトからの隠れ状態を元のプロンプトにパッチ適用し、モデルの出力が予測可能に変化するかどうかを確認するものである。
- この分析により、計算が発生する特定の層とトークン位置を特定した。
クロスタスクパッチング:
- 共有メカニズムの仮説を検証するため、標準的な算術タスク（ $a+b=$ ）と循環タスク（例：月）の間で「パッチング」実験を行った。
- 共有 DAS 部分空間内で、加算プロンプトからの残差ストリームを循環プロンプトへ（その逆も同様）パッチ適用し、モデルがそれぞれ和または循環概念を出力するかどうかを観察した。
フーリエプロービングとステアリング:
- 著者らは、10 進数を表現することが知られている特定の周期 $T \in \{2, 5, 10, 20, 50, 100\}$ を持つフーリエ特徴（正弦波表現）を検出する線形プローブを訓練した（Kantamneni & Tegmark, 2025）。
- 標準的な加算で訓練されたこれらの特徴が、循環タスクにおいて存在し、因果的かどうかを検証した。
- これらのプローブを用いてモデルの内部状態をステアリングし、「モジュロ前の和」を対照的な値に強制することで、出力がそれに応じてシフトするかどうかを確認した。
ニューロン同定とアブレーション:
- 著者らは、DAS 出力部分空間へ書き込む Layer 18 のスパースな MLP ニューロン群を同定した。
- これらのニューロンの活性化パターンを分析し、その周期性に基づいてクラスターに分割した。
- 特定のニューロンをゼロ化するアブレーション研究を行い、モデルの性能に対するそれらの因果的寄与を定量化した。

主要な結果

1. 共有された 10 進加算メカニズム

円形計算の仮説とは対照的に、モデルは循環タスクを10 進加算メカニズムを用いて計算する。

2 段階プロセス: モデルはまず数値空間で入力の和を計算し（例： $6 + 8 = 14$ ）、その後、より深い層でこの和を循環概念空間へマッピングする（例： $14 \to \text{2 月}$ ）。
Layer 18 での局所化: 因果分析により、入力概念とオフセットは最後のトークン位置におけるLayer 18 の MLPで結合されることが明らかになった。重要なのは、出力概念の円形幾何学（例：「曜日の円」）は Layer 18 には存在せず、層 22〜25 でのみ現れる点である。
クロスタスクパッチング: 加算プロンプト（ $6+8=$ ）から循環プロンプトへのパッチングは、モデルに和に対応する循環概念（例：2 月）を出力させる。逆に、循環プロンプトから加算プロンプトへのパッチングは、モデルにモジュロ前の和（例：14）を出力させ、モデルがクリーンな実行で正しい循環回答を生成できなくても同様である。

2. フーリエ特徴とタスク非依存性

モデルは加算を行うためにタスク非依存のフーリエ特徴を使用する。

内部表現は、循環概念の特定の周期（例：月なら 12、曜日なら 7）ではなく、標準的な 10 進周期性（ $T \in \{2, 5, 10, 20, 50, 100\}$ ）に従う。
標準的な加算で訓練されたフーリエプローブは循環タスクを成功裏にステアリングし、同じ幾何学的特徴がドメインを超えて計算を駆動していることを確認した。

3. スパースなニューロン回路

著者らは、この加算を担う Layer 18 の28 個の MLP ニューロンというスパースなセットを同定した（層の MLP の約 0.2%）。

周期ごとにクラスター化: これらのニューロンは、互いに排他的なクラスターに分割可能であり、各クラスターは特定のフーリエ周期（例： $T=2$ のクラスター、 $T=5$ のクラスターなど）に対する和を計算する。
メカニズム: ニューロンは分散的に動作する。一部のニューロンは「分割」された活性化パターンを示し（ゲートベクトルを介して入力概念を読み、アップベクトルを介してオフセットを読み）、他のニューロンは「混合」されている。それらのダウン射影ベクトルは、フーリエ平面上の正しい角度を指すベクトルに合計され、 $T$ での和を符号化する。
アブレーションの影響: これら 28 個のニューロンをゼロ・アブレーションすると、精度が劇的に低下する（加算の場合、95% から 24% など）。一方、Layer 18 の他のすべてのニューロンをアブレーションしても、性能の大部分は維持される。

意義と主張

本論文は、循環概念に対する LLM の算術実行に関する機械的な理解を提供し、表現幾何学と因果的計算の間の溝を埋めることを主張する。

幾何学対計算: 本研究は、表現が円形であっても、その円上の計算が必ずしもモジュロ算術であるわけではないことを示している。むしろ、モデルは汎用的な 10 進加算回路を再利用し、計算完了後に結果をターゲットドメインへマッピングする。
手法の相互作用: 本研究は、情報がどこで処理されるかを特定するための因果的抽象化と、それがどのように表現されるかを理解するための幾何学的分析を組み合わせることの重要性を浮き彫りにしている。因果分析は計算を Layer 18 に局所化し、幾何学的分析は計算がタスク固有の円形構造ではなく 10 進フーリエ特徴に依存していることを明らかにした。
スパース回路: 月、日、時間、数など多様なタスクで加算を行う 28 個のニューロンという小さく再利用可能なセットの同定は、LLM が入力の意味的ドメインに関わらず、基本的な算術演算のために極めて効率的で共有された副回路を発達させることを示唆している。

著者らは一般化については慎重であり、これらの特定のメカニズムは Llama-3.1-8B で同定されたものであり、すべてのモデルやすべての種類の循環推論（例：逆方向のオフセットや距離クエリは対象外）に一般化されるとは限らないと指摘している。しかし、これらの知見は、「野外における算術」がスパースなニューロンとフーリエ幾何学の相互作用を通じてどのように実装されるかという具体的な例を提供するものである。