💬 NLP

Convergent Evolution: How Different Language Models Learn Similar Number Representations

本論文は、Transformer や RNN など多様な言語モデルが異なる学習信号から周期的な数値表現を学習する「収束進化」の現象を明らかにし、その中で数値の剰余分類を可能にする幾何学的に分離可能な特徴を獲得するかどうかは、データ、アーキテクチャ、オプティマイザ、トークナイザーなどの要因に依存することを示しています。

原著者： Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

公開日 2026-04-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🌟 結論：AI は「数字の周期」をみんな同じように覚えるが、使い方はバラバラ

まず、この研究の核心を一言で言うとこうです。
「どんな種類の AI（モデル）を作っても、自然な文章で学習させると、数字の『リズム（周期）』を同じように捉えるようになる。でも、そのリズムを使って『足し算』や『割り算』ができるかどうかは、AI の種類や学習方法によって全く違う」

これが、生物学でいう**「収斂進化」**に似ているからです。

生物学の例： 魚（サメ）と哺乳類（イルカ）は血縁関係がないのに、泳ぎやすくするために「流線型の体」と「ひれ」をそれぞれ独立して進化させました。
AI の例： 全く違う仕組みの AI（トランスフォーマー、RNN、古典的な単語埋め込みなど）が、自然な文章を学習する過程で、**「数字には 2、5、10 というリズムがある」**という同じ特徴を勝手に身につけてしまいました。

🔍 2 つのレベルの「進化」

この論文は、AI が数字を学ぶ過程を**「2 つの段階」**に分けて説明しています。

1. 第一段階：リズムの発見（スペクトル収斂）

何が起こっている？
AI が数字の単語（「1」「2」「100」など）を見ると、その中身には**「2 回ごとにリズムが来る」「5 回ごとにリズムが来る」「10 回ごとにリズムが来る」**という波のようなパターンが現れます。
例え話：
街中で歩いていると、みんなが「足音」を鳴らしています。どんな人（AI）でも、歩いていると「ド、ド、ド」というリズムが聞こえてきます。これは、AI が文章を大量に読むだけで、自然と数字の「周期性」を感知している状態です。
重要点：
これはほぼすべての AIで起こります。古典的な辞書のような仕組みでも、最新の巨大な AI でも、同じリズムが見えます。

2. 第二段階：リズムの活用（幾何学的収斂）

何が起こっている？
ここが重要なんです。リズムが見えても、**「そのリズムを使って、数字を正しく分類したり、計算したりできるか？」**は別問題です。
- 成功する AI： 「あ、10 ごとにリズムが来るから、10 で割った余り（1, 2, 3...9, 0）を区別できるな！」と理解し、線形的に分類できる。
- 失敗する AI： 「リズムは聞こえるけど、それが何の役に立つかわからない。ただのノイズだ」と思っている。
例え話：
- 成功する AI： 音楽の先生。リズムを聞いて「これは 4 拍子だ！だからこの曲はこう弾くべきだ！」と即座に使いこなせる。
- 失敗する AI（LSTM など）： 音楽を聴くのが好きな人。リズムは確かに聞こえるし、心地よいけど、「じゃあ、このリズムを使って作曲できるか？」と言われると、「えっ、無理かも…」となってしまう。
- 論文の驚き： 最新の AI よりも、古い仕組みの AI（LSTM）の方が、実はリズム（波）は大きく聞こえているのに、使い方が下手だったのです！

🛠️ なぜ「使いこなせる AI」と「使いこなせない AI」に分かれるの？

なぜ、リズムはみんな同じなのに、使い方が違うのでしょうか？論文は**「3 つの要素」**が揃わないと、使いこなせないと言っています。

データ（教材）：
- 数字が文章の中でどう使われているか（「10 個のリンゴ」のように文脈と結びついているか）。
- 数字同士がどう絡み合っているか（「1+1=2」のような計算や、数字の並び）。
- 例え： 料理のレシピ。単に「材料のリスト」だけ見せても（リズムだけ）、料理の「作り方（計算）」は覚えられません。文脈や計算の練習が必要です。
アーキテクチャ（脳の構造）：
- AI の内部の仕組みが、リズムを「分類しやすい形」に変換できるか。
- 例え： 楽器の形。バイオリンは弦を弾けば美しい音が出ますが、同じ弦でも「箱」の形が違うと、同じ音が出ても「曲を奏でる」のに向いていないかもしれません。トランスフォーマーや Mamba などの新しい構造は、リズムを「計算用」に変換するのが得意です。
オプティマイザ（学習のやり方）：
- どのように「正解」に向かって修正していくか。
- 例え： 練習のコーチング方法。同じ生徒でも、コーチの指導法（オプティマイザ）によって、リズムを「使えるスキル」に変えられるかどうかが変わることがあります。

🧩 面白い発見：足し算の問題の出し方でも変わる

さらに、この研究は**「足し算の問題をどう出題するか」**でも結果が変わることを発見しました。

9 桁の足し算（例：123456789 + 987654321）：
- 数字が長いので、AI は**「桁ごとに計算して、繰り上がり（キャリー）を処理する」**必要があります。
- この「10 で割った余り」を計算する必要があるため、AI は強制的に「リズム（周期）」を**「使える形」**で学習します。
- 結果： どの AI でも、リズムも使い方も完璧になります。
3 桁の足し算（例：123 + 456）：
- 数字が短く、1 つの「単語」として処理されてしまいます。
- AI は「10 で割った余り」を意識しなくても答えを出せてしまいます。
- 結果： AI は「リズム」を学習しないか、学習しても使い方がバラバラになります。

例え話：

9 桁： 1000 円札の束を数える練習。10 枚で 1 束（1 万円）になるから、「10 ごとにまとめる」ルールを厳しく覚える。
3 桁： 100 円玉を数える練習。10 枚で 1 束にする必要がないから、「10 ごとにまとめる」ルールを覚える必要がない。

📝 まとめ：この研究が教えてくれること

「リズムが見える」＝「理解している」ではない
AI が数字の周期性（波）を持っているからといって、それが「計算ができる」とは限りません。単なる統計的な癖（ノイズ）かもしれません。
進化は「環境」で決まる
AI が数字をどう理解するかは、**「どんなデータを与えられたか」「どんな構造か」「どう練習させたか」**という環境次第です。
AI の「脳」は多様
同じ「数字」という概念でも、AI によって「リズムを聞く耳」は同じでも、「そのリズムで計算する頭」は全く違う進化を遂げることがあります。

この研究は、AI が「賢そうに見える」現象の裏側には、実は**「統計的な偶然」と「構造的な必然」が複雑に絡み合っていることを教えてくれました。AI の「理解」を正しく評価するには、単にリズムがあるかどうかだけでなく、「そのリズムをどう使っているか」**まで見る必要があるのです。

論文「Convergent Evolution: How Different Language Models Learn Similar Number Representations」の技術的サマリー

この論文は、自然言語でトレーニングされた大規模言語モデル（LLM）が、数値トークンをどのように表現するかを調査し、異なるアーキテクチャやトレーニング条件を持つモデル間で「収束進化（Convergent Evolution）」がどのように起こるか、そしてその表現が機能的な数値構造（幾何学的分離性）を本当に学習しているかどうかを解明することを目的としています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定と背景

背景

以前の研究（Zhou et al., 2024 など）では、Transformer ベースの言語モデルが整数トークンの埋め込みにおいて、フーリエ領域で $T=2, 5, 10$ の周期を持つ鋭いピーク（スパイク）を示すことが発見されました。これは、モデルが周期的な特徴（フーリエ特徴）を学習していることを示唆しています。また、この周期性は「週」や「月」などの他の周期的概念にも見られます。

核心的な問い

しかし、フーリエ領域にスパイクが存在すること（スペクトル収束）が、モデルが実際に機能的な数値構造（例えば、 $n \mod T$ を線形に分類できる幾何学的な構造）を学習していることを意味するのでしょうか？
著者らは、**「フーリエスパイクの存在は、モジュロ演算の幾何学的分離性（Geometric Separability）の必要条件であるが、十分条件ではない」**という仮説を立て、この不一致を説明し、どのような条件下で機能的な学習が起こるかを解明しようとしています。

2. 手法と実験設定

理論的アプローチ

定理 1 の証明: 埋め込みのクラス間分散行列 $S_B$ $S_{B}$ とクラス内分散行列 $S_W$ $S_{W}$ を定義し、フーリエパワー $\Phi_T$ $Φ_{T}$ と線形分類器の性能の関係を数学的に証明しました。
- $\Phi_T > 0$ は $S_B > 0$ であることを意味しますが、線形分類の精度は $S_B$ と $S_W$ の比（フィッシャー線形判別分析の最大固有値）に依存します。
- クラス内分散 $S_W$ が異方性（条件数 $\text{cond}(S_W)$ が大きい）である場合、フーリエパワーが大きくても、周期性の信号がノイズに埋もれ、線形分離が不可能になることを示しました。

実験的アプローチ

モデル: 3 億パラメータ規模のモデルを 100 億トークン（FineWeb-Edu）でトレーニング。
- アーキテクチャ: Transformer, Gated DeltaNet, Mamba-2, LSTM, 古典的単語埋め込み（GloVe, FastText）など。
- オプティマイザ: Muon, AdamW。
評価指標:
1. フーリエスペクトル: トークン埋め込みのフーリエ変換における $T=2, 5, 10$ でのパワー。
2. 幾何学的収束（Geometric Convergence）: 埋め込みから $n \mod T$ を予測する線形プローブ（ロジスティック回帰）の Cohen's $\kappa$ 値。
制御実験:
- データ構造の操作: 文脈長の変更、数字トークンの相互作用の制限（Isolate-k）、テキストと数字の対応関係の破壊（Swap Numbers）、ユニグラム置換（Unigram Replace）など。
- 算術タスク: 9 桁の加算（マルチトークン）と 3 桁の加算（シングルトークン）でのトレーニング比較。

3. 主要な結果

結果 1: スペクトル収束の普遍性

Transformer、非 Transformer LLM（Mamba, LSTM など）、古典的単語埋め込み、さらにはトレーニングコーパスの生きたトークン頻度分布に至るまで、すべてのシステムで $T=2, 5, 10$ のフーリエスパイクが観測されました。
これは、自然言語の統計的性質（数字の出現頻度分布）自体が周期性を生み出すためであり、モデルのアーキテクチャや学習アルゴリズムに依存しない「スペクトル収束」が普遍的に起こることを示しています。

結果 2: 幾何学的収束の選択性（スペクトルと幾何の不一致）

フーリエスパイクが存在しても、必ずしも $n \mod T$ $n mod T$ が線形に分離可能であるわけではありません。
- 成功例: Transformer や Gated DeltaNet は、高いフーリエパワーと高いプローブ精度（ $\kappa \approx 85\%$ for $T=10$ ）を両立。
- 失敗例: LSTM は Transformer よりも大きなフーリエパワーを持つにもかかわらず、プローブ精度はランダムレベル（ $\kappa \approx 0$ ）にとどまりました。
原因: LSTM の埋め込み空間では、クラス内分散（ $S_W$ ）が非常に異方性（条件数大）であり、周期性の信号がクラス内のノイズに埋もれていました。

結果 3: 幾何学的収束を決定する要因

幾何学的収束（機能的な数値学習）は、以下の 3 つの要素が揃う場合にのみ発生します。

データ信号:
- テキストと数字の共起（Text-Number Co-occurrence）や、数字同士の相互作用（Cross-Number Interaction）が重要です。
- 文脈長が短い場合や、数字同士の相互作用を制限すると、プローブ精度は低下しますが、フーリエスパイクは維持されます。
アーキテクチャ:
- Transformer や線形 RNN（Mamba, DeltaNet）は幾何学的収束を達成しますが、LSTM は同じデータでも達成できません。これは容量の問題ではなく、アーキテクチャ固有の制約によるものです。
オプティマイザ:
- 影響はアーキテクチャに依存します（例：Muon は Transformer で優れるが、Mamba-2 では AdamW の方が良い場合がある）。

結果 4: 算術タスクにおけるトークナイゼーションの役割

マルチトークン加算（9 桁）: 桁ごとの計算（キャリー伝搬）が必要となるため、モデルは強制的にモジュロ演算を解く必要があり、オプティマイザに関わらずスペクトル・幾何両方の収束が観測されました。
シングルトークン加算（3 桁）: 入力と出力が 1 トークンで完結するため、モジュロ演算の制約が明示的に課されません。この場合、学習された表現はオプティマイザやシードに依存し、収束進化は起こりませんでした。

4. 主要な貢献

二層構造の発見: 数値表現の学習には「スペクトル収束（フーリエスパイクの発生）」と「幾何学的収束（線形分離可能なモジュロ構造の獲得）」という 2 つの階層があることを示しました。前者は普遍的ですが、後者は特定の条件が必要です。
理論的証明: フーリエスパイクの存在が線形分類の精度を保証しないことを、分散行列の条件数を用いて理論的に証明しました。
構造的帰属（Structural Attribution）: データ分布、アーキテクチャ、オプティマイザの各要素が、表現学習にどのように寄与するかを体系的に解明しました。
収束進化の概念の適用: 生物学的な収束進化の概念を、異なる AI モデルが異なる学習信号から類似の表現（フーリエ特徴）を独立して獲得する現象として定式化しました。

5. 意義と結論

この研究は、言語モデルの内部表現を解釈する際、単に「フーリエ変換でピークが見えるから、モデルは数値構造を学習している」と結論づけることの危険性を指摘しています。

表面的な構造 vs 機能的な構造: 統計的な偏り（フーリエスパイク）と、実際にタスクに使える機能的な構造（幾何学的分離）は区別する必要があります。
診断ツールの限界: 従来のメカニズム解釈手法が、学習された構造を過大評価する可能性を示唆しています。
将来の展望: この「スペクトル - 幾何」の階層は、数値表現だけでなく、曜日や月などの他の周期的概念、あるいはより広範な概念の学習メカニズムを理解するための枠組みとして応用可能です。

結論として、異なるモデルが類似した数値表現を獲得するのは「収束進化」の結果ですが、それが機能的な数値推論能力に直結するかどうかは、データの構造、モデルのアーキテクチャ、そしてトレーニングの目的（特にマルチトークン制約の有無）に強く依存していることが明らかになりました。