🤖 machine learning

Prime Fourier Embeddings: A Principled Basis for Modular Arithmetic

本論文は、整数を素数インデックスを持つ調和成分を用いて符号化することで代数的構造を自然に露出させ、それによってモジュロ演算を等変性の理論的保証と極端なチャネル特化および平方因子を持たない合成数に対する完全な精度という実証的証拠を伴うチャネル選択を通じて解決することを可能にする、原理的な表現であるプライム・フーリエ・エンベディング（PFE）を導入する。

原著者： Hyunsang Hwang, Suhyun Bae, Donghun Lee

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hyunsang Hwang, Suhyun Bae, Donghun Lee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題：ロボットに数学を教える

想像してみてください。あなたはロボットに、剰余演算（時計の計算のように、10時のときに5時間を足すと3時になるような仕組み）を教えようとしています。

標準的なAIモデルは、通常「白紙の状態」からスタートします。数字は一般的な数値のリスト（埋め込み）として与えられ、モデルは膨大な例を見ることで、数学のルールをゼロから自力で発見しなければなりません。これは非常に困難な作業です。論文では、モデルが最初に答えを丸暗記してしまい、長い時間が経過した後に突然「理解した」状態になる現象が指摘されています。著者はこれを**「グロッキング（grokking）」**と呼んでいます。これは、掛け算の表を暗記しているだけで、なぜ「3かける4は12」になるのかという理由を何年も経つまで理解していない学生のようなものです。

著者らは、この現象が起きる理由は、ロボットに数字の構造を見抜くための適切な「道具」が与えられていないからだと主張しています。

解決策：素数フーリエ埋め込み (Prime Fourier Embeddings - PFE)

著者らは、**素数フーリエ埋め込み（PFE）**と呼ばれる、新しい数値の表現方法を考案しました。

数字を単なる一つのブロックとしてではなく、**さまざまな周波数のシンフォニー（交響曲）**として捉えてみてください。

標準的な数学では、私たちはしばしば10進法（指を使った計算など）で考えます。しかし、論文によれば、10は2と5が混ざり合ったものであるため、10進法は扱いにくいものです。
PFEは、数字をその**「素数の成分」**（3、5、7、11など）へと分解します。

比喩：ラジオ局
数字の「21」を例に考えてみましょう。

標準的なAIにとって、21は単なる汎用的な信号に過ぎません。
PFEにおいて、21は2つの特定のラジオ局、つまり**「ステーション3」と「ステーション7」**で放送されています（ $3 \times 7 = 21$ であるため）。
数字は、各素数に対する一対の波（サイン波とコサイン波）としてエンコードされます。

このシステムで2つの数字を足し合わせるとき、数学的な計算はこれらの特定のラジオ局の上で自然に行われます。もし21を法とする（modulo 21）計算を行っているなら、AIはステーション3とステーション7に耳を傾けるだけで済みます。ステーション5やステーション11に耳を傾ける必要はありません。

大発見：「ブロック対角」の法則

この論文で最もエキサイティングな部分は、このシステムがどのように機能するかについての数学的な証明です。

著者らは、AIがこのPFEシステムを使用する場合、各素数を独立した別々の部屋として扱うことが数学的に強制されることを証明しました。

ルール： AIは「ステーション3」の情報と「ステーション5」の情報を混ぜ合わせることはできません。これらは別々の、密閉された部屋にあります。
結果： もしタスクが21に関連する問題を解くことであるなら、AIは必ず3と7の部屋を使用しなければなりません。5、11、13の部屋は完全に空のまま、使われない状態になります。

これは、AIの脳の中に直接組み込まれた**「中国剰余定理」**（有名な数学の定理）のようなものです。AIは「21は3と7から成る」という事実を「発見」する必要はありません。入力の構造そのものが、AIに即座にそれを理解させるのです。

実験：本当に機能するか？

研究者たちは、AIモデルにさまざまな数学の問題を学習させ、その後、モデルに対して「手術（一部の除去）」を行い、何が起こるかをテストしました。

「手術」テスト： 3を含む問題を解こうとしているモデルの「ステーション3」のチャンネルをオフにしました。
- 結果： モデルのパフォーマンスは崩壊しました。
- 対照実験： 一方で、その特定の問題には不要であった「ステーション5」をオフにしたとき、モデルは全く影響を受けませんでした。
- 比率： 「必要な」チャンネルと「不要な」チャンネルの重要性の差は、500倍以上に達しました。これは、AIが厳密に正しいチャンネルを使用し、それ以外を無視していることを証明しています。
完璧なスコア： テストしたすべての複雑な数学問題（異なる素数の組み合わせを用いたもの）において、モデルはテストデータに対して100%の精度を達成しました。モデルは単に暗記したのではなく、数学が入力に組み込まれていたため、完璧に汎化（一般化）できたのです。

なぜこれが重要なのか

この論文は、ブラックボックスに対してただデータを投げ込み、数学のルールを学習することを期待すべきではないと主張しています。代わりに、入力自体を問題の数学的構造に適合するように設計すべきなのです。

古い方法： AIに汎用的な数字のリストを与え、 $10 = 2 \times 5$ であることを自力で見つけ出すのを待つ。
新しい方法（PFE）： 数学がすでに分離され、整理された専門的なツール（素数のチャンネル）をAIに与える。

これを行うことで、AIは長く混乱に満ちた「グロッキング」のフェーズをスキップし、理解へと直行できます。これは「発見」という困難な問題を、「選択（正しいラジオ局を選ぶだけ）」という簡単な問題へと変えるのです。

まとめ

この論文は、数学の自然な「素数構造」を尊重した、新しい数値の入力方法を提案しています。これにより、AIの思考を各素数に対する独立したチャンネルへと強制的に整理させることができます。その結果、AIはモジュロ演算を、即座に、完璧に、そして標準的なモデルが陥るような混乱なしに学習できるのです。これは、AIの基礎となる数学的基盤を正しく構築すれば、設計通りに数学を実行できるという証明なのです。

技術要約：素数フーリエ埋め込み (Prime Fourier Embeddings)

問題提起

標準的なニューラル埋め込みは、整数の固有の代数的構造、特に剰余演算に関する構造を提示することに失敗することが多い。中国剰余定理（CRT）は、合成数 $N$ を法とする加算が、その素因数を法とする独立した加算へと分解されることを示しているが、標準的な学習済み埋め込みは、この分解を自然に反映していない。その結果、モジュロ演算タスクの訓練において、モデルは「グロッキング（grokking）」と呼ばれる現象に直面する。これは、モデルが汎化する前に、長い記憶フェーズを耐え忍ぶ現象である。この遅延は表現上の失敗に起因している。すなわち、入力に明示的な素数局所構造が存在しない場合、ネットワークは勾配降下法を通じてこれらの代数的関係をゼロから再構築しなければならず、そのプロセスはデータ集約的かつ脆弱である。

既存のアプローチには限界がある。連続エンコーディング（例：xVal）は大きさを保持するが周期性を破棄し、フーリエ数埋め込み（FoNE）のような周期的アプローチは、合成基底（例：10進法）を使用するため、異なる素数構造（例：2進的および5進的構造）を共有チャネル内に絡み合わせてしまい、素数局所的な情報を分離できていない。

手法：素数フーリエ埋め込み (PFE)

著者らは、有理数 $\mathbb{Q}$ の調和解析から導出された原理的な埋め込みスキームである**素数フーリエ埋め込み（PFE）**を導入する。

構成: PFEは、整数 $a$ を素数インデックスを持つ $(\cos, \sin)$ ペアの集合としてエンコードする。素数 $p$ と深さ $d$ （ここで $0 \le d < D$ ）に対して、埋め込みは次のように定義される：
$\text{PFE}_{p,d}(a) = \left[ \cos\left(\frac{2\pi a}{p^{d+1}}\right), \sin\left(\frac{2\pi a}{p^{d+1}}\right) \right] \in \mathbb{R}^2$
これは、群 $\mathbb{Z}/p^{d+1}\mathbb{Z}$ の指標 $\chi_1$ の実分解に対応する。
理論的根拠: この設計は、ポントリャーギン双対性とアデール的指標の因子分解によって動機付けられている。この埋め込みは、局所的な $p$ 進指標を直接実装しており、任意の整数の剰余構造が、素数間の相互結合なしに、対応する素数チャネルから読み取れることを保証する。
実装: 実験では、著者らは16個の固定された素数集合 ( $P_0 = \{3, \dots, 59\}$ ) と深さの上限 $D=3$ を使用し、結果として埋め込み次元は96となる。埋め込み特徴量は決定的であり、学習対象ではない。

主要な理論的貢献

本論文は、PFE上で動作する任意の線形写像に対する厳密な構造的保証を確立している。

ブロック対角分解定理 (Theorem 3.1): PFEに対する積群作用に対して共変（equivariant）である線形写像 $W$ $W$ は、必ずブロック対角となる。
- 素数 $p$ と深さ $d$ ごとに、独立したブロックが一つ存在する。
- 異なる素数のブロック間には結合がゼロである。
- 同一素数内の異なる深さのブロック間にも結合がゼロである。
証明メカニズム: この結果はシュールの補題（Schur's Lemma）に従う。各PFEブロックは、加法群 $\mathbb{Z}$ の既約表現（指標）の非同型な表現を表している。したがって、異なる $(p, d)$ ペアの間の指標は非同型であり、それらの間のいかなる共変インタートウィナー（intertwiner）もゼロになる。
CRTの予測: モジュラス $N = p_1 \cdots p_k$ を持つタスクに対して、この理論は、 $N$ の因子に対応する $k$ 個の素数チャネルのみがタスクに関連する情報を運ぶ一方で、他のすべてのチャネルは無関係であることを予測する。

実験結果

著者らは、モジュロ加算タスク $(a+b) \mod N$ に関する系統的なアブレーション研究を通じて、これらの予測を検証している。

実験 1 (単一素数タスク): モデルは、様々な素数法（modulus）を持つタスクで訓練された。特定の素数行（タスクの法に対応するもの）をアブレーション（ゼロ化）したとき、テスト精度が大幅に低下した。対照的に、無関係な素数行をアブレーションしても、精度の低下はほぼゼロであった。
- 結果: 特化比率（対角成分の低下 vs 非対角成分の低下）は、ほとんどの構成において500倍以上に達し、ネットワークが関連する素数チャネルのみを利用していることが確認された。
実験 2 (合成数法): モデルは、平方フリーの合成数法（例： $N=15, 21, 105$ $N = 15, 21, 105$ ）で訓練された。
- 結果: $N$ の素因数をアブレーションすると大きな精度低下を引き起こしたが、非因数をアブレーションすると無視できる程度の低下しか見られなかった。因子と非因子の比率は、同様に500倍以上であった。
- 精度: モデルは、テストされたすべての平方フリー合成数および入力範囲（入力範囲が $N$ に対して十分に大きい場合）において、100%のイン分布（in-distribution）テスト精度を達成した。

意義と主張

本論文は、PFEがモジュロ演算の学習を、表現の発見問題から選択問題へと変貌させると主張している。

原理的 vs 恣意的: ヒューリスティックな周波数の選択とは異なり、素数基底は $\mathbb{Q}$ のアデール的フーリエ分解に基づいた数学的根拠を持っている。これにより、初期化の段階から必要な代数的構造が備わっていることが保証される。
メカニズム的解釈可能性: 本研究は、埋め込み設計が、表現される対象の数学によって導かれ得ることを示している。ネットワークの内部構造は、訓練前（表現論を通じて）に特性化され、訓練後（標的を絞ったアブレーションを通じて）に検証される。
反証可能な理論: ブロック対角分解定理は、ネットワークの振る舞いに対する証明可能な構造的制約を提供する。この制約の経験的な確認は、事後的な観察を超えて、数学的に裏付けられた理論へと、より信頼性が高く透明性の高い数値推論への道を開くものである。

著者らは、ブロック対角構造は証明されているものの、勾配降下法が（対称性を破ることなく）どのようにして共変な解へと収束するのかという具体的なメカニズムは、今後の課題として残された未解決問題であると述べている。