IntSeqBERT: Learning Arithmetic Structure in OEIS via Modulo-Spectrum Embeddings

本論文は、対数スケールの大きさ埋め込みと 100 個の法（moduli）に対する正弦・余弦埋め込みを融合させた双ストリーム Transformer「IntSeqBERT」を提案し、OEIS の整数列における算術構造を学習することで、従来のトークン化モデルを大幅に上回る精度で次の項を予測できることを実証したものである。

要約

この論文は、**「数字の羅列（数列）の秘密を解き明かす新しい AI」**について書かれています。

タイトルは『IntSeqBERT』ですが、これを「数字の天才」と呼んでみましょう。この天才は、数学の百科事典（OEIS）にある何十万もの数字の列を勉強し、**「次の数字は何だろう？」**という問題を、これまでの AI よりもはるかに上手に解けるようになりました。

なぜこれほどすごいのか？それには、従来の AI が持っていた「大きな弱点」と、この新しい AI が編み出した「天才的なコツ」の 2 つがあります。

1. 従来の AI の弱点：「辞書」の限界

これまでの AI（Transformer）は、言葉を扱うように数字を扱おうとしていました。つまり、数字を「単語」として辞書に登録し、それらを並べ替えて勉強していました。

• 問題点： 辞書には限られた単語しか載っていません。
  • 小さな数字（1, 2, 3...）は辞書にあります。
  • しかし、**「100 桁もの巨大な数字」や「階乗（100! のような爆発的に大きくなる数字）」**は、辞書に載りきりません。
  • 従来の AI は、辞書にない数字を見ると「？？？（知らない言葉）」としか思えず、パニックになって正解を言えませんでした。まるで、「巨大な宇宙の星」を「小さな石」の辞書で説明しようとしているようなものです。

2. IntSeqBERT の天才的なコツ：「2 つのメガネ」

この新しい AI は、数字を「単語」として覚えるのではなく、**「2 つの異なるメガネ」**をかけて見るように設計されました。

🕶️ メガネ 1：「大きさ」を見るメガネ（Magnitude）

• 役割： 数字が「どれくらい大きいのか」を、**「対数（ログ）」**というスケールで捉えます。
• アナロジー： 普通の AI が「100 万」と「100 億」を別々の単語として区別しようとして混乱するのに対し、IntSeqBERT は「100 万は『中くらい』、100 億は『すごく大きい』」という**「大きさの感覚」**で捉えます。これなら、どんなに巨大な数字でも「大きさ」の感覚で理解できます。

🕶️ メガネ 2：「リズム」を見るメガネ（Modulo）

• 役割： 数字を「時計」のように見て、**「余り」**に注目します。
• アナロジー：
  • 12 時間制の時計では、13 時は「1 時」と同じ位置にあります（13 を 12 で割った余り）。
  • 数学の世界でも、数字には「2 で割った余り（偶数か奇数か）」「3 で割った余り」「5 で割った余り」といった**「リズム（周期性）」**が隠れています。
  • IntSeqBERT は、100 種類もの「異なる大きさの時計（2 時間制、3 時間制...101 時間制）」を同時に見て、数字が持つ**「隠れたリズム」**を捉えます。
  • これにより、数字が「どれくらい大きい」かだけでなく、「どんな規則性（偶数、3 の倍数など）を持っているか」を瞬時に理解できるようになります。

3. 2 つのメガネを合体させる魔法（FiLM）

この 2 つのメガネは、**「FiLM（フィルム）」**という魔法の接着剤でくっつけられています。

• 「リズム（余り）」の情報を「大きさ」の理解に反映させます。
• 例え話： 「この数字は『3 の倍数』というリズムを持っている（リズムメガネ）」と分かれば、「大きさは 30 くらいかな？」と推測しやすくなります（大きさメガネ）。
• この 2 つの情報を組み合わせて、AI は数字の「正体」を深く理解できるようになりました。

4. 結果：どれくらいすごいのか？

実験の結果、IntSeqBERT は従来の AI を大きく凌駕しました。

• 次の数字を当てるゲーム：
  • 従来の AI の正解率：約 2.6%（ほぼ運任せ）
  • IntSeqBERT の正解率：約 19.1%（約 7.4 倍の性能向上！）
• 巨大な数字への強さ：
  • 従来の AI は、辞書にない巨大な数字になると全くダメになりました。
  • IntSeqBERT は、**「大きさの感覚」と「リズム」**を駆使して、巨大な数字でも正しく予測できました。

5. 発見された驚きの事実

研究チームは、AI の学習過程から面白い発見もしました。

• 「合成数（複数の数字の掛け算）」が最強：
  • 素数（2, 3, 5...）だけでなく、「60」や「96」のような、多くの数字で割り切れる「合成数」の時計を見ると、AI の理解度が最も高まりました。
  • 理由： これらの時計は、複数の「リズム」を一度に捉えることができるからです（中国剰余定理という数学の法則）。まるで、**「複数の異なるリズムを同時に聞くことで、音楽の全体像がより鮮明に聞こえる」**ようなものです。

まとめ

この論文は、**「数字を『単語』として覚えるのではなく、『大きさ』と『リズム』という 2 つの視点で捉え直せば、AI は数学の秘密を解き明かせる」**という画期的なアイデアを示しています。

これにより、AI は単なる「数字の暗記」から、「数字の構造や法則を理解する」段階へと進化しました。これは、将来的に AI が新しい数学の定理を発見したり、複雑な科学の問題を解いたりする際の重要な第一歩となるでしょう。

技術概要

以下は、提出された論文「IntSeqBERT: Learning Arithmetic Structure in OEIS via Modulo-Spectrum Embeddings」の技術的な要約です。

論文要約：IntSeqBERT

1. 背景と課題

整数列の百科事典である OEIS（The On-Line Encyclopedia of Integer Sequences）には、単一の定数から天文数字的な階乗や指数関数まで、極めて広範な値の範囲を持つ数列が登録されています。従来のトークン化された Transformer モデル（LLM の主流アプローチ）は、以下の根本的な限界により、このタスクにおいて困難に直面していました。

• 語彙の限界: 固定されたトークン語彙外（OOV）の大きな整数を扱えない。
• 算術構造の欠如: トークン ID に算術的な構造（周期性や乗法的関係）が暗黙的に埋め込まれており、モデルが明示的に学習することが難しい。
• スケーラビリティ: 巨大な数値を扱う際に、トークン化アプローチが破綻する。

本研究は、OEIS における「マスクされた整数列モデリング（Masked Sequence Modelling）」タスクを定義し、これらの課題を克服する新しいアーキテクチャを提案しました。

2. 提案手法：IntSeqBERT

IntSeqBERT は、OEIS 上で事前学習された双ストリーム（Dual-Stream）の Transformer エンコーダーです。整数をトークン化するのではなく、各要素を 2 つの相補的な軸で符号化します。

2.1 二重ストリーム表現

各整数 $x_i$ に対して、以下の 2 つの特徴ベクトルを計算します。

1. マグニチュード・ストリーム（Magnitude Stream）:
   • 絶対値の連続的な対数スケール埋め込み（$\log_{10}|x_i|$）を使用。
   • 数列の成長挙動とスケールを捉えます。
   • 符号（正・負・0）をワンホットエンコーディングで併記します。
2. モジュロ・ストリーム（Modulo Stream）:
   • 法 $m \in \{2, 3, \dots, 101\}$ に対する 100 個の剰余（剰余）を扱います。
   • 各剰余 $r = x_i \mod m$ に対して、単位円上の点として $\sin(2\pi r/m)$ と $\cos(2\pi r/m)$ を埋め込みます。
   • これにより、周期性や数論的な構造（乗法的関係など）を明示的に入力特徴として提供します。

2.2 融合と学習

• FiLM (Feature-wise Linear Modulation): 2 つのストリームを融合するために FiLM を採用します。モジュロ・ストリームから生成されたスケーリング係数 $\gamma$ とシフト係数 $\beta$ を用いて、マグニチュード・ストリームを条件付け（Modulate）します。これにより、剰余情報がマグニチュード推定に直接的な制約として働きます。
• マルチタスク学習: 以下の 3 つの予測ヘッダーを同時に最適化します。
  1. マグニチュード回帰: 対数スケールでの値の予測。
  2. 符号分類: 正・負・0 の 3 クラス分類。
  3. モジュロ予測: 100 個の法それぞれに対する剰余の分類（100 次元）。

2.3 確率的中国剰余定理（CRT）ソルバー

モデルの出力（マグニチュード、符号、剰余分布）から具体的な整数を復元するために、確率的 CRT ベースのソルバーを開発しました。

• 予測されたマグニチュードから探索範囲を特定し、複数の法に対する剰余予測を統合して候補整数を生成します。
• 候補のスコアリングには、マグニチュードの尤度と剰余の一致度を組み合わせた関数を使用します。

3. 実験設定

• データセット: 2026 年 1 月時点の OEIS から、条件を満たす 274,705 列を抽出（トレーニング/検証/テスト = 8:1:1）。
• モデルサイズ: Small (6.4M), Middle (29.0M), Large (91.5M) パラメータの 3 種類。
• ベースライン:
  • Vanilla: 標準的なトークン化 Transformer（語彙サイズ 20,003）。
  • Ablation: モジュロ・ストリームを削除し、マグニチュードのみを使用する IntSeqBERT の変種。
• ハードウェア: GeForce RTX 3070 Ti (8GB VRAM) 1 枚。

4. 主要な結果

Large モデル（91.5M パラメータ）におけるテストセットの結果は以下の通りです。

• マグニチュード精度 (Mag Acc): 95.85%（Vanilla 対比 +8.9 ポイント向上）。
• 平均モジュロ精度 (MMA): 50.38%（Vanilla 対比 +4.5 ポイント向上）。
• ソルバーによる次項予測 (Top-1): 19.09%（Vanilla の 2.59% 対比、7.4 倍の改善）。
• アブレーション研究: モジュロ・ストリームを削除した場合、MMA は 15.2 ポイント低下し、マグニチュード精度も 6.2 ポイント低下しました。これは、剰余情報がマグニチュード推定にも重要な制約として機能していることを示しています。

スケール別性能

• 巨大な数値: 従来のトークン化モデルは、語彙外（UNK）となる巨大な数値において性能が崩壊しましたが、IntSeqBERT は対数スケールとモジュロ情報により、$10^{20}$ 以上の領域でも意味のある予測を維持しました。
• スケーリング挙動: モデルサイズを大きくすると、モジュロ精度とソルバー精度の向上がマグニチュード精度よりも顕著でした。これは、算術的推論がモデル容量の増加に対してより敏感に反応することを示唆しています。

5. 重要な発見と分析

• モジュロスペクトル分析: 法 $m$ に対する Normalised Information Gain (NIG) と、オイラーのトーシェント関数 $\phi(m)$ の比率 $\phi(m)/m$ の間に強い負の相関（$r = -0.851$）が観測されました。
  • 意味: 合成数（多くの素因数を持つ法）は、中国剰余定理（CRT）による情報集約効果により、素数よりも効率的に OEIS の算術構造を捉えていることを示しています。
• パリティ（法 2）の重要性: 法 2（偶奇）の予測精度はモデルの性能を最も敏感に反映し、モジュロ・ストリームを削除すると精度が 13.5 ポイント低下しました。

6. 結論と意義

IntSeqBERT は、整数列の学習において、従来のトークン化アプローチの限界を打破する新しいパラダイムを示しました。

1. 技術的革新: 連続的な対数スケールと離散的なモジュロ情報を FiLM で融合する双ストリーム設計により、OOV 問題と算術構造の学習を同時に解決しました。
2. 数論的洞察: モデルの分析から、合成数の法が CRT を通じて算術構造を効率的に集約するという、数論的な知見をデータ駆動で実証しました。
3. 実用性: 確率的 CRT ソルバーと組み合わせることで、従来の手法を凌駕する次項予測精度を達成し、数学的発見や数列の推論における AI の可能性を拡大しました。

今後の課題としては、巨大整数における CRT 復元の精度向上（近似 CRT の導入）、より大きな法への拡張、および OEIS 全体での大規模モデルの事前学習などが挙げられています。