技術要約：機械学習によるモジュラリティ

問題設定

本論文は、超対称量子場理論（QFT）および弦理論において現れる、特殊関数（特に $q$-$\theta$ 関数および楕円ガンマ関数）を含む複雑な記号的表現の簡略化という課題に取り組んでいる。これらの関数は、様々な超対称理論（例：$S^3 \times S^1$ 上）の分配関数として機能し、豊かなモジュラー特性（$SL(r, \mathbb{Z})$ 変換の下での性質）を備えている。

モジュラー恒等式（$\theta$ に対する $SL(2, \mathbb{Z})$ や $\Gamma$ に対する $SL(3, \mathbb{Z})$ など）は既知であるが、繰り返されるモジュラー変換、複製、およびシフトによって生じた「激しくスクランブルされた（scrambled）」表現に対してこれらを適用することは、計算上困難である。目標は、そのようなスクランブルされた表現を、そのカノニカルな形式（関数因子の数を最小化する形式）へと自動的に簡約し、基礎となるモジュラー変換を特定することである。先行研究の機械学習では多重対数関数の簡略化に成功しているが、これをモジュラー関数へと拡張するには、楕円関数に関連する特定の代数的構造や位相因子（モジュラー・コサイクル）を扱う必要がある。

手法

1. アーキテクチャと学習フレームワーク

著者らは、シーケンス・トゥ・シーケンス（sequence-to-sequence）Transformer アーキテクチャ、具体的には T5 ファミリー（$q$-$\theta$ 関数には Flan-T5-small、楕円ガンマ関数には Flan-T5-base）を採用しており、これは Hugging Face ライブラリを介して実装されている。

• タスクの定式化: 簡略化は、教師ありシーケンス・トゥ・シーケンス・タスクとして定式化されている。モデルは、「スクランブルされた」入力表現（変換された関数の積）を、「カノニカルな」出力表現（簡約された関数の積）へと写像するように学習される。
• ダイナミック・バッチング: 可変長の記号的表現を効率的に扱うため、ダイナミック・バッチング・アルゴリズムが使用されている。固定されたバッチサイズを用いる代わりに、シーケンスをトークン数によってグループ化することで、パディングによるオーバーヘッドを最小限に抑え、学習時間を約30%削減している。
• データ・エンコーディング: 数学的表現は構文木へと解析され、前置記法（prefix notation）へとシリアライズされた後、カスタム辞書を通じてトークン ID へとマッピングされる。

2. データ生成とスクランブル

学習データセットは、既知の恒等式をカノニカルな形式にランダムに適用することによって、アルゴリズム的に生成される：

• $q$-$\theta$ 関数: データセットには、$SL(2, \mathbb{Z})$ 変換（$S$ および $T$ 行列によって生成される）、「シフト」、「反射」、「反転」、および「複製」の恒等式が含まれる。スクランブルは、ベースとなる表現に対して一連の $n_s$ 個の基本演算を適用することで行われ、複雑さを増すために $n_t$ 個の自明なペア（恒等式の挿入）が導入される場合がある。
• 楕円ガンマ関数: データセットには、$SL(3, \mathbb{Z})$ 変換、$\mathbb{Z}^3$ におけるシフト、反転、および複製恒等式が含まれる。単一の変換が関数を複数の関数の積へと分割する可能性があるため、モジュリ（$\tau, \sigma$）の増加に伴い、複雑さはより高くなる。

3. サンプリングとモジュラー変換の認識（セクション 3）

記号的な簡略化に取り組む前に、著者らは、上半平面上の $SL(2, \mathbb{Z})$ モジュラー変換を機械学習が認識できるかどうかを調査している。

• サンプリング尺度: ポアンカレ円板（上半平面に写像される）における4つの異なるサンプリング尺度がテストされた：双曲測度、およびベルトランのパラドックスに基づく3つのバリエーション（ランダムな弦の端点、一様面積、ランダムな半径距離）。
• 目標: 基本領域の外側にある点 $z$ を、基本領域内の像へと写像し、対応する $SL(2, \mathbb{Z})$ 行列を予測することである。
• 結果: モデルは（双曲測度において）最大96.6%の高い精度を達成し、Transformer がモジュラー変換の幾何学的構造を学習できることを確認した。

4. モジュラー位相（コサイクル）の取り扱い

多重対数関数の簡略化との決定的な違いは、楕円関数の変換における非自明な位相因子（モジュラー・コサイクル）の存在である。

• 戦略: 機械学習モデルは、のみを識別するように訓練される（すなわち、簡約された関数の積としてのカノニカルな代表元を特定する）。モデルは、位相因子を直接予測することはない。
• 再構成: モジュラー・コサイクル（スクランブルされた形式と簡約された形式の間の位相差）は、別のアルゴリズム（付録 A に詳述）を用いて決定論的に再構成される。このアルゴリズムは、差分方程式や既知の恒等式（例：ガンマ比と $\theta$ 関数を関連付けるもの）を反復的に適用して、正確な位相 $e^{i\pi Q}$ を計算する。

主な結果

1. $q$-$\theta$ 関数の簡略化

• イン・ディストリビューション（分布内）の性能: 学習分布（$n_s \in [3, 5]$）とスクランブルの深さ（$n_s$）が一致するテストセットにおいて、モデルは 99.96% の精度を達成した。
• 外挿（エクストラポレーション）: より深いスクランブルの深さ（$n_s \in [6, 10]$）でテストした場合でも、モデルは 99.87% の精度を維持し、強力な汎化能力を示した。
• 複雑な変換: 複製を含むすべての変換タイプを含めた場合、精度は 91% 以上を維持したが、数式の長さに応じてわずかに低下した。

2. 楕円ガンマ関数の簡略化

• イン・ディストリビューションの性能: $n_s \in [3, 6]$ のテストセットにおいて、モデルは 97.23% の精度を達成した。
• 外 外挿: かなり深いスクランブル（$n_s \in [7, 10]$）に対しても、93.02% の精度を保持した。
• 堅牢性: モデルは、恒等式の挿入数（$n_t$）に対して堅牢であった。興味深いことに、$n_t$ が増加すると（$n_t=3$ まで）、精度が向上した。これは、スクランブル密度の希釈により、恒等式のキャンセルが検出しやすくなったためと考えられる。
• ビームサーチ: ビームサーチのサイズを 1 から 10 に増やしても、精度はほとんど向上せず（2% 未満）、推論時間が大幅に増加した。このことは、このタスクにおいては貪欲法（greedy）または小さなビーム幅のデコーディングで十分であることを示唆している。

3. 数値的検証

著者らは厳格な数値的検証プロトコルを実装した。簡略化された式は、位相因子（$z$ の多項式）を除いて入力と同一であるため、以下の方法で予測を検証した：

• 入力と予測された式の対数比が、期待される多項式依存性（$\theta$ の場合は 2 次、$\Gamma$ の場合は 3 次）に従っているかを確認する。
• 有限差分テストを用いて、期待される多項式の次数と一致する高次導関数の消失を確認する。

意義と主張

本論文は、現代的なシーケンス・トゥ・シーケンス Transformer モデルが、モジュラー恒等式によって関連付けられた表現のカノニカルな代表元を効果的に識別できることを実証したと主張している。その意義は以下の点にある：

1. 記号的操作の自動化: このフレームワークは、超対称 QFT や弦理論の中心的な関数（例：レンズ空間 $L(p,q) \times S^1$ 上の分配関数）を含む表現の簡略化を自動化するための実用的なツールを提供する。
2. 学習を超えた汎化: モデルは強力な外挿性を示し、学習時に見られなかったスクランブルの深さや構造的複雑さを持つ表現を、正常に簡略化できる。これは、モデルが単にパターンを記憶しているのではなく、基礎となる代数的規則を学習していることを示唆している。
3. モジュラー恒等式の発見: スクランブルされた入力をカノニカルな形式へと写像することに成功したことで、このフレームワークは、関連するモジュラー群（$SL(2, \mathbb{Z})$ および $SL(3, \mathbb{Z})$）とその変換則を暗黙的に学習している。
4. 関心の分離: 構造的な簡略化に ML を用い、位相の再構成に決定論的なアルゴリズムを用いるというアプローチは、複雑な超越的位相関数を直接学習することの困難さを回避し、効果的であることが証明された。

著者らは、このフレームメントが、モジュラー恒等式が十分に理解されていない、より一般的なセイフェルト（Seifert）3-多様体上の分配関数のような、より複雑な設定におけるモジュラー構造を調査するための有望な道筋を提供すると結論づけている。また、現在の研究は特定のクラスの関数に焦点を当てたものであり、多重対数、$\theta$、および $\Gamma$ が混在するハイブリッドな表現や、高ランクの関数への拡張は今後の課題であると明記している。