Learning Scattering Amplitudes with Transformer Reinforcement Learning

技術要約：Transformer強化学習による散乱振幅の学習

問題提起
本論文は、平面 $\mathcal{N}=4$ 超対称ヤン＝ミルズ（SYM）理論における高ループ・レベルの散乱振幅を決定するという計算上の課題に取り組んでいる。ファインマン図に基づく従来の摂動論的手法は、ループ次数や粒子数に対して階乗的にスケールするため、高次においては実行不可能となる。近年の研究では、これらの振幅の記号的構造を、Transformerによって解決可能なシーケンス・モデリング問題として定式化しているが、既存の「Transformerのみ」のアプローチには、以下の2つの決定的な限界がある：

1. データ依存性： 学習データとして、既知の係数の大部分（例：$L=6$ の場合は97%）をあらかじめ必要とする。
2. 一貫性： 貪欲なサンプリングによる出力は、モデルがグローバルな制約を強制せずに係数を独立して予測するため、既知の物理的関係や対称性に違反することが多い。

目標は、既知の係数を大幅に減らしつつ、すべての物理的制約が満たされることを保証しながら、三 gluon フォームファクター（具体的には $3g \to H$ 振幅）のシンボル・アルファベットの整数値係数を再構成することである。

手法
著者らは、厳密な線形関係と対称性を探索プロセスに直接組み込んだ**Transformer強化学習（RL）**アルゴリズムを提案している。このアプローチは、再構成を以下の3つの異なるコンポーネントを含む逐次探索問題として扱う：

1. 記号表現と制約：

   • 振幅は、6文字のアルファベット $\{a, b, c, d, e, f\}$ からなる長さ $2L$ の単語（ワード）上の整数係数 $C$ を持つシンボル $S[F^{(L)}]$ として表される。
   • 解空間は、隣接制約（禁止された文字ペアおよび交互構造）と、線形関係（可積分条件、因果律、および全ループの関係）によって制約されている。これらの関係により、部分的な割り当てから多くの係数を決定論的に推論することが可能となる。

2. 状態圧縮（最小サフィックス表現）：

   • 状態空間の階乗的な増大に対処するため、著者らは「最小サフィックス表現」を採用している。単語の末尾に作用する関係性を分析することで、コンパクトな独立変数の基底を構築する。
   • これにより、サフィックスを代表的なトークンに置き換えることで、より大きなトークン・アルファベットを用いる代わりに、シーケンス長を大幅に短縮（$2L - K + 1$）し、状態サイズを削減する。

3. アルゴリズム・アーキテクチャ：

   • 事前学習： 二つのヘッドを持つTransformerを、既知の係数のサブセットを用いて事前学習させる。方策（ポリシー）ヘッドは係数の確率分布 $P(\text{coefficient}|\text{word})$ を学習し、価値（バリュー）ヘッドは探索を導くための残りパス長を（平均二乗誤差を介して）推定する。
   • 強化学習ループ（MCTS）： アルゴリズムは以下のループで動作する：
     1. 選択： 2つの未知数のみが関与する関係性に最も多く関与している、未割り当ての係数を持つ単語を特定する。
     2. 提案： 事前学習されたTransformerが、候補となる係数の分布を提案する。
     3. 伝播： 厳密な線形関係を用いて、係数の割り当てに伴う結果を決定論的に伝播させる。このステップにより、他の多くの係数が自動的に解決される。
     4. 探索： 伝播が未解決の係数を持つ不動点に達した場合、**モンテカルロ木探索（MCTS）**が代替の割り当てを探索する。
     5. 制約の強制： 既知の関係に違反する割り当ては「ゲームオーバー」として扱われ、探索木のその枝が刈り取られる。これにより、生成されるすべての出力が物理的に一貫していることが保証される。

主な貢献

• 対称性の統合： 従来のTransformerのみの手法とは異なり、本アルゴリズムは統計的学習のみに頼るのではなく、派生した対称性や線形関係をハードな制約として学習ループ内に組み込んでいる。
• ハイブリッド探索メカニズム： Transformerベースの係数提案、決定論的な伝播、およびMCTSを組み合わせることで、システムは状態空間の組合せ爆発を回避できる。
• データ効率： 本手法は、事前学習のためのラベル付きデータとして必要な解の割合を劇的に減少させる。
• 一貫性の保証： 違反を終端状態として扱うことで、アルゴリズムはすべての出力が課された関係を完全に満たすことを保証する。これは標準的なシーケンス・モデリングにはない特徴である。

結果
アルゴリズムは、12,543個の単語を含む三 gluon フォームファクターの $L=5$ シンボルに対してテストされた。

• 性能： 本モデルは、既知の入力としてわずか**5%**の係数のみを使用して、完全な $L=5$ シンボルの再構成に成功した。
• 比較： これは、$L=6$ のケースで学習に97%のシンボルを必要としたTransformerのみのアプローチとは対照的である。
• 効率性： MCTSによる介入が必要になる前に、伝播のみによって単語割り当ての約70%が完了した。残りの作業は、Transformerの学習された事前分布によって処理された。
• 検証： 生成されたすべての解は、既知の結果（巡回変換まで）と一致し、課されたすべての関係を満たしていた。

意義と主張
本論文は、このアプローチが機械学習のより高いループ次数への汎用化において極めて重要であると主張している。厳密な関係とMCTSを統合しなければ、階乗的にスケールする状態サイズのため、他の手法によって導出された結果との比較は不可能になる。著者らは、本手法を用いることで、大幅に小さな事前学習セットを用いながら、物理的一貫性を確保しつつ高ループの結果（具体的には $L=5$）を導出できると断言している。

著者らは、一つの限定的な事項を述べている。本手法は、最近の結果（具体的には投稿直後に公開されたAnthropicの$L=9$の結果）と比較して、計算能力はそれほど高くない。彼らの手法を$L=9$に拡張することは、今後の課題となる予定である。