Event Tokenization and Masked-Token Prediction for Anomaly Detection at the Large Hadron Collider

技術要約：大型ハドロン衝突型加速器におけるイベント・トークン化とマスクされたトークン予測による異常検知

問題提起
本論文は、信号の特性に関する事前知識がない状態で、高エネルギー物理学データにおける稀な、モデル外（BSM）のシグネチャを特定するという課題に取り組んでいる。具体的には、著者らは、大型ハドロン衝突型加速器（LHC）における同時4トップクォーク（$t\bar{t}t\bar{t}$）生成の探索に焦点を当てている。このプロセスは、その最終状態（0〜4個のレプトン、4〜12個のジェット、これには4個の$b$ジェットが含まれる）が、$t\bar{t}WW$、$t\bar{t}W$、$t\bar{t}Z$、$t\bar{t}H$といった複雑な標準模型（SM）の背景事象と酷似しているため、分離が困難である。著者らは、背景事象の分布を学習し、新しい物理学を示唆する逸脱をフラグ立てするために、大規模言語モデル（LLM）を教師なし異常検知器として使用することを提案している。

手法
提案されたアプローチは、自然言語処理（特にBERT）から適応された手法である、マスクされたトークン予測を通じて訓練される、軽量なエンコーダーベースのトランスフォーマー・ネットワークを利用している。

1. データセットと前処理:

   • 本研究では、MG5_aMC@NLOで生成され、Pythia 8でハドロン化され、Delphes 3で処理された、Dark Machinesチャレンジにおける$\sqrt{s} = 13$ TeVでのシミュレーションされた$pp$衝突データを使用している。
   • イベントは、最大18個の粒子オブジェクト（ジェット、レプトン、光子）と、欠損横運動量（$E_T^{\text{miss}}$）およびその方位角（$\phi_{E_T^{\text{miss}}}$）のシーケンスとして表現される。
   • 背景プロセス（$t\bar{t}H, t\bar{t}W, t\bar{t}WW, t\bar{t}Z$）が訓練セットを構成し、$t\bar{t}t\bar{t}$は評価用のシグナルとして機能する。

2. トークン化戦略:

   • 本手法の重要な構成要素は、連続的な運動学的変数を離散的なトークンに変換することである。
   • 粒子タイプは、7つの定義済みのカテゴリにマッピングされる。
   • 運動学的変数（$p_T, \eta, \phi, E_T^{\text{miss}}, \phi_{E_T^{\text{miss}}}$）はビン分割される。最適な構成では、$p_T, \eta, E_T^{\text{miss}}$を（それぞれ背景データの25%を含む）4つのビンに分割し、$\phi$と$\phi_{E_T^{\text{miss}}}$を幅$\pi/4$の4つのビンに分割する。
   • これらのビンは、各粒子に対する一意の整数トークン（$token_{part} \in [1, 448]$）および欠損エネルギー成分に対するトークン（$token_{E_T^{\text{miss}}} \in [449, 452], token_{\phi_{E_T^{\text{miss}}} \in [453, 456]}$）へと結合される。
   • イベントは、固定されたシーケンス長である18個の粒子とエネルギー・トークンへとパディングされる。

3. モデル・アーキテクチャと訓練:

   • モデルは、各4つの自己注意（self-attention）ヘッドを持つ2つのトランスフォーマー層、それに続く線形射影およびソフトマックス層で構成される。
   • 訓練: モデルは、マスクされたトークン予測目的関数を用いて、背景事象のみを用いて訓練される。イベント内の1つのトークンがランダムにマスクされ、モデルは疎なカテゴリカル交差エントロピー損失（Sparse Categorical Cross-Entropy loss）を用いてそれを再構成することを学習する。
   • 推論: テスト中、イベント内のすべてのトークンがマスクされ、一つずつ再構成される。イベントごとに平均再構成スコア（損失）が計算される。

主な貢献

• 新規の応用: 本論文は、粒子イベントをトークンのシーケンスとして扱うことで、衝突物理学における教師なし異常検知のためのLLMのようなアーキテクチャの使用を導入している。
• トークン化スキーム: トランスフォーマーベースのモデルに適した形式に粒子物理学の連続的なデータを変換するための、特定のビン分割およびエンコーディング戦略を提案している。
• モデルに依存しない探索: 本手法は、シグナルの知識に依存せず、背景事象の再構成性能のみに基づいて動作し、異常を特定する。

結果

• 4トップ探索における性能: $t\bar{t}t\bar{t}$シグナルに適用した際、モデルは0.67の受信者操作特性曲線の下方面積（ROC-AUC）を達成した。
• 分布の重なり: 背景事象とシグナル事象の再構成スコアの分布は70.85%の共通領域を示しており、これはある程度の重なりがある一方で、モデルがこれら2つのクラスをある程度区別できる能力を持っていることを示している。
• 比較: 提案された手法は、Dark Machinesチャレンジにおける確立された教師なし手法（DDD、DeepSVDD、DROCC）と比較された。結果は、LLMベースのアプローチがDDDベースの手法を上回らなかったものの、DeepSVDDおよびDROCCよりも優れた性能を示し、競争力のある教師なし異常検知技術としての地位を確立したことを示している。

意義と主張
著者らは、結果を予備的ではあるが有望であると特徴付けている。彼らは、このアプローチが衝突データにおける微細な不一致を捉えることに成功しており、モデルに依存しない探索のための柔軟なトークンベースの表現を提供するものであると主張している。本論文は、トークン化スキームとモデル・アーキテクチャをさらに最適化することで、この手法が将来の高エネルギー物理学解析における稀な標準模型プロセスへの感度向上や、新しい物理学のシグネチャの発見のための実行可能な候補になり得ると示唆している。この研究は、既存のすべての手法を上回ったと主張するものではなく、トランスフォーマー・アーキテクチャを粒子物理学データの特定の構造的課題に適応させる可能性を強調している。