Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

本論文は、HL-LHCで予想される高パイアップ条件下において、ベイズ的手法およびDeep Evidential Regressionを用いて、ATLASカロリメータのFPGA上で動作する様々なニューラルネットワークアーキテクチャ（Dense、CNN、およびDense+RNN）を最適化し、従来の手法と比較して優れたエネルギー分解能と正確な不確かさ推定を実現する研究を提示するものである。

要約

ATLAS検出器を、宇宙の音を聞き取る巨大で超高感度なマイクだと想像してみてください。25ナノ秒ごとに、2つの陽子ビームが衝突し、粒子の混沌とした交響曲を生み出します。この「マイク」（具体的には液体アルゴン・カロリメータ）は、粒子が作り出す電気的な「パルス」を聴くことで、粒子のエネルギーを測定しようとします。

しかし、問題があります。オーケストラがより大きく、より混雑してきているのです。将来のアップグレード（HL-LHCと呼ばれます）では、同時に発生する衝突があまりに多いため（「パイロットアップ」と呼ばれる現象）、信号が絡まったヘッドホンの山のように重なり合ってしまいます。これらの信号を解きほぐすための従来の手法（「最適フィルタリング」と呼ばれます）は、まるで古い、遅い耳を使ってロックコンサートの中の単独のバイオリンの音を聞こうとしているようなもので、混乱してしまい、真の音量を聞き逃してしまいます。

本論文では、新しい解決策を提示します。それは、検出器の脳に、現代のAIのように考えることを教えることです。

以下に、簡単な比喩を用いて、彼らが行ったことを分解して説明します。

1. 課題：小さくて速い脳

検出器には、データを処理するためのスーパーコンピュータはありません。データが収集されるその場で、即座に判断を下さなければなりません。そのため、FPGA（Field-Programmable Gate Array）と呼ばれる専用のチップを使用します。これらは、非常に厳格なルールを持つ、小さくて超高速な計算機のようなものです。

• 速度： ハチドリが羽ばたく時間（125ナノ秒）よりも短時間で、粒子のエネルギーを決定しなければなりません。
• サイズ： メモリ容量が非常に限られています。巨大で重いソフトウェアプログラムをインストールすることはできません。

2. 解決策：新しいニューラルネットワークの「レシピ」

研究者たちは、これらの小さな計算機に、乱れた信号を認識する方法を教えようと試みました（ニューラルネットワーク（AIモデル）を使用）。彼らは、速度やサイズの制限を破ることなく、ノイズを最もよく解きほぐせるのはどれかを確かめるために、4つの異なる「レシピ」（アーキテクチャ）をテストしました。

• RNN（リカレントニューラルネットワーク）： 物語を一度に一単語ずつ読み、現在の単語を理解するために前の単語を記憶する人のようなものです。これはシーケンス（連続したデータ）には適していますが、この混雑した環境では、大きくなりすぎ、動作が遅くなってしまいました。
• CNN（畳み込みニューラルネットワーク）： セキュリティカメラが廊下をスキャンするように、スライディングウィンドウを通してパターンを見るようなものです。信号の塊を一度に見て、形を探します。これは非常によく機能しました。
• Dense Network（高密度ネットワーク）： パズルを解くために全員が互いに話し合うエキスパートのチームのようなものです。これも非常によく機能しました。
• 「Dense + RNN」ハイブリッド： 両方の良いとこ取りを狙った混合モデルです。

3. チューニング・プロセス：「スマートな探索」

研究者たちは、単にレシピを推測したわけではありません。ベイズ最適化というプロセスを用いました。

• 比喩： ケーキを焼くのに最適な温度を見つけようとしていますが、オーブンが壊れる前に数回しか試せません。ランダムに推測するのではなく、「よし、180℃で試したが、乾燥しすぎた。次は190℃にしよう。ただし、小麦粉は少し減らそう」と言うスマートな助手を使います。
• 彼らは、この「スマートな助手」を使用して、精度（エネルギーを正しく測定すること）とサイズ（コードをチップに収まるほど小さく保つこと）という、相反する2つの目標のバランスを取りました。その結果、AIが十分に小さく、かつ従来のメソッドよりも賢い、「スイートスポット」を見つけ出しました。

4. 結果：より鮮明なイメージ

これらの新しいAIモデルを従来の「最適フィルタリング」と比較テストした結果：

• より高い精度： 新しいAIモデル（DenseおよびCNN）は、約80 MeV（非常に小さなエネルギー単位）の精度でエネルギーを測定できました。従来のメソッドやRNNは、精度が低かった（約90 MeV）です。
• 過小評価の解消： 従来の手法は、エネルギーが実際よりも低いと考えて、信号の「ボリュームを下げる」傾向がありました。新しいAIモデルは、正しい音量を捉えました。
• 効率性： 勝者となったモデルは非常に小さく（500回未満の「数学的演算」を使用）、ハードウェアに収まることが証明されました。

5. ボーナス機能：「確信度はどのくらい？」

通常、AIは答えを出しますが、その確信度は示しません。それは、天気アプリが「雨が降ります」と言うだけで、それが50%の確率なのか99%の確率なのかを教えてくれないようなものです。

• 研究者たちは、Deep Evidential Regressionと呼ばれる特別な手法を追加しました。
• 比喩： これは、AIに「信頼度メーター」を与えるようなものです。これにより、AIが「この粒子は50 GeVのエネルギーを持っています」と言ったとき、「私はこれに95%の自信があります」あるいは「ノイズが変だったので、少し曖昧です」と言うことができるようになります。
• 彼らは、この信頼度メーターが正確であることを突き止めました。これはAIを遅くしたり大きくしたりすることなく、科学者がどの測定値が信頼できるかを知るための手段を提供しました。

まとめ

本論文は、スマートで小さなAIモデル（特にDenseおよびCNNネットワーク）を使用し、「スマートな探索」メソッドで調整することで、ATLAS検出器が将来の高エネルギー衝突の混沌に対処できるようになることを示しています。これらの新しいモデルは、検出器内の小さく高速なチップの中に収まりながら、より速く、より正確であり、さらにはデータに対してどの程度の確信を持つべきかを科学者に伝えることさえできるのです。

技術概要

技術要約：ATLASオンライン・カロリメータ・データ処理のための最適化されたニューラルネットワーク

問題提起
高輝度大型ハドロン衝突型加速器（HL-LHC）は、極端な信号パイルアップ（最大200回の同時陽子陽子衝突）をもたらす。この環境は、パルスが重なり合う際にエネルギー再構成の性能を低下させるため、現在のATLAS液体アルゴン（LAr）カロリメータで使用されている最適フィルタリング（OF）アルゴリズムの性能を劣化させる。フェーズIIのLAr読み出し電子回路のアップグレードでは、INTEL Agilex 7 フィールド・プログラマブル・ゲート・アレイ（FPGA）に基づいた新しいハードウェアが導入される。これらのFPGAは処理能力の向上を実現する一方で、オンライン・エネルギー再構成において、厳格なレイテンシ（125 ns未満）およびネットワークサイズ（1セルあたり約500回の積和演算、すなわちMACに制限）という制約を課している。課題は、高パイルアップ下でのエネルギー分解能においてOFアルゴリズムを凌駕しつつ、これらの厳しいハードウェア制約を遵守し、かつ信頼性の高いイベントごとの不確実性推定を提供するニューラルネットワーク（NN）アーキテクチャを開発することである。

手法
本研究では、デジタル化されたパルスサンプルを入力として、カロリメータセルに堆積した横方向エネルギーを予測するように設計された4つのニューラルネットワーク・アーキテクチャを評価する。入力データには、前方の堆積サンプル（前回の衝突によるパルス歪みを考慮するため）と、後方の堆積サンプル（対象となるエネルギー堆積のパルス形状を捉えるため）が含まれる。

1. 評価されたアーキテクチャ:

   • リカレントニューラルネットワーク（RNN）: サンプルを逐次的に処理する。時系列データに対しては効率的であるが、標準的なRNNは長い依存関係を捉えるために大きな内部次元を必要とし、長大なシーケンスに対してはFPGAのリソース制限を超えることが多い。
   • 畳み込みニューラルネットワーク（CNN）: 入力サンプルに対して1次元および2次元のフィルタをスライディングさせる。重みの共有を利用し、以前のバッチクロッシングからの計算を再利用することでレイテンシを削減する。
   • Dense+RNN: ハイブリッド・アプローチであり、デンス層が前方の堆積サンプルを処理して後方の堆積サンプルのためのRNNシーケンスを初期化することで、RNNの利点と計算コストの削減のバランスを図る。
   • Staged Dense（多段デンス）: デンス層のみを用いた多段階アーキテクチャ。前方の堆積サンプルが第1ステージで処理されて歪みの補正が行われ、それが後方の堆積サンプルと第2ステージで結合される。これにより、第1ステージの事前計算が可能となり、レイテンシを最小限に抑えられる。

2. 最適化戦略
   ハイパーパラメータ（例：前後堆積サンプルの数、層の次元、カーネルサイズ）をチューニングするために、ベイズ最適化手順が採用された。目的関数は、エネルギー分解能とネットワークサイズ（MAC数）のバランスを取り、500 MACを超えるアーキテクチャにはペナルティを、850 MACを超える場合には厳しいペナルティを適用することで、FPGAへの実装可能性を確保した。

3. 不確実性推定
   （サンプリングを必要とするベイズニューラルネットワークの計算コストを避けつつ）イベントごとのエネルギー不確実性を得るために、著者らは**ディープ・エビデンシャル回帰（DER）**を実装した。この手法は、最終層を修正して正規逆ガンマ分布のパラメータを出力するようにし、予測エネルギーとその関連するアレオリック（データノイズ）およびエピステミック（モデルの不確実性）の両方の不確実性を推論することを可能にする。

4. シミュレーションと学習
   ネットワークは、AREUSツールキットを用いて、最悪のケースのパイルアップ（$\langle\mu\rangle = 200$）および0から130 GeVの硬い散乱事象を含むシミュレーションデータを用いて学習およびテストされた。統計的なゆらぎを最小限に抑えるため、最終評価には1,300万件のイベントを用いたデータセットが使用された。

主な結果

• エネルギー分解能: 最適化されたDense、CNN、およびDense+RNNアーキテクチャは、約80 MeVの横方向エネルギー分解能を達成した。これは、現在のOFアルゴリズムおよびRNNアーキテクチャ（約90 MeVを達成）の両方を上回る性能である。
• エネルギースケールの正確性: OFアルゴリズムや標準的なRNNとは異なり（OFはインタイム・パイルアップを無視し、RNNは限定的な入力では長距離依存関係を捉えられない）、Dense、CNN、およびDense+RNNネットワークは、全ダイナミックレンジにわたってエネルギースケールを正確に再現した。
• ハードウェアの実現可能性: すべての成功したアーキテクチャ（Dense、CNN、Dense+RNN）は、500 MACユニット未満を使用するように最適化されており、厳格なレイテンシ制約内でのAgilex 7 FPGAへの実装に適している。
• 不確実性の性能: DERの実装による計算オーバーヘッドは最小限であった。予測された不確実性（$\delta_{pred}$）は、平均して実際の真のエネルギーと予測エネルギーの差と一致していることが確認された。プル分布 $(E_{pred} - E_{true})/\delta_{pred}$ の標準偏差は0.75であり、不確実性をわずかに過大評価しているものの、全体としては信頼できるものであることを示した。分析の結果、エピステミック不確実性が支配的であることが示され、より大きなデータセットや洗練されたアーキテクチャによる改善の余地があることが示唆された。

意義と主張
本論文は、現代的な機械学習アルゴリズムが、ATLAS LArカロリメータのオンライン読み出しチェーンに正常に組み込めることを実証している。主な意義は、解像度とハードウェア制約の間のトレードオフの成功にある：

• 本研究は、DenseおよびCNNアーキテクチャが、レガシーなOF手法と比較してエネルギー分解能を約**8%**向上させつつ、フェーズIIのFPGAハードウェアの厳格なMAC制限内に収まることを証明している。
• 前方の堆積サンプルがパルス歪みを捉えるために不可欠であることを証明しており、純粋なRNNアプローチは、長いシーケンスに対してリソース集約的であるため、競争力が低いことを示している。
• ディープ・エビデンシャル回帰を通じて、実用的なイベントごとの不確実性推定手法を導入した。これは推論コストを大幅に増やすことなく実現できる。この機能は、クラスタリングアルゴリズムにおけるセルエネルギー選択を改善するためのステップとして提示されており、高パイルアップ環境における電子や光子といった物理オブジェクトのより正確な再構成を可能にする。

著者らは、最適化されたこれらのネットワークがFPGAへの展開に適しており、トリガーおよび読み出しシステムの厳格なレイテンシおよびリソース要件を損なうことなく、現在のアルゴリズムよりも優れた性能を提供する、ATLASフェーズIIアップグレードへの実行可能な道筋を提示していると結論付けている。