A real-time demonstrator of track reconstruction with FPGAs at LHCb

本論文は、LHCb の Run 3 運用中にライブデータを処理しながら、アライメント定数との同期、データ分配、およびアーキテクチャを詳述する、LHCb VELO 検出器における 30 MHz のトラック再構成のためのリアルタイム FPGA ベースの実証機を提示する。

要約

大型ハドロン衝突型加速器（LHC）を、粒子が乗客である巨大な高速鉄道駅と想像してください。毎秒、3000 万の「バウンチ」と呼ばれる粒子の塊が互いに衝突し、データという混沌とした爆発を生み出します。LHCb 実験は、何が起きたかを理解するために、すべての衝突の瞬間を撮影しようとする巨大なカメラのようなものです。

問題は、データが多すぎるということです。すべての写真を保存しようとすれば、ハードドライブは瞬時に満杯になり、コンピュータはフリーズしてしまいます。通常、「ボーダー」（コンピュータプログラム）が入口に立ち、大部分の写真を捨て、興味深いものだけを残します。しかし、駅が混雑するにつれて（衝突が増えるにつれて）、ボーダーはより速く、より賢く働く必要があります。

この論文は、FPGA と呼ばれる特殊なコンピュータチップを用いて構築された、超高速の新しい「ボーダー」について説明しています。その仕組みを簡単に解説します。

1. 「人工網膜」（スマートな目）

チームは「人工網膜」と呼ばれるシステムを構築しました。これは、巨大でハイテクなセキュリティグリッドのようなものです。

• グリッド: チェス盤を想像してください。各マスが、独立した小さな労働者です。
• 役割: 各労働者は、粒子の軌跡（トラック）の特定の「パターン」を担当します。
• プロセス: 粒子がセンサーに当たると、信号（ヒット）を送ります。システムは単一のパターンを探すだけでなく、そのヒットが同時に多くの異なるパターンに適合するかどうかをチェックします。
• 結果: ヒットがパターンにうまく適合すれば、その労働者は「興奮」します（電球が点灯するのと同じです）。特定のパターンに対する労働者が十分に興奮すれば、システムは「アハ！トラックが見つかった！」と言います。

2. 交通システム（配信ネットワーク）

最も難しい部分は、データをセンサーから適切な労働者へ届けることです。

• 問題: 一つの粒子ヒットが複数の異なるパターンに適合する可能性があるため、それをコピーして複数の労働者に送る必要があります。これにより、交通渋滞が発生します。
• 解決策: チームは、光ファイバーケーブル（光速のデータ）で構成されたカスタムの「高速道路システム」を構築しました。彼らは、交通を整理するスマートな仕分け機（スイッチ）を設計しました。
• 最適化: データをランダムに送るのではなく、類似したパターンがグループ化されるように労働者を配置しました。これは、同じトピックの本を同じ棚に整理する図書館のように、必要なものをより迅速に見つけられるようにするものです。これにより、システムが詰まるのを防ぎました。

3. 試運転（実証機）

チームは、このアイデアを検証するためのプロトタイプ（「実証機」）を構築しました。

• 設定: 彼らは、単一のサーバーラック内に収まるように、光ファイバーケーブルで接続された 8 枚の高性能コンピュータボードを使用しました。
• 対象: 彼らは、衝突が最初に発生する実験の「正面玄関」とも言える検出器の特定部分、VELO（頂点検出器）に焦点を当てました。この領域の約 4 分の 1 をカバーしました。
• シミュレーション: まず、システムに実際の LHC 衝突を模倣した偽のデータを入力しました。システムは 10 日間連続でクラッシュすることなく稼働し、1 秒あたり 1900 万のイベントを処理しました。これは驚異的な速さです！（目標は 3000 万ですが、非常に近づいています。）

4. 実世界でのテスト（ライブデータ）

本当のテストは、LHC が実際に物理実験を実行している間に、システムをライブデータで運用することでした。

• 課題: 実データはごちゃごちゃしており、常に変化します。システムは、センサーの正確な位置を知るために、最新の「アライメント定数」（これらを最新の地図座標と考えてください）を使用する必要もありました。
• 結果: 彼らは、実験の監視システムからライブデータをプロトタイプに供給するための特別な橋を構築しました。システムは 7 月と 9 月の実際の物理実験中に円滑に稼働しました。
• 成果: プロトタイプが見つけたトラックは、標準的な低速ソフトウェアが見つけたトラックと全く同じでした。これは、システムが実世界で何ら破損することなく機能することを証明しました。

結論

この論文は、「網膜」パターンに配置された新しい種類のハードウェア（FPGA）が、素粒子物理学データのための超高速フィルターとして機能し得ることを示しています。これは、LHC からのリアルタイムデータを成功裡に処理し、毎秒数百万の衝突を圧倒されることなく処理しました。

チームは、この技術が LHC の次の大規模なアップグレード（ラン 4）に準備できると結論付けています。この重労働をこれらの高速チップに移すことで、メインコンピュータの処理能力を他のタスクに割り当てることができ、将来さらに多くの衝突を処理できるようにします。

技術概要

技術概要：LHCb における FPGA を用いたリアルタイム・トラック再構成の実証機

問題提起
高エネルギー物理学（HEP）実験は、データフローと複雑さの増大という課題に直面しており、一方ではムーアの法則が鈍化の兆候を示しています。LHCb 実験、特にラン 3 および将来の「アップグレード II」（ルミノシティを 5 倍から 10 倍に増大させるもの）は、完全な LHC 衝突レート（30 MHz）でのリアルタイムデータ処理を処理するために、高度な異種コンピューティング・アーキテクチャを必要とします。従来の CPU/GPU ベースのハイレベルトリガー（HLT）は、膨大なデータ量と、時間多重化や過剰なバッファリングなしのゼロ・レイテンシ処理の必要性に対して、困難に直面する可能性があります。課題は、検出器読み出しから直接リアルタイムにトラックを再構成できる、スケーラブルで並列処理可能なソリューションを開発することです。

手法
著者らは、「人工網膜（Retina）」アーキテクチャに基づく実証機を提示します。これは、FPGA（Field-Programmable Gate Arrays）上に実装された、高度に並列化されたカスタム・トラッキング・プロセッサです。

• アルゴリズム的アプローチ: Retina アーキテクチャは、トラックパラメータ空間をセルの行列（$M \times N$）に離散化します。各セルは参照トラックを表し、入力される検出器ヒットがその参照トラックとどの程度適合するかに基づいて「興奮レベル」を計算する計算エンジンを含みます。これはヒューグ変換を模倣します。ヒットは、トラックの「受容体」（検出器層との交点）からの距離に基づき、ガウス分布を用いて決定された重みで加算器に寄与します。興奮マップの局所最大値は、トラック処理ユニット（TPU）によって同定され、候補トラックパラメータを推定します。
• ハードウェア実装: 本実証機は、単一サーバー内に収容された 8 枚の PCIe ホスト型 Stratix 10 FPGA ボード（Bittware 520N）を利用し、高速光ネットワークを介して相互接続されています。このシステムは LHCb コプロセッサ・テストベッド施設に統合されており、標準的なデータ取得（DAQ）システムに干渉することなく、物理ラン中に機会を捉えてライブデータを処理できます。
• 配信ネットワーク: 中核的なコンポーネントは、モジュラー・スプリッター（2s）、マーガ（2m）、ディスパッチャ（2d、4d、8d）から構築されたカスタム配信ネットワークです。このネットワークは、DAQ 読み出しからのヒットを関連する FPGA セルへルーティングします。ヒットの乗算（1 つのヒットが複数のトラックに寄与する場合）によるネットワーク混雑を防ぐため、著者らは最適化戦略を実装しました。これには、最も共通するヒットを持つ TPU をペアリングするように TPU を順序付けし、ヒットの重複を TPU に最も近い層まで遅延させることが含まれます。さらに、ポスト・スイッチはライン占有を制限するため、8x16 ディスパッチャ構成に変更されました。
• データ処理: システムは 2 つのモードでテストされました。
  1. シミュレーションデータ: 名目上のラン 3 ルミノシティ（$2 \times 10^{33} \text{ cm}^{-2}\text{s}^{-1}$）で生成されたイベントが内部 RAM にロードされました。
  2. ライブデータ: 監視ファームからの実際の LHCb 衝突データを実証機へ供給するためのカスタム・データチェーンが開発されました。このチェーンには、条件データベースからリアルタイムのアライメント定数を取得する「AlignmentChecker」と、ローカル・センサー座標をグローバル LHCb システムに変換する「DecodeTransform」が含まれていました。

主要な貢献

• プロトタイプ実証機: 38 個の VELO（Vertex LOcator）モジュールのうち 16 個（具体的には右側下流象限）を網羅する大規模な実証機の構築。これは実際の検出器の相当部分を代表しています。
• 最適化された配信ネットワーク: 中間層におけるヒット乗算係数を最小化し、スループットを大幅に改善する、スイッチネットワーク用の特定の順序付けアルゴリズムの開発。
• リアルタイム統合: FPGA ベースのシステムをライブの LHCb DAQ 環境に成功裏に統合し、更新されたアライメント定数を用いてリアルタイムで衝突データを処理する能力を実証。
• 同期: 正確な物理分析に不可欠な要件である、最新の検出器アライメント定数とトラック再構成を同期させるメカニズムの実装。

結果

• スループット: 名目上のラン 3 ルミノシティにおけるシミュレーションデータ処理時、システムは19.0 MHzのイベントレートを実現しました。これは、同じ条件下でわずか 170 kHz しか達成しなかった非最適化スイッチ構成と比較して、劇的な改善です。
• 信頼性: システムはシミュレーションデータ上で 10 日間無停止で稼働し、ライブデータ取得中（7 月中旬および 9 月）も約 60 日間、クラッシュや異常動作なしに円滑に動作しました。
• 精度: 実証機から再構成されたトラックは、トラックパラメータの 2 次元分布（$u-v$ 空間）において、標準的な LHCb ソフトウェア再構成（HLT2）と定性的に一致しました。ビットレベルの整合性は、ライブデータストリームに定期的にシミュレーションデータパケットを注入し、C++ ビットワイズ・エミュレータの出力と一致することを確認することで保証されました。
• 限界: 達成された 19.0 MHz のレートは、現在、目標となる LHC 平均ビーム交差レート 30 MHz より 1.58 倍低い水準です。著者らは、最終的な選択ロジック（受入カット、クローン殺し）が本実証機ではまだ実装されていないと指摘しています。

意義と主張
本論文は、Retina 技術が将来の HEP 実験における実世界応用に適した成熟度 reached したと主張しています。高レートでのライブ LHCb データ処理の成功な実証に加え、特定のファームウェアおよびアーキテクチャ最適化（さらなるクロック周波数の増加やロジックチェーンの改善など）の特定は、現在のハードウェア世代を用いれば 30 MHz という目標レートが達成可能であることを示唆しています。

したがって、LHCb 協力グループは、ラン 4 において Retina アーキテクチャの最初の物理応用を実施するよう LHC 科学委員会に提案書を提出しました。この応用は、読み出しレベルで透過的に動作する FPGA へのトラック再構成の一部のオフロードを目指しており、それによって HLT1 の計算能力を節約します。この研究は、将来の高ルミノシティ・ランで予想される極端なデータレートを処理するために、FPGA ベースの「人工網膜」アーキテクチャを使用する可行性を検証するものです。