A Modular Zero-Dead-Time Data Acquisition and Real-Time GPU Processing Platform for High Throughput Physics Experiments

本論文は、高帯域幅 PCIe デジタル化器とコンシューマ向け GPU を統合し、高スループット物理学実験における連続的なゼロデッドタイムデータ取得およびリアルタイム処理を実現するモジュール型ソフトウェア定義プラットフォームを提示し、WISPLC 暗黒物質探索において持続的な 1 GB/s のスループットと無視し得ないデータ損失で実証された。

要約

シンフォニー・オーケストラが稲妻のような速さで演奏している様子を録音しようとしていると想像してください。昔、リアルタイムで音楽を分析したければ、非常に高速だが極めて高価で、プログラミングが難しく、異なる楽器を聴き分けたい場合に変更も困難な、巨大でカスタムメイドの機械（特殊なロボットのようなもの）が必要でした。

この論文は、「モジュール化」アプローチを用いた新たな録音・分析手法を紹介しています。カスタムメイドのロボットに代わり、チームはゲーミング PC などに使われる標準的な高速コンピューター部品と、巧妙なソフトウェアを組み合わせたシステムを構築しました。その仕組みを簡単な概念に分解して以下に示します。

1. 問題：「交通渋滞」

高速物理学実験では、データがラッシュアワーの高速道路よりも速く流入してきます。

• 旧来の方法： 従来のシステムは、この処理のために専用ハードウェア（FPGA）を使用します。これは、交通整理を行う専任の超高速警官のようなものです。完璧に機能しますが、その警官への指示書を作成し変更するには、専門的な訓練を数ヶ月要し、莫大な費用がかかります。
• 新しい方法： このチームは、重い作業を担うために、ビデオゲームに使用されるのと同じ種類の標準的なコンピューターのグラフィックカード（GPU）を利用できることに気づきました。これは、高価でカスタムメイドのロボット 1 台に代わって、効率的で市販の労働者数千人のチームを雇うようなものです。

2. 解決策：「ゼロ・デッドタイム」パイプライン

高速データの録音において最大の懸念は「デッドタイム」です。これは、システムが直前に聞いたデータを処理するために録音を停止する、ごくわずかな時間のことを指します。1 拍でも見逃せば、データは台無しになります。

著者らは、ゼロ・デッドタイムを謳うシステムを構築しました。

• 比喩： 工場のコンベアベルトを想像してください。通常、ベルトが停止して作業者が箱を詰める間、ベルトは止まり、次の箱は待たされます。
• 彼らの工夫： 彼らは、コンベアベルトが決して止まらないシステムを構築しました。ある作業者（GPU）が現在の箱を詰めている間に、別の作業者が次の箱を掴み、さらに別の作業者が次の箱の準備をしています。彼らは「コールバック」システムを使用します。これは、「データが一杯の箱になったら、すぐに処理し、瞬時にベルトに戻ってね」と告げるタイマーのようなものです。
• 結果： 彼らは 10 分間の録音において、データの「1 拍」も見逃さなかったことを証明しました。このシステムは非常に精密で、もしデータを見逃したとしても、それは総時間の 1 兆分の 1 未満に過ぎません。

3. ハードウェア：カスタム「防音ボックス」

電気ノイズを発生させる可能性のある強力なコンピューター部品（GPU）を使用しているため、彼らは慎重に対応する必要がありました。

• シールド： 彼らは、感度の高い録音カードを収めるために、カスタム製のアルミ製ボックス（ファラデーケージ）を構築しました。これは歌手のための防音ブースのようなものです。これにより、コンピューターのファンや電源から発生する「ノイズ」が、彼らが聞き取ろうとしている繊細な物理信号を乱すのを防ぎます。
• 冷却： ボックスが狭いため、電子機器が熱くなりすぎないようファンとヒートシンクを追加し、数週間安定して録音が続けられるようにしました。

4. 「3 つの頭を持つ怪物」（マルチ GPU 構成）

膨大な量のデータを処理するために、彼らはグラフィックカードを 1 枚だけでなく 3 枚使用しました。

• 組立ライン： 彼らは作業を自動車工場の組立ラインのように 3 つの工程に分けました。
  1. GPU 1： 生データを物理的な電圧に変換します（外国語を翻訳するようなものです）。
  2. GPU 2： 複雑な数学計算（高速フーリエ変換）を行い、音を周波数スペクトルに変換します（曲を楽譜に変換するようなものです）。
  3. GPU 3： 結果を平均化し、統計を計算します。
• トレードオフ： これら 3 つのカード間でデータを移動させるには、少し余分な時間がかかります（長いラインで自動車部品を渡すようなものです）が、これにより単一のカードが保持できるよりもはるかに多くのメモリを利用できます。これにより、データ内の非常に微細な詳細を把握することが可能になります。

5. 現実世界での成功：「ダークマター」の探索

彼らは、宇宙の大部分を構成する「見えない粒子」である「ダークマター」を探求するWISPLCと呼ばれる実際の実験で、このシステムをテストしました。

• 勝利： このシステム以前、この実験では膨大な生データが生成され、毎日 21 テラバイトを保存する必要がありました。
• 解決策： システムがデータが流入するにつれて即座に分析（即時平均化）を行うため、最終的な要約された結果のみを保存すればよくなりました。これにより、保存必要量は1 日あたり 21 テラバイトから1 ヶ月あたり 20 テラバイト未満に減少しました。
• 安定性： システムは、クラッシュ、過熱、データ損失なしに 1 ヶ月間連続して稼働しました。

まとめ

この論文は、高価でカスタムメイドの科学用ハードウェアに代わる、柔軟で安価、かつ更新が容易な代替手段を構築したと主張しています。標準的なコンピューター部品と賢明なソフトウェアを使用することで、膨大なデータストリームを処理し、即座に分析し、重要な部分のみを保存する「ゼロ・デッドタイム」録音システムを創り出しました。彼らは、1 ヶ月間にわたるダークマター実験を 1 つの障害もなく成功させることで、その有効性を証明しました。

技術概要

技術概要：モジュール型ゼロデッドタイムデータ取得およびリアルタイム GPU 処理プラットフォーム

問題提起
現代の高スループット物理学実験は、従来のデータ取得（DAQ）パイプラインに課題を突きつける増大するデータ量を生成する。従来のシステムはしばしばオフライン処理に依存しており、これは柔軟な過渡信号の探索やストレージ管理には不十分である。フィールドプログラマブルゲートアレイ（FPGA）またはラジオ周波数システム・オン・チップ（RFSoC）を用いたハードウェアベースの解決策は、決定論的遅延と高効率を提供するが、重大な開発のボトルネックをもたらす。これには、専門的なハードウェア記述言語（HDL）の専門知識（例：VHDL、Verilog）の必要性、長いコンパイル時間、複雑なデバッグサイクル、および高い参入コストが含まれる。さらに、固定されたハードウェアアーキテクチャの硬直性は、実験環境における反復的なアルゴリズム開発を困難にする。

手法
著者らは、高帯域幅 PCIe アナログ - デジタル変換器（ADC）と標準的なコンシューマー向けグラフィック処理ユニット（GPU）を統合する、モジュール型のソフトウェア定義 DAQ プラットフォームを提案する。このシステムは、NVIDIA CUDA を用いた連続的なゼロデッドタイムのデータ取得およびリアルタイム処理を実現するように設計されている。

• ハードウェアアーキテクチャ: コアシステムは、マルチスレッド CPU と複数の CUDA 対応 GPU に組み合わされた Spectrum Instrumentation SPCM シリーズのディジタイザ（M4i.4420-x8 および M2p.5941-x8）を利用する。ホストコンポーネントからの電磁干渉（EMI）を軽減するため、ADC カードはアクティブ冷却を備えたカスタム 10mm 厚のアルミニウムファラデーケージ内に物理的に隔離されている。このプラットフォームは、単一のコンシューマーカードの VRAM 制限を克服し、より高分解能の帯域幅を可能にするために、トリプル GPU 構成（NVIDIA RTX 2080 Ti が 2 枚、RTX A4000 が 1 枚）をサポートする。
• ソフトウェアアーキテクチャ: システムは、POSIX スレッド（pthreads）を使用したマルチスレッド C/C++ アーキテクチャを採用している。これはコールバック駆動型の設計を特徴とし、専用 ADC ワーカースレッドがハードウェア FIFO 環状バッファを管理する。利用可能なデータがユーザー定義の閾値を超えると、ユーザーが提供するコールバック関数が呼び出される。この抽象化により、ユーザーは低レベルのメモリラッピングやハードウェアドライバを管理することなく、カスタム処理ロジック（例：FFT、フィルタリング、統計的平均）を実装できる。
• 処理パイプライン: リアルタイム処理パイプラインには、インターリーブされた int16 ADC データを浮動小数点電圧に変換し、窓関数を適用し、cuFFT ライブラリを使用して高速フーリエ変換（FFT）を計算することが含まれる。マルチ GPU 設定では、ワークロードは 3 つの GPU に逐次的に分散される。最初の GPU で型変換、2 番目の GPU（最も大きな VRAM を保持）で FFT 計算、3 番目の GPU で統計的平均が行われる。この逐次的な分散は、物理デバイス間でのストライド付きメモリコピーの複雑さを回避するが、ホスト RAM 転送のオーバーヘッドを導入する。

主な貢献

1. モジュール型ソフトウェア定義アーキテクチャ: 標準的な PCIe ディジタイザとコンシューマー向け GPU を使用して、連続的な高スループット信号取得およびリアルタイム処理を可能にする DAQ システムの実現。これにより、専門的な FPGA ファームウェアの必要性が排除される。
2. コールバック駆動型設計: ユーザーがコールバックを介して処理ロジックを定義する柔軟なフレームワークの実装。これにより、導出統計量（電力、分散、スペクトル平均）のリアルタイム計算が可能となり、異なる信号処理アルゴリズムへの容易な適応が実現される。
3. ゼロデッドタイムの検証: 位相連続性テストおよび長期安定性ランを通じて検証された、連続的な取得能力の現地デモンストレーション。
4. マルチ GPU ワークロード分散: 個々の VRAM 制約にもかかわらず、高分解能帯域幅を達成するために FFT および平均化タスクを複数の GPU に分散する戦略。

結果

• 性能ベンチマーク: このプラットフォームは、最大 500 MSa/s のサンプリングレートで連続処理を維持し、1 GB/s のデータスループットを管理する。最大レートにおいて、総リアルタイム処理は利用可能な DAQ 時間の約 80% を消費する。これは主にホスト RAM を経由する GPU 間メモリ転送の遅延によるものである。WISPLC 実験で使用された 124 MSa/s という低いレートでは、処理使用量は約 20% に低下する。
• ゼロデッドタイムの検証:
  • ファイル境界分析: 9 Hz から 19.8 MHz までの各種周波数で正弦波信号を注入するテストにより、ファイル境界を跨ぐ位相の連続性が確認された。モンテカルロシミュレーションとの統計的比較は、ゼロデッドタイムモデルとの一致を示し、バッファのラップアラウンド中のデータ損失を否定した。
  • エンドツーエンド検証: 3 MHz 信号の 10 分間の連続取得により、分数データ損失を $5.6 \times 10^{-12}$ 以下に制限した（これは 3.33 ns 未満の仮想的なデッド時間に相当）。これは 125 MSa/s における単一のサンプリング間隔未満である。
• 長期安定性: システムは、クラッシュ、メモリ破損、または性能劣化なしに 1 ヶ月間連続して稼働した。カスタム冷却ソリューションは安定した ADC 温度（約 48°C）を維持し、熱ドリフトを防いだ。
• 応用への影響: ダークマター実験である WISPLC において、プラットフォームは 0.1 Hz の分解能帯域幅で 124 MSa/s にて稼働した。リアルタイムスペクトル平均化により、1 日あたりのデータ保存要件は 21 TB から 1 ヶ月あたり 20 TB 未満に削減された。

意義
本論文は、コンシューマー向け GPU を活用した高性能なソフトウェア定義 DAQ プラットフォームが、中規模から大規模の実験室設定において、FPGA のような専門的で硬直したハードウェアパイプラインを効果的に代替し得ることを確立する。標準的な C/C++ および CUDA プログラミングを活用することで、このシステムは高スループット実験への参入障壁を大幅に低下させ、ハードウェアの再設計なしに信号処理アルゴリズムの迅速な反復を可能にする。複雑なリアルタイム平均化を実行しながら高サンプリングレートでゼロデッドタイムを維持する実証能力は、従来のデジタルベースバンド変換器（DBBC）システムおよび FPGA ベースの解決策に対する、柔軟かつ費用対効果の高い代替案を提供する。著者らは、現在の実装が特定の物理学のニーズに対応している一方で、適切な RF ハードウェアが統合されれば、信号合成やネットワーク分析を含むより広範な応用に適応可能であると指摘している。