技術要約: SparsePixels: FPGAにおける疎データのための効率的な畳み込み演算

1. 問題提起

粒子物理学の実験において、FPGA上に展開される標準的な畳み込みニューラルネットワーク（CNN）は、高い推論レイテンシと長いイニシエーション・インターバル（II）に悩まされることが多い。この非効率性は、標準的な畳み込みが、入力ピクセルに意味のある情報が含まれているかどうかにかかわらず、すべての入力ピクセルを密に処理する必要があることに起因する。ガスのチャンバーにおけるミューオン・トラッキングや、液体アルゴン時空投影室（LArTPC）におけるニュートリノ識別など、現代の多くの検出器アプリケーションでは、入力データは空間的に疎（スパース）である。例えば、ミューオンの軌跡は2D画像内の0.3%未満しか占めず、LArTPCにおけるニュートリノの軌跡は、非ゼロピクセルがわずか0.01%であることもある。

hls4mlライブラリなどを用いた現在のFPGA実装は、通常、リソース制約を管理するためにストリーミングI/Oに依存している。ストリーミングはリソース使用量を削減できる一方で、ピクセルを逐次的に処理するため、画像サイズに対して線形にスケールするレイテンシ（例：数千の空のピクセルをスキャンする）を招く。これは、40 MHzの衝突率を処理するためにマイクロ秒またはサブマイクロ秒の決定レイテンシを必要とする高エネルギー物理学実験のリアルタイム・トリガー・システムにとって、標準的なCNNを不可能にしている。

GPU向けの既存の疎な畳み込み手法（MinkowskiEngineやSpConvなど）は、能動的なピクセルの集合が層を越えて「膨張（dilate）」することを許容し、計算コストを増大させたり、不規則なデータフローによって実行時間が入力依存になったりすることが多い。厳格なレイテンシ境界を持つシステムにおいて、可変的な実行時間は受け入れられない。

2. 手法: SparsePixelsフレームワーク

著者らは、一定かつ入力に依存しない実行時間を維持しながら、FPGA上で疎な畳み込みを実装するために設計されたフレームワークであるSparsePixelsを導入する。その核心となる哲学は、少数の、あらかじめ指定された能動的なピクセルのサブセットのみを選択的に保持して計算し、それ以外を無視することであり、これにより、あらゆる入力に対して総演算数が固定されることを保証する。

2.1 コア・アーキテクチャ

本フレームワークは、高位合成（HLS）向けに設計された5つの特殊な疎レイヤーで構成されている：

1. Sparse Input Reduction（疎な入力削減）: 第1層は、能動的なピクセル（閾値を超えるもの）を特定し、それらをコンパクトな配列へと抽出する。HLSにおけるスケジューリングの問題（データ依存の書き込みアドレスによるもの）を避けるため、著者らは再帰的なバイナリ削減ツリーを採用している。このハードウェア効率の高いスキームは、固定パターンで入力をスキャンし、特徴量配列（afeat）と座標ハッシュ配列（ahash）の2つの配列を生成する。保持されるピクセル数は、ハイパーパラメータ $N_{max}^{active}$ によって制限される。
2. Sparse Convolution（疎な畳み込み）: この層は、疎性を保持する畳み込みを実行する。極めて重要な点は、出力ピクセルが、同じ位置にある対応する入力ピクセルが能動的である場合にのみ計算されることである。これにより、他の疎な手法で見られる能動的な集合の「膨張」を防ぐ。このアルゴリズムは、完全な画像グリッドではなく、固定サイズの疎な配列に対して反復を行う。反復回数は、カーネルサイズ $K$ ではなく、$N_{max}^{active}$ に依存する。これは、カーネルの位置が明示的な $K^2$ 個の全位置に対するループではなく、オフセットチェックによって決定されるためである。
3. Sparse Activation（疎な活性化）: 疎な特徴量配列に対して要素ごとの非線形性を適用する。
4. Sparse Pooling（疎なプーリング）: 座標をマッピングし、同じプールに収まるピクセルの特徴量を累積することで、疎な表現をダウンサンプリングする。
5. Sparse Flattening（疎なフラットニング）: 最終的な疎な表現を、標準的な密な層（MLP）への接続のために、再び密な配列へと変換する。

2.2 実装の詳細

• 一定の実行時間: システムは固定サイズ（$N_{max}^{active}$）の配列上で動作し、入力に能動的なピクセルが少ない場合は無効フラグでパディングされるため、推論レイテンシは実際の入力の疎性に依存しない。
• 学習: QKerasをバックエンドとする量子化認識学習（QAT）を用いて、これらの疎なCNNを訓練するためのPythonライブラリが開発された。この学習は、固定の $N_{max}^{active}$ 制約を含むHLSの挙動を模倣している。
• ハードウェアターゲット: 本設計は、Vitis HLSを使用し、200 MHzで動作するAMD/Xilinx Alveo FPGA (xcu250) をターゲットとしている。

3. 主な貢献

1. 疎な畳み込み手法: 入力疎性に依存せず一定のレイテンシを保証するために、能動的なピクセルを適応的に選択するが、固定の計算予算（$N_{max}^{active}$）を強制する、FPGA向けの新しいアプローチ。
2. 概念実証の実装: 標準的なCNNと比較して同等のモデル性能を維持しつつ、空間的に疎な画像データに対して大幅なFPGA推論高速化を実現したデモンストレーション。
3. オープンソース・ツール: 疎なCNNを訓練するためのPythonライブラリと、展開のためのC++ HLSモジュールを公開しており、粒子物理学コミュニティへの導入を促進する。

4. 実験結果

著者らは、疎化されたMNISTバリアント、MicroBooNEニュートリノ検出、およびLHCジェット・フレーバー・タギングの3つのデータセットでSparsePixelsを評価した。モデルはコンパクト（約4kパラメータ）であり、ストリームI/Oを用いて実装された標準的なCNNベースラインと比較された。

• 性能 vs レイテンシ: MicroBooNEデータセット（63×63画像、約4kピクセル）において、標準的な8ビットCNNは推論に 48.665 µs（9,733クロックサイクル）を要した。これに対し、SparsePixelsの「sparse-large」バリアント（わずか20個の能動ピクセル、すなわち入力の1%未満を計算）は、0.665 µs（133クロックサイクル）の推論時間を達成した。これは、無視できる程度の性能低下（ROC AUCの2%未満の低下）を伴いつつ、73倍の高速化を実現している。
• スケーラビリティ: MNIST（最大41倍）およびLHCジェット・タギング（最大112倍）においても同様の高速化が観察された。
• リソース利用率: 疎なCNNは、並列化のためのループ展開により、ストリーミングによる標準的なCNNよりも多くのリソースを使用するが、その使用量はオンチップ予算内に十分に収まっている（例：最大のモデルでもLUTの約20%）。
• イニシエーション・インターバル (II): 疎なCNNのIIは、疎な入力削減層（第1層）によってのみ決定される。これは、後続の層が固定サイズの疎な配列上で並列に動作するためである。

5. 意義と限界

意義:
本論文は、SparsePixelsが、標準的なCNNではレイテンシの問題から現在不可能となっている、現代の粒子物理学トリガーに求められる超低レイテンシ（サブマイクロ秒）領域でのCNNの展開を可能にすると主張している。精度を制御可能な範囲で犠牲にすることで、劇的な高速化を実現することにより、本フレームワークは高輝度LHCのような実験における、より高度なオンライン・アルゴリズムの導入を可能にする。

限界と今後の課題:

• 並列化の制約: 現在の実装は、レイテンシを最小化するためにループを完全に展開（フルアンロール）しており、これがFPGAのリソース枯渇による最大入力サイズとモデルの複雑さの制限となっている。将来的には、レイテンシとリソース効率をトレードオフにするための、柔軟な並列化制御の導入を目指している。
• ハイパーパラメータのチューニング: $N_{max}^{active}$ の選択は現在は経験的なものである。著者らは、将来のバージョンにおいて、このパラメータ（およびおそらく閾値）を学習可能にすることを提案している。
• 量子化: 現在のバックエンドは、層ごとの一様量子化を使用している。将来のアップグレードでは、より微細な制御のための高粒度量子化（HGQ）を採用する計画である。

著者らは、SparsePixelsが、マイクロ秒レベルのレイテンシ要件を持つ実験における効率的なデータ読み出しへの実行可能な道筋を提供し、複雑なMLモデルの必要性と、リアルタイム・ハードウェア・トリガーの厳格なタイミング制約との間の溝を埋めるものであると結論付けている。