Leveraging Industrial Foundation Models at the Edge of Particle Physics Detectors via Distillation Learning and Hardware Co-design

宇宙の根本的な構成要素を理解しようとする探求の中で、科学者たちは驚異的な複雑さを持つ機械を構築している。これらの粒子検出器は、巨大で超高感度なカメラとして機能し、光速に近い速度で空間を飛び交う亜原子粒子の刹那的な痕跡を捉える。課題は、単にこれらの粒子を見ることではなく、それらを記録することである。現代の実験では膨大な量のデータが生成されるため、すべてを保存することは不可能である。機械は、情報が永遠に失われる前に、ありふれた事象を除外し、稀で興味深い事象のみを選別するという、瞬時の判断を下さなければならない。このフィルタリングは、検出器自体の物理的および電力の制約が厳しい場所、すなわち実験の「エッジ」と呼ばれる場所において、リアルタイムで行われる。これに対処するため、研究者たちは人工知能を活用し、かつてないほど速く、正確にデータストリーム内のパターンを認識する方法を機械に教え込もうとしている。

スタンフォード大学とSLAC国立加速器研究所のGia Ancone氏らによる新しい研究は、この知能をエッジへと持ち込むための斬新な手法を探求している。特定のタスクごとに小さく単純なコンピュータプログラムを一から訓練する代わりに、チームは大規模で事前学習済みの「基盤モデル（foundation model）」から着手した。これは、膨大なライブラリの例から、時間ベースのデータの持つリズムや形状をすでに理解している汎用AIのようなものだと考えてほしい。研究者たちは、この強力で汎用的なモデルを取り出し、粒子検出器からの信号を読み取るという特定の仕事に適応させた。その後、彼らはこの大きなモデルを、不要な複雑さを削ぎ落とすことで縮小し、検出器内部の専用の低電力チップ上で動作可能な極小のバージョンを作成した。「蒸留（distillation）」として知られるこのプロセスにより、巨大なモデルの深い知識を、将来の粒子衝突型加速器の過酷でスペースの限られた環境に適した軽量なパッケージへと転送することが可能となった。

チームはこのアプローチを、2種類の異なる粒子検出器でテストした。1つ目は、電気信号の微小なクラスターをカウントすることで荷電粒子の経路を追跡するドリフトチャンバーである。2つ目は、粒子が発生させる光の特定の混合を分析することで粒子のエネルギーを測定するデュアルリードアウト・カロリメータである。どちらの場合も、目的は生の波形データから精密な物理情報を抽出することであった。研究者たちはまず、大きな基盤モデルを「教師」として微調整し、そのモデルにこれらの特定の物理問題を解くよう教え込んだ。次に、教師の振る舞いを模倣するように、より小さく単純なモデル、すなわち「生徒」を訓練した。決定的なことに、これらの生徒モデルは、高速電子機器で一般的に使用される再構成可能なハードウェアチップの一種である、FPGA（フィールド・プログラマブル・ゲート・アレイ）と互換性があるようにゼロから設計された。さらに、チームは冗長な接続を取り除き、使用する数値を簡略化することでこれらのモデルを圧縮し、検出器の前端電子回路の厳格なメモリと速度の制限内に収まるようにした。

これらのシミュレーション結果は驚くべきものであった。微調整された大きな基盤モデルは、全量の訓練データを与えられた際に従来のあらゆる手法を上回る性能を示し、事前学習済みのAIから始めることが精度の大幅な向上につながることを証明した。より重要なことに、極小化・圧縮された生徒モデルは、これらのタスクのために特別に設計された既存の最良のソリューションと同等、あるいはそれ以上の性能を発揮した。おそらく最も重要な点は、蒸留された生徒モデルの学習速度が非常に速かったことである。研究者が生徒モデルに対して利用可能なデータのわずか一部しか与えなかった場合でも、生徒モデルは高い性能を維持したが、一から訓練されたモデルは、同じレベルの精度に達するためにフルデータセットを必要とした。実際、データのわずか10パーセントで訓練された生徒モデルが、100パーセントで訓練されたモデルと同等の性能に達したのである。これは、初期設計段階でラベル付きの膨大なデータが利用できない可能性のある将来の実験において、この手法が信頼性の高いデータフィルタを開発するために必要な時間とリソースを劇的に削減できることを示唆している。

最終ステップでは、これらのソフトウェアモデルをハードウェア命令へと翻訳する作業が行われた。チームは、圧縮された生徒モデルをFPGAチップの設計へと合成することに成功した。これらの設計は極めて効率的であり、専用のデジタル信号プロセッサを必要とせず、わずか25ナノ秒のレイテンシ（遅延）で動作する。この速度は、粒子が数十ナノ秒ごとに交差する将来の粒子加速器における急速な衝突のペースに追いつくのに十分な速さである。本研究は、産業規模のAIの莫大な力を、検出器チップに収まるほど小さな形態へと蒸留し、複雑な物理タスクをリアルタイムで実行させることが可能であることを裏付けている。これらの結果は現在コンピューター・シミュレーションに基づいたものであるが、明確な進むべき道を示している。事前学習済みモデルとスマートなハードウェア設計を活用することで、科学者たちは間もなく、検出器に、亜原子の世界の混沌を前例のないスピードと精度でふるい分けることができるインテリジェントなシステムを装備させることができるかもしれない。