FAST-HEP: Compiling Declarative Analysis Workflows for High-Energy Physics and Beyond

大型ハドロン衝突型加速器のような装置の中で行われる、粒子同士の広大で静かな衝突の中で、科学者たちは宇宙を支配する根本的な法則を探し求めています。これらの法則を見つけ出すために、彼らは数十億ものイベントの中に隠された稀なパターンを探しながら、膨大なデータの山を精査しなければなりません。このプロセスは単一の実験ではなく、数十年にわたる長期的な科学的旅路であり、しばしばそれを生み出した特定のコンピュータプログラムやソフトウェアツールさえも追い越していくものです。課題は、分析を一度実行することだけではなく、基礎となるテクノロジーが変化し、関わった人々が去り、データ形式が進化したとしても、数年後に同じ科学的な問いを投げかけ、答えを出せるようにすることにあります。もしデータの処理方法に関する指示書が失われたり、理解できないほど複雑に絡み合ったりしてしまえば、その科学的結果は検証も再構築も不可能な「ブラックボックス」となってしまいます。

この長期的な科学的生存という問題を解決するために、ブリストル大学のルーク・クレツコによって、Flowというワークフローエンジンを中心としたFAST-HEPと呼ばれるシステムが開発されました。このシステムは、科学的分析を単なる一連のコンピュータ命令としてではなく、科学者が何を達成したいのかという明確に記述された内容として扱い、それを実行するための具体的なコードとは切り離して考えます。「何を（what）」と「どのように（how）」を分離することで、研究者はこれらの記述を、異なるコンピュータや異なるソフトウェアツール上で書き直すことなく実行できる普遍的な計画へとコンパイルする方法を作り出しました。このアプローチにより、科学的な意図の透明性と再現性が確保され、高エネルギー物理学の複雑な機構が進化しても、それに依存する実験が壊れることなく進化し続けることが可能になります。

何十年もの間、物理学者はデータの解析を命令型コード（imperative code）として書いてきました。これは、コンピュータに対して、データを一つ一つのイベントごとにチェックしながら、どのようにステップバイステップで進むべきかを正確に指示するスタイルです。これは現時点ではうまく機能しますが、科学的なアイデアを、その時使用されている特定のプログラミング言語やライブラリに密接に結びつけてしまいます。それらのライブラリが変更されたり、コードを書いた研究者が去ったりすると、解析は理解が困難になったり、実行不可能になったりすることがよくあります。新しいFlowシステムは、宣言型言語（declarative language）を導入することで、このダイナミクスを変革します。このモデルでは、科学者は単に、どのようなデータが必要で、どのような操作を行いたいか、そしてどのような結果を期待するかを記述するだけであり、基礎となるメカニズムについては心配する必要がありません。それは、材料と完成料理をリストアップしたレシピを書き、具体的な調理器具や技術は後でシェフが決める、というようなものです。

このシステムの核心は、科学者の記述とコンピュータの実行との間の翻訳者として機能するコンパイラです。科学者がワークフローを提出すると、システムはすぐにそれを実行するわけではありません。まず、記述を正規化し、データの所在、適用すべき補正、異なるシナリオへの対処法といった、散らばったすべての情報を一つの完全なドキュメントへと集約します。次に、論理グラフ、つまりすべてのデータがソースから最終結果へとどのように流れるかを示すマップを構築し、入力と出力を明確な依存関係の線で結びます。このマップにより、重い計算を開始する前にエラーをチェックすることができ、必要なデータが存在するか、そして各ステップが整合しているかを確認できます。

マップが構築され検証されると、システムはバックエンドに依存しない実行計画を作成します。この計画は、行うべき作業の詳細な指示セットですが、どのコンピュータやソフトウェアライブラリがそれを行うかは指定しません。この分離が極めて重要であり、これによって、同じ科学的計画をノートパソコン、ローカルクラスター、あるいは大規模な分散ネットワーク上で、コアとなるロジックを変更することなく実行できるのです。また、特定の測定値がわずかに異なった場合に結果がどのように変わるかをテストするために、全体を書き直すのではなく、影響を受ける部分の計画のみを拡張して処理することも可能です。これにより、異なる科学的シナリオを探索したり、不確実性が最終的な答えにどのように影響するかを理解したりすることが容易になります。

また、このシステムはプロベナンス（由来・履歴）、すなわち結果がどのように生成されたかという詳細な記録にも細心の注意を払っています。ワークフローが実行されるたびに、最終的な出力と、使用された特定のソフトウェアのバージョン、正確なデータファイル、および実行されたコンピュータ環境とを結びつける詳細な要約が生成されます。これにより、あらゆる科学的結果に対して、永続的で追跡可能な履歴が作成されます。もし科学者が数年後に知見を検証する必要が生じた場合、記憶や散らされたメモからプロセスを再構築しようとするのではなく、この記録を見て、正確に何が起こったのかを確認することができます。このレベルの詳細さが、ワークフローをブラックボックスから、すべてのステップが可視化され説明責任が果たされる透明なプロセスへと変えるのです。

Flowの開発は、古いシステムが新しいテクノロジーに適応できずに苦戦した実体験によって推進されました。研究者は、単に異なるスタイルのコードを書くだけでは不十分であり、基礎となるソフトウェアアーキテクチャが、部品を簡単に取り替えられるように設計されていなければならないことに気づきました。かつては、単一のライブラリを変更するだけで、異なる部分が密結合していたためにフレームワークの大部分を書き直す必要がありました。Flowは、データソースから出力形式に至るまで、すべてのコンポーネントを、明確に定義された契約を通じて接続される交換可能なモジュールとして扱うことで、この問題を解決しています。これにより、より高速で効率的な新しいツールが登場した際、科学的な解析自体を中断することなく、それらをシステムに組み込むことができます。

このアプローチは、CMS検出器やLUX-ZEPLIN実験を含む主要な実験における実際の解析において、すでにテストされています。その結果、簡潔な宣言的記述によって、異なるデータ構造や実験をまたぐ複雑な計算を導くことができることが示されました。システムは科学的な意図と実装をうまく分離しており、周囲のソフトウェアエコシステムが進化したとしても、解析の安定性を維持することができます。ワークフローを明示的かつ検査可能にすることで、システムは科学者がコードの詳細を記憶しておく負担を軽減し、長期的な保存のための強固な基盤を提供します。

この取り組みの究極の目標は、科学的解析が長期にわたって持続可能であることを保証することです。データ量が膨大になり、コンピューティングリソースが多様化していく分野において、結果を保存し再現する能力は不可欠です。Flowは、ワークフローを、作成に使用されたツールとは独立してコンパイル、分析、実行できる「第一級のオブジェクト」とすることで、これを実現します。これにより、科学コミュニックは、過去の成果を理解したり繰り返したりする能力を失うことなく、ソフトウェアやハードウェアを進化させることができます。このシステムは単に解析を実行するだけでなく、プロセス全体を文書化し、生のデータから科学的発見に至る経路が、将来の世代にとっても明確でアクセス可能な状態であることを保証します。

このプロジェクトの成功は、科学的ソフトウェアの構築方法におけるパラダイムシフトに基づいています。ワークフローを、一度実行して忘れ去られる一時的なスクリプトとしてではなく、コンパイルおよび検証可能なプログラムとして扱うことで、研究者はこれまで困難であった透明性と柔軟性を実現しました。システムはあらゆる決定、あらゆる依存関係、そしてあらゆるバリエーションを記録し、科学的プロセスの完全な姿を作り上げます。これは、即時のデバッグや検証に役立つだけでなく、元の研究者が去った後も、長期間にわたって結果を検証するための永続的な記録を構築することにもつながります。

結局のところ、本論文で提示された手法は、科学的コンピューティングに対する新しい考え方を提示しています。それは、コードが解析の最も重要な部分であるという考えから脱却し、代わりに科学的記述の明快さに焦点を当てるものです。科学の記述と、それを実行する機構を分離することで、システムは科学そのものが優先事項であり続けることを保証します。これにより、ツールやテクノロジーが変化し改善しても、研究の完全性が脅かされることはありません。その結果、過去の成果を尊重しながら未来に適応できる、より堅牢で透明性が高く、持続可能な科学的発見へのアプローチが実現されるのです。