CELEBI: Towards Reproducible and FAIR Physics Analysis

高エネルギー物理学の世界において、科学者たちは単に望遠鏡や顕微鏡を覗き込んで答えを見つけるわけではない。その代わりに、彼らは粒子を衝突させ、分類・測定・理解されなければならないデータの嵐を生み出す、巨大で複雑な機械を構築するのである。このプロセスは単一のイベントではなく、発見へと続く長く曲がりくねった旅である。研究者は生のデータを取得し、それを一連のコンピュータプログラムに通し、どの情報を保持し、どの情報を破棄するかを選択する。彼らは設定を調整し、異なる理論をテストし、数ヶ月あるいは数年にわたって手法を洗練させていく。最終的な結果は科学的な知見であるが、その知見は、そこに至るまでにチームが辿った特定の経路と密接に結びついている。もしコードが変わったり、パラメータが微調整されたりすれば、結果も変わってしまう可能性がある。この分野における大きな課題は、単に答えを得ることではなく、それがどのようにして得られたのかを正確に記憶しておくことである。明確な手順の記録がなければ、昨年の結果は今日、再現不可能になる可能性があり、科学コミュニティがその研究を検証したり、その上に新たな成果を築いたりすることを不可能にしてしまう。

これが、北京大学の研究者である趙明睿（Mingrui Zhao）が、Celebiと呼ばれる新しいシステムによって解決しようとした問題である。論文の中で、趙は現代の物理学解析がいかに継続的に進化するかを説明している。データセットが増大し、ソフトウェアのアップデートが届くにつれ、以前の結果がどのような条件下で生成されたのかを判断することが困難になる場合がある。複雑な計算に取り組んでいるチームを想像してみてほしい。そこでコードは絶えず書き換えられている。内部レビュー中に提示された結果が、基礎となるルールが変化したために、現在のバージョンの解析とは一致しなくなることがある。多くの人々が同じプロジェクトの異なるバリエーションに取り組んでいる大規模なコラボレーションにおいては、この混乱は圧倒的なものになり得る。研究者は、既存のツールはデータの流れを管理したり最終的なファイルを保存したりすることはできるものの、特定の解析結果と、その結果を生み出した正確な解析の状態との間に、永続的で壊れないリンクを維持することには苦慮していることを見出した。

これに対処するため、趙は、解析を単一の流動的な文書としてではなく、構造化された再利用可能なパーツの集合体として扱うフレームワークとしてCelebiを設計した。このシステムは、コード、設定、依存関係といった軽量な「指示（instructions）」を、生成される重い「データ製品（data products）」から分離する。そして、これらの指示を、すべての要素が自身の依存関係を把握している明確なワークフローへと整理する。核心となる革新は、システムが変化をどのように扱うかにある。解析が進展していく中で、Celebiは「インプレッション（impression）」と呼ばれる、特定の時点における解析の凍結されたスナップショットを保存する。インプレッションとは、特定の瞬間における解析の姿を捉えたものであり、コード、パラメータ、そして結果を生み出すために使用されたすべての依存関係の正確な状態を捕捉するものである。これらのインプレッションは不変（immutable）であり、一度保存されると変更できない。結果が生成されるとき、それは生成元となった特定のインプレッションと永久に紐付けられる。これにより、たとえメインの解析が100回更新されたとしても、元の結果は最初に生成された際と全く同じ条件に結びついたままとなる。

この組織化による実用的な効果は、科学者が自身の履歴を失うことなく作業を修正できるシステムである。コンポーネントがモジュール化されているため、研究者はデータフィルタリングの手法など、解析の一部分を変更しても、プロジェクト全体を書き直す必要がない。システムは、その変更によって影響を受けるダウンストリームのタスクを自動的に追跡する。もし科学者が、例えば異なる仮定が結果にどのような影響を与えるかをテストするような系統的なバリエーションを実行したい場合、変更された特定のセクションのみを修正しつつ、変更されていない解析部分を再利用することで、それを実行できる。これにより、重複が減り、様々な構成間の違いが明確になる。また、このシステムは、保存された状態の制御された再実行もサポートしている。もしチームが古い結果を検証する必要がある場合、必要な入力とソフトウェア環境が依然として利用可能であれば、保存されたインプレッションを再度実行することができ、その新しい実行が古いものと真に同一の再現であることを保証できる。

このアプローチは、物理学チーム内でのコラボレーションやレビューのあり方を根本的に変える。典型的なプロジェクトでは、複数の協力者が異なる構成で作業しており、結果は様々なファイルや個人のディレクトリに散らばっている可能性がある。Celebiは、すべての資料、ドキュメント、および依存関係を構造化されたリポジトリに整理することで、これに秩序をもたらす。協力者は、解析全体をゼロから再構築することなく、特定のコンポーネントとそのローカルドキュメント、およびその依存関係の正確な状態を検査することができる。これにより、新しいチームメンバーが作業を理解しやすくなり、レビュアーが結果の背後にある論理をチェックすることが容易になる。レビュアーが変更を求めた場合、チームは解析を更新して新しいインプレッションを作成し、古いものを新しいものと並行して保持することができる。これにより、リビジョン間の直接的な比較が可能になり、何が変わり、それが結果にどのように影響したのかを正確に示すことができる。システムは本質的に、あらゆる結果がそのソースまで遡れる透明なタイムラインを構築するのである。

この研究の究極の目標は、物理学の解析をよりFAIR（Findable: 見つけられる、Accessible: アクセスできる、Interoperable: 相互運用できる、Reusable: 再利用できる）にすることである。現在、科学的な結果を再利用するには、最終的なデータだけでなく、それを生成するために使用されたコードや設定に関する深い理解が必要であるが、それらはしばしば失われたり埋もれたりしてしまう。結果を識別可能な解析の状態と関連付けることで、Celebiはこれらの資料を見つけ出し、再利用するための基盤を提供する。システムの構造化された性質により、コンピュータが解析ロジックを解釈することが可能となり、これは異なる研究インフラストラクチャ間の連携にも役立つ可能性がある。本論文は、Celebiが科学的保存におけるあらゆる問題を解決すると主張しているわけではないが、生のデータだけでなく、科学的知識を生成する計算プロセスへとこれらの原則を拡張するための実用的な基礎を提示している。このシステムは、手動の帳簿管理や事後的な履歴の再構築に頼るのではなく、日々の業務の中で、作業のプロベナンス（由来）をその場で捉えるのである。そうすることで、発見への道のりが、発見そのものと同様に明確でアクセス可能なものであることを保証している。