Enabling stable preservation of ML algorithms in high-energy physics with petrifyML

本論文は、高エネルギー物理学の機械学習アルゴリズムの構成を業界標準のONNX形式またはネイティブのPythonおよびC++コードに変換することにより、それらの安定した保存と将来の再現性を保証するように設計されたツールであるpetrifyMLパッケージを紹介する。

要約

あなたが、宇宙の理解を助ける画期的な新料理のレシピを開発したシェフだと想像してください。そのレシピは、現在のキッチンスタッフ（特定のソフトウェアバージョン）だけが読める、非常に具体的で複雑なノートに書き留められています。

さて、10 年や 20 年後にキッチンが変わったと想像してください。スタッフが去り、ソフトウェアが更新され、その特定のノートは読めない無意味な文字列になってしまいます。もし誰かがあなたの結果を検証するためにその料理を作ろうとしても、できません。レシピを失ってしまったのです。

これが、高エネルギー物理学（HEP）の科学者が**機械学習（ML）**に直面している問題です。彼らは素粒子衝突実験からのデータを分析するために、複雑な「レシピ」（アルゴリズム）を使用しています。長らく、これらのレシピは単なる内部ツールでした。しかし今、レシピそのものが結果となっています。もし将来、そのレシピが読めなくなれば、科学を検証することはできません。

そこで登場するのがpetrifyMLです。

petrifyML とは何か？

petrifyMLを、魔法の翻訳機かつタイムカプセル機械だと考えてください。その役割は、複雑で脆弱、かつソフトウェア固有のレシピを、以下の 2 つのものに変換することです。

1. 普遍的な言語（ONNX）: これは、あなたのレシピを、過去、現在、未来のあらゆる世界のキッチンが理解することに合意している形式に翻訳するようなものです。機械学習界における「PDF」です。
2. 平易な英語（ネイティブコード）: また、特殊なソフトウェアを必要としない、シンプルで人間が読める指示（C++ または Python コード）としてレシピを書き換えることもできます。これは、コンピューターを持っていない人でも読めるように、レシピを紙に書くようなものです。

どのように機能するのか？

この論文は、科学者たちが現在、モデルを訓練するために異なる「キッチンツール」（TMVA、scikit-learn、lwtnn などのソフトウェアパッケージ）を使用していると説明しています。これらのツールはしばしば異なる方言を話したり、将来消滅する可能性のある重く複雑な装置に依存したりしています。

petrifyMLは橋渡し役として機能します。

• 翻訳者: 特定のツールのいずれかで訓練されたモデルを受け取り、普遍的なONNX形式に変換します。これにより、元のツールが姿を消しても、モデルは標準的な最新のツールを使って「調理」（実行）できることが保証されます。
• 書記: より単純なモデル（ブースト決定木など）の場合、単に翻訳するだけでなく、全体の論理を平易なテキストコードに書き換えます。これは、複雑な機械式時計を分解し、すべての歯車とバネを紙に描き起こすようなものです。もう時計自体は不要で、それを再構築するために必要なのはその図面だけです。これにより、モデルは特定のソフトウェアの更新を必要とすることなく、永遠に完全に同じように動作することが保証されます。

なぜこれが重要なのか？

この論文は、いくつかの重要な利点を強調しています。

• 「私のマシンでは動く」の解消: 通常、古いモデルを新しいコンピューターで実行しようとすると、ソフトウェアのバージョンが一致しないため破綻します。petrifyMLはこの依存関係を排除します。
• 将来への備え: モデルをONNXまたは平易なコードに変換することで、科学者たちは数十年後でも自分の作業を再解釈できることを保証します。これは、腐る可能性のあるフロッピーディスクに文書を保存するのではなく、耐酸性の紙や普遍的なデジタル規格に保存するようなものです。
• 効率性: この論文は、このツールをテストした結果、高速に動作し、コンピュータメモリをあまり使用しないことを発見しました。変換されたファイルは元のファイルよりも小さくなることが多く、保存や共有が容易です。

「検証」チェック

著者らは慎重に、「翻訳されたレシピを与えるだけでは不十分だ。同じ味がするか確認する必要がある」と述べています。
したがって、petrifyMLには組み込みの「味見テスト」が含まれています。モデルを変換する際、自動的に新しいバージョンを実行し、古いバージョンと比較して、完全に同じ結果を出力することを確認するスクリプトを生成します。たとえわずかな違いがあっても、ユーザーは何かが間違っていることを知ることができます。

まとめ

petrifyMLは、時間の流れに消え去る素粒子物理学の「レシピ」を救うために設計されたツールです。複雑でソフトウェアに依存する機械学習モデルを、普遍的な標準形式またはシンプルで人間が読めるコードのいずれかに変換します。これにより、今日行われる科学的発見が、50 年後の技術が何であれ、その時代の科学者によって検証され、理解され、信頼されることを保証します。

技術概要

技術的概要：petrifyML による高エネルギー物理学における機械学習アルゴリズムの安定した保存の実現

問題提起
高エネルギー物理学（HEP）における機械学習（ML）は、較正や再構成のための内部ツールから、物理データ分析の中核をなす非パラメトリックな構成要素へと進化してきた。この転換は新物理モデルに対する感度を高める一方で、科学的再現性にとって重大な課題をもたらしている。現在の ML アルゴリズムは、通常、Python ベースのツール（TMVA、scikit-learn、lwtnn など）を用いて訓練および展開されるが、これらはバージョンの不安定性、ROOT フレームワークに代表される重厚な依存関係、および形式の非互換性に悩まされている。

既存の保存戦略には限界がある：

• Pickle/Joblib ファイル: バージョンに強く依存し、時間経過とともに不安定になる。完全なコンテナ化なしでは長期保存に適さない。
• ONNX 形式: 業界標準ではあるが、多くの HP 固有のツール（TMVA、lwtnn、MVAUtils）は ONNX への変換をネイティブにサポートしていない。さらに、煩雑なコンテナ化なしでは、ONNX 実行環境の長期的な安定性は保証されない。
• ネイティブコード: 人間が読める C++ または Python への変換は依存関係を排除するが、ファイルサイズの制約により、しばしば小規模なモデルに限定される。

HEP 固有の ML 設定を、安定した依存関係のない、あるいは業界標準の形式に変換する「アルゴリズム保存の連鎖」において、決定的な欠落が存在する。

手法
著者らは、このギャップを埋めるために設計された Python パッケージおよびコマンドラインツールセットであるpetrifyMLを提示する。このツールは、一般的な HEP フレームワークからの ML 設定を、ONNX 形式またはネイティブな C++/Python コードのいずれかに変換する。

パッケージはモジュール式であり、依存関係は特定の変換タスクに基づいて pip を介してインストールされる：

1. ブーストド決定木（BDT）:
   • scikit-learn: .pkl または .job ファイルをネイティブな C++ および Python に変換する。
   • TMVA: XML ファイル（この変換において ROOT ファイルは直接サポートされない）をネイティブな C++ および Python に変換する。
   • MVAUtils: ROOT ベースの MVAUtils ファイル（xgboost または lgbm に由来）を ONNX に変換する。これには完全な ROOT インストールを必要とせずにファイルを解析する uproot ライブラリが利用される。
2. ニューラルネットワーク（NN）:
   • TMVA（MLP）: TMVA XML ファイルを読み取り、TensorFlow/Keras 内でアーキテクチャと重みを再構築し、tf2onnx を用いて ONNX にエクスポートする。
   • lwtnn: （ATLAS トリガーで使用される）lightweightneuralnetwork JSON ファイルを ONNX に変換する。現在、レイヤータイプ（Dense、Normalization、Softmax）および活性化関数（Relu、Sigmoid、Elu、Tanh）のサブセットをサポートしている。

主要機能と検証

• メタデータの保持: petrifyML は、入力/出力形式の能力に制限されるものの、訓練設定および正規化パラメータの保持を試みる。
• 検証スクリプト: このツールは、モデルのカット値統計に基づいてスケーリングされたランダムに生成された入力を用いて、変換されたモデルの出力を元の実装と比較する検証スクリプトをオプションで生成する。
• バージョン管理: ONNX 変換において、ユーザーは --opset および --ir-version を指定して特定の OnnxRuntime バージョンとの互換性を確保でき、急速に進化する ONNX 標準に伴う潜在的な問題に対処できる。
• ネイティブコード生成: BDT の場合、このツールは依存関係のない人間が読める C++ または Python コードを生成し、小規模なモデルについて「永続的な逐語的な性能」を確保する。

結果とベンチマーク
著者らは、Intel Core i7-14700 CPU を使用して、lwtnn、MVAUtils、scikit-learn、および TMVA モデルを含む 1,230 のモデルのスイート上で petrifyML をベンチマークした。

• 変換パフォーマンス:

  • メモリ使用量: lwtnn/ONNX 変換では数 MB から、大規模な MVAUtils xgboost フォレスト（125,000 木）では約 3.5 GB まで幅がある。ほとんどの変換は 200 MB 未満を必要とする。
  • 時間: 変換時間は大きく異なる。lwtnn から ONNX への変換は約 0.04 秒であるのに対し、大規模な MVAUtils xgboost フォレストでは 4 分以上かかることがある。同じ環境での連続的な変換は、キャッシュされたモジュールのインポートにより著しく高速である。
  • ファイルサイズ: 変換されたファイルは一般的にコンパクトである。ONNX ファイルは元ファイルより最大 80% 小さい（高度に最適化された MVAUtils ファイルを除き、これはサイズが 3 倍に増加する可能性がある）。TMVA BDT のネイティブ C++/Python ファイルは 5,000 から 41,000 行に及ぶが、元の XML 形式よりもスペース効率が良い。

• 推論パフォーマンス:

  • 精度: 変換された ONNX モデルは、元のものとの比較で相対出力誤差が $10^{-6}$ 未満を示す。ネイティブコード変換は完全に一致する。
  • メモリ: 推論には一般的に 100 MB 未満が必要である。ネイティブ C++ BDT は、Python または元の実装よりも著しくメモリ効率が良い。
  • 速度: 推論時間は一般的に短い（0.1 秒未満）。BDT のネイティブ C++ 推論は元のモデルよりも頻繁に高速であるのに対し、Python 推論は遅い。絶対速度がすべての手法で高いことを考慮すると、相対的な速度差は無視できる程度である。

意義と主張
本論文は、petrifyML を、すべての情報が利用可能な場合のネイティブエクスポート方法の代替としてではなく、ネイティブエクスポートが不可能な場合、または元の訓練環境が失われた場合にモデルを保存するために必要な解決策として位置づけている。

• 再現性: このツールは、特定のツールキットのバージョンや重厚な ROOT フレームワークへの依存度が低い形式（ONNX またはネイティブコード）に変換することにより、HEP ML アルゴリズムの長期保存を可能にする。
• アクセシビリティ: HEP 固有の形式（lwtnn JSON や TMVA XML など）を ONNX に変換することで、このツールはこれらのモデルを Python や、元の HEP 固有のライブラリをサポートしていない再解釈フレームワーク（Rivet、CheckMATE2 など）で使用可能にする。
• 実用性: 著者らは、このツールが多くの再解釈ツールにとっての ROOT 依存という「克服不可能な問題」に成功裏に対処し、プレーンテキストコードとして保存することが非現実的である大規模な BDT フォレストを保存するための軽量な代替手段を提供すると主張している。

本論文は、petrifyML が「再解釈可能な ML に関するレ・ホッシュガイドライン」に向けた実用的な一歩であり、ML に基づく実験研究が長期的に解釈可能かつ再現可能であることを保証するメカニズムを提供すると結論付けている。