EBSDmagus: Managing Multi-Stage Dynamical Electron Backscatter Diffraction Simulations

技術要約：「EBSDmagus: 多段階動的電子後方散乱回折シミュレーションの管理」

問題提起
動的電子後方散乱回折（EBSD）シミュレーションは、材料特性（組成、結晶構造、原子の秩序）や実験パラメータ（加速電圧、温度、検出器の幾何学的配置）が回折パターンにどのように影響するかを系統的に研究するために、ますます活用されています。EMsoftのようなソフトウェアパッケージは必要なシミュレーションエンジンを提供していますが、大規模なパラメータスタディの管理には大きな課題が伴います。これらの研究では、多くの場合、複数のステージ（モンテカルロ、マスターパターン、スクリーンパターン）にわたる数千の相互依存的な計算が必要となります。

特定された主な困難は以下の通りです：

1. 手作業による複雑さ： 変数が倍増するにつれ、設定ファイルの作成、一貫性のチェック、および依存関係の追跡を手動で行うことは、エラーが発生しやすく、労力がかかる作業となります。
2. HPC環境における脆弱性： 共有ハイパフォーマンス・コンピューティング（HPC）クラスター上では、中断（例：コントローラーの故障、ファイルシステムの遅延、ジョブのキャンセル）が発生した際、どの結果が使用可能であるかが不明瞭になります。個々のパターンの起源を再構成したり、どのアップストリーム計算を再利用できるかを判断したりすることは、永続的な記録がなければ困難です。
3. データのプロベナンス（由来）： FAIR原則（Findable, Accessible, Interoperable, Reusable：見つけられる、アクセスできる、相互運用できる、再利用できる）を遵守するには、出力がどのように生成されたか（入力の選択や計算履歴を含む）の完全な記録が必要ですが、実行中に記録されない限り、これらは失われがちです。

手法：EBSDmagus
著者らは、多段階のEMsoftシミュレーションを調整するために設計されたワークフロー管理ツールであるEBSDmagusを開発しました。このシステムは、定義されたライフサイクルを通じて動作します：

1. 統一された定義： 研究者は、固定パラメータとパラメータスイープ（例：ビームエネルギー、$d_{min}$、オイラー角）を、単一の編集可能なYAMLファイル内で定義します。このファイルは、結晶構造（CIF/POSCARからEMsoftの.xtal形式に変換されたもの）およびシミュレーション設定を参照します。
2. 自動準備およびグラフ構築： EBSDmagusはYAMLを解析し、Jinjaテンプレートを使用して、必要なEMsoft入力ファイル（ネームリスト、角度ファイル、ベテ・パラメータファイル）を生成します。そして、計算の依存関係を表す有向非巡回グラフ（DAG）を構築します：
   • MC (Monte Carlo): 電子輸送を計算します。
   • MP (Master Pattern): MCの結果を結晶/散乱データと組み合わせます。
   • SP (Screen Pattern): 特定の配向および検出器の幾何学的配置に対してパターンを投影します。
     システムは、パラメータが完全に一致することに基づき、どのアップストリームの結果（MCまたはMP）をダウンストリームのジョブとして再利用できるかを識別します。
3. 実行およびモニタリング： EBSDmagusは、クラスタースケジューラ（SLURMでテスト済み）にジョブを投入するためにSnakemakeを使用します。また、スケジューラID、実行履歴、および出力チェックを、ポータブルなSQLiteデータベースに記録します。
4. 検証およびリカバリ：
   • 実行前： 生成された入力をYAMLおよびデータベースと照合し、クラスターのリソースを要求する前に一貫性を確保します。
   • 実行後／リカバリ： 実行後（または中断後）、EBSDmagusはデータベースの記録、スケジューラのログ、ワーカーの終了コード、および出力HDF5ファイルの構造的完全性を比較します。これにより、完了したジョブ、保留中のジョブ、および失敗したジョブを区別します。
   • 再開： 中断が発生した場合、システムは有効なアップストリームの結果を保持し、未解決のブランチのみを再開することで、成功した計算を繰り返す必要を回避します。

主な貢献

• ワークフローの自動化： EBSDmagusは、単一の高レベルな定義から数千の相互依存的なEMsoft入力ファイルの生成を自動化し、手動によるファイルパッチ処理を排除します。
• 堅牢なリカバリメカニズム： 標準的なジョブ投入とは異なり、EBSDmagusは「ポータブルな実行記録」（SQLiteデータベース + JSONログ）を保持しており、クラスターの中断後に完了した作業を正確に特定することを可能にします。これにより、有効なアップストリームの結果が破棄されるのではなく、保存され再利用されることが保証されます。
• FAIRデータの統合： システムは、最終的な出力と、その特定の入力、パラメータ、および計算履歴をリンクする完全なプロベナンス記録を生成します。このパッケージ（YAML、データベース、レポート、および出力）は、研究データ管理（RDM）システムやZenodoのようなリポジトリへの直接的なデポジットができるように設計されています。
• モジュール式アーキテクチャ： このツールは、研究の定義（YAML）を実行環境（クラスタープロファイル）から分離しており、異なるスケジューラやシミュレーションコードに適応できるようになっています（現在はEMsoft用に実装されています）。

結果および検証
著者らは、以下のテストケースを通じてEBSDmagusを検証しました：

1. 構造変換の回帰テスト： 16個のCIFファイルと10個のCONTCARファイルをEMsoftの.xtal形式に変換し、格子定数、空間群、および原子サイトの正確性を確認しました。
2. 代表的な実行： YNi2の完全な MC $\to$ MP $\to$ SP シーケンスを実行し、正しい構造チェックを行い、警告なしで5つのジョブを生成しました。
3. 大規模な準備： 96,000個の潜在的な検出器パターンを表す、530個の計画されたEMsoftジョブ（MC 10、MP 40、SP 480）を含む複雑なパラメータスタディを準備しました。事前実行チェックにより、クラスターの時間を消費することなく、すべての依存関係とファイルの整合性が確認されました。
4. リカバリ・シナリオ：
   • コントローラーの消失： データベースが古い状態になったSnakemakeプロセスの終了から回復しました。システムは完了したMCジョブを正しく識別し、MP/SP計算を再開しました。
   • ファイルシステムの失敗： コントローラーがログへのアクセスを失った「stale file handle」エラーから回復しました。システムは有効なMCおよびMP出力を保持し、欠落しているSPジョブのみを投入しました。
   • ワーカーのキャンセル： 制御されたキャンセル後に、独立したブランチは完了し、依存するブランチはリセットおよび再開されることが示されました。

意義および主張
本論文は、EBSDmagusが大規模な動的EBSD研究に伴う手作業のオーバーヘッドを大幅に削減すると主張しています。研究の定義を準備から実行、アーカイブまで一貫して保持することで、以下を保証します：

• 再現性は、入力と実行履歴の自動化された監査可能な記録を通じて維持されます。
• 効率性は、中断後に有効なアップストリーム計算の繰り返しを防ぐことで向上します。
• データ管理は簡素化され、出版後に研究者が履歴を再構築する必要がない、FAIR原則を満たすポータブルなパッケージを提供します。

著者らは、このツールは現在EMsoftおよびSLURMに特化しているものの、そのアーキテクチャ（テンプレート、依存関係ルール、出力チェック）は、他のシミュレータやスケジューラをサポートできるように設計されていると述べています。本ソフトウェアはMITライセンスの下でリリースされており、研究をサポートするすべての記録はデポジットのために公開可能です。