技術概要：科学をサービスとして提供すること：Sci-Orchestra の HPC 向けクラウドネイティブアプローチ

問題定義

現代の科学的発見は高度な計算モデルにますます依存していますが、研究者はこれらの環境の展開と管理に伴う重大な技術的負担という重大なボトルネックに直面しています。伝統的に、科学者はシステム管理者として機能することを余儀なくされ、複雑なインフラ管理、認証プロトコル、コンテナ展開を navigating する必要があります。これは、オープンサイエンスと厳格な国家安全保障政策（例：制御された非分類情報）のバランスをしなければならない米国の国立研究所（例：NERSC、ALCF、OLCF）における高性能計算（HPC）環境において特に困難です。

既存のソリューションはこのギャップを完全に解決できていません：

• 従来のワークフローマネージャー（例：Nextflow、Snakemake）は、静的な非対話型バッチ処理に最適化されており、ライブの対話型ダッシュボードや API 駆動型 Web アプリケーションをホストする能力が欠如しています。
• クラウドネイティブプラットフォーム（例：JupyterHub、BinderHub）は、ブラウザベースの対話型体験を提供しますが、単一ユーザーノートブックに特化していることが多く、制限されたハイブリッド HPC 環境全体にわたって、多コンポーネントサービスアーキテクチャをネイティブにオーケストレーションしたり、永続的なイベント駆動型ライフサイクルを管理したりすることに苦慮しています。
• エンタープライズオーケストレーター（例：Apache Airflow）はクラウド環境に偏っており、HPC センターの厳格なセキュリティおよびリソース割り当てルールに適応させる際に、大きな工学的課題に直面します。

クラウドフレームワークの対話型でブラウザファーストのユーザー体験と、複雑で相互接続されたマイクロサービスを、極めて制限の厳しい HPC 環境に動的に展開する能力を兼ね備えたプラットフォームが明確に不足しています。

方法論：Sci-Orchestra フレームワーク

Sci-Orchestra は、実験ワークフローを完全に自動化し、リソース割り当ての負担をユーザーからシステムへ移行させるように設計された層状オーケストレーションフレームワークです。これは、Kubernetes ベースのイベント管理アーキテクチャを活用した「科学プラットフォーム・アズ・ア・サービス」モデルで動作します。

中核的アーキテクチャコンポーネント

このシステムは、3 つの主要な抽象化に基づいて構築されています：

1. サービス：特定のタスクまたはアプリケーションのスキーマ駆動型定義であり、依存関係とポリシー制約（例：特定のライブラリと GPU 要件を備えた Jupyter コンテナイメージ）を含みます。
2. イベント：計算割り当てを必要とする運用インスタンスであり、実行のタイミング、場所、パラメータを規定します。
3. エントリー：特定のイベントに注入される 1 つ以上のサービスの具体的なインスタンス化であり、ライブ実行（例：実行中の Kubernetes ポッドと安全で動的な URL）を表します。

主要な技術的基盤

• API ファースト設計：このフレームワークはローカル計算オーバーヘッドを抽象化し、研究者が単一のストリーミングされた API 呼び出しを通じてワークフローのプロビジョニング、スケーリング、起動を可能にします。
• コンテナ化とオーケストレーション：Kubernetes（HPC セキュリティのための Singularity/Apptainer や Podman などのユーザー名前空間ランタイムのサポート付き）を活用することで、システムはソフトウェアエコシステムを低レベルのツールチェーンから切り離します。監視用のサイドカー構成を含む、名前空間、デプロイメント、サービスの作成を自動化します。
• FastMCP 統合：多様なツールと AI エージェント間のシームレスな接続を促進するために、Sci-Orchestra は FastMCP を採用しています。この標準化されたプロトコルは、データソース、スクリプト、AI モデルを橋渡しし、オーケストレーションエンジンがカスタム API ラッパーなしで入力、出力、機能を動的に認識できるようにします。
• フェデレーション認証とセキュリティ：このシステムはアイデンティティプロバイダー（Google、機関ログイン）と統合し、安全でイベント固有の URL を提供します。資格情報は計算環境内に永続的に保存されないため、厳格なセキュリティポリシーへの準拠が保証されます。
• コードとしてのインフラストラクチャ（IaC）：リソース管理はバージョン管理可能なソースコードとして扱われ、オンデマンドでのネットワーク、ストレージ、計算資産の再現性のある、スケーラブルで自動化されたデプロイを可能にします。

主要な貢献

1. 自動化されたワークフローオーケストレーション：実験ワークフローのライフサイクルを完全に自動化するフレームワークにより、科学者はバックエンド運用よりも発見を優先できるようになります。
2. 環境横断的な相互運用性：汎用サーバーから制限された HPC 施設（例：NERSC Spin および Perlmutter）まで、基盤となるアプリケーションのコード修正を必要とせずに、多様な環境にまたがることができるモジュール型インフラストラクチャ。
3. 安全な「ブラックボックス」相互運用性：外部の協力者がソースコードの交換なしに独自ツールをテストおよび検証できる自律型マーケットプレイスおよび実行環境であり、知的財産を保護しながら科学的パイプラインへの統合を可能にします。
4. AI 対応インフラストラクチャ：機械学習（ML）モデル、大規模言語モデル（LLM）、自律型エージェントが、人間のループ内のボトルネックなしに HPC リソースを動的に要求し、パイプラインをオーケストレーションすることを可能にするプログラム可能な基盤。
5. 動的サービスディスカバリ：静的なインフラストラクチャ構成の必要性を回避し、実行時に利用可能な計算およびデータサービスを動的に識別、登録、バインドするシステム。

実験結果

著者は、2 つの異なるサービスを使用した比較デプロイ実験を通じて、このフレームワークを検証しました：

1. JupyterHub：このシステムは、NERSC Perlmutter 上で安全でハードウェアアクセラレーションを備えた Jupyter Notebook 環境のプロビジョニングを成功裡に自動化しました。このワークフローは、シームレスなフェデレーションログイン、ソフトウェア環境の自動隔離、および Web ブラウザからアクセス可能な専用 GPU リソースのポリシー準拠割り当てを実証しました。
2. Zenesis-web：ゼロショット画像セグメンテーションのためのコンテナ化されたコンピュータビジョンアプリケーションが、高解像度の科学データセット（熱赤外線および合成開口レーダー）を処理するために展開されました。このシステムは、多段階処理および 3D レンダリングを含む計算集約型タスクを、HPC バックエンドリソースを動的に活用して処理しました。このデプロイは、手動設定なしで対話型 Web 環境内で複雑な非光学センサーデータ形式を管理するプラットフォームの能力を確認しました。

これらの実験は、単一のサービステンプレートがほぼ任意のバックエンドに展開するために一般化可能であることを示し、クラウドネイティブな動的リソース割り当てと厳格な HPC インフラストラクチャの間のギャップを成功裡に橋渡ししました。

意義と主張

本論文は、Sci-Orchestra が、従来のコマンドベースのバッチ処理と、現代的な対話型 AI 駆動の科学的ワークフローの間のアーキテクチャ的ギャップを橋渡しすることで、HPC 環境を根本的に変革すると主張しています。

• 発見の加速：インフラ管理の技術的障壁を取り除くことで、このフレームワークは、実験室のプロトタイプから産業規模のアプリケーションへの移行を加速します。
• 自律科学の実現：API ファーストでプログラム可能な基盤は、「スマートラボ」や「自律運転ラボ」に特に適しており、自律型エージェントが複雑で多施設にわたる実験をリアルタイムで構成、展開、監視することを可能にします。
• 安全な協力：「ブラックボックス」アプローチは、ソースコードを露出させることなく、安全な実行環境で独自ツールをテストおよび検証することを可能にすることで、産業界とのパートナーシップを促進します。
• スケーラビリティ：このアーキテクチャは、個々の実験用ポッドから高スループットの産業展開への移行をサポートし、分散研究チームのための柔軟なエコシステムを提供します。

結論として、Sci-Orchestra は、科学ソフトウェアスタックを低レベルの施設ツールチェーンから切り離す包括的な「科学プラットフォーム・アズ・ア・サービス」を提供し、科学コミュニティに、ますます複雑で時間的制約の厳しい研究課題に対処するための、アジャイルで安全かつプログラム可能なエコシステムを装備します。