The LCLStream Ecosystem for Multi-Institutional Dataset Exploration

LCLStreamは、AI学習や高レートX線解析などの多様な用途に対応するため、クラウドのマイクロサービスとHPCのバッチ実行モデルを融合させ、セキュアかつ柔軟なデータストリーミングを実現する新しいエンドツーエンドの実験データ配信フレームワークです。

要約

タイトル：実験データの「超高速・特急デリバリー・システム」を作ろう！

1. 背景：実験現場で起きている「情報の渋滞」

想像してみてください。あなたは世界最高峰の「超高速カメラ（X線検出器）」を使って、目に見えないほど小さな粒子の動きを撮影しています。このカメラは凄まじいスピードで、1秒間に膨大な量の写真を撮り続けます。

しかし、ここで問題が発生します。

• **カメラの横（実験施設）**には、大量のデータが溜まるけれど、それをじっくり分析するための「超高性能な計算機（スパコン）」がありません。
• **遠くの計算機センター（スパコン）**には、分析するための強力なパワーはあるけれど、カメラから送られてくる大量のデータをリアルタイムで受け取る準備ができていません。

これまでは、一度データを「ハードディスク」に保存してから、後でゆっくり転送していました。これでは、実験中に「あ！今の撮り方、失敗してた！」と気づいても、手遅れになってしまいます。

2. 解決策：LCLStream（エルシーエル・ストリーム）という「魔法の物流網」

そこで研究チームが開発したのが、**「LCLStream」という仕組みです。これは、実験現場から遠く離れたスパコンまで、データを止めることなく流し続ける「超高速・専用デリバリー・ネットワーク」**のようなものです。

このシステムを、日常の物流に例えてみましょう。

• 【LCLStreamer（パッキング担当）】
  カメラが撮った生のデータを、そのまま送ると重すぎるので、必要な部分だけを素早く抜き出し、送りやすい形に「箱詰め（データ圧縮）」する職人です。
• 【LCLStream-API（注文受付窓口）】
  「あの実験の、あの瞬間のデータが欲しい！」というリクエストを、スマホアプリのように簡単に受け付ける窓口です。
• 【NNG-Stream（巨大なバッファ・倉庫）】
  データの流れが急に激しくなったり、逆に途切れたりしても大丈夫なように、途中でデータを一時的に溜めておき、流れをスムーズにする「巨大な緩衝材（クッション）」です。
• 【Psi-k（配送指示センター）】
  「スパコンのどのマシンを使って、どうやって分析するか」という複雑な指示を、ボタン一つで実行する司令塔です。

3. このシステムができること（すごいポイント！）

この仕組みができると、科学者たちはこんなことができるようになります。

1. 「ライブ配信」のような実験分析
   実験をしている最中に、遠くのスパコンで「今、どんな結果が出ているか」をリアルタイムで確認できます。まるでライブ配信を見ながら、即座にカメラの角度を調整するような感覚です。
2. AI（人工知能）の爆速トレーニング
   大量のデータをスパコンに流し込み続けながら、AIに「これはどんな物質の形か？」を学習させることができます。
3. 鉄壁のセキュリティ
   「誰がデータを受け取っているか」を、デジタルな身分証明書（証明書）を使って厳重にチェックします。勝手にデータを盗まれたり、偽物が混ざったりすることはありません。

4. まとめ：科学のスピードを加速させる

これまでの科学は、「撮る」→「保存する」→「送る」→「分析する」というステップを踏んでいました。

LCLStreamは、このステップを**「撮りながら、送りながら、分析する」**という一つの流れるようなプロセスに変えました。これにより、科学者は「データの待ち時間」から解放され、より速く、より深く、宇宙や物質の謎に迫ることができるようになるのです。

技術概要

技術要約：マルチ・インスティテューショナルなデータセット探索のためのLCLStreamエコシステム

1. 背景と課題 (Problem)

次世代のX線科学実験（LCLS-IIなど）では、データ生成速度が極めて高く（ギガバイト/秒から将来的なテラバイト/秒規模）、実験の自動制御（Autonomous steering）やリアルタイム解析が不可欠となっています。しかし、以下の技術的障壁が存在します。

• データの局所性: 高性能計算（HPC）リソースと実験施設（SLACなど）が地理的に離れており、実験データへのアクセスが施設内の認証されたユーザーに限定されている。
• 解析の遅延: 従来の解析手法はオフライン処理が中心であり、実験中にデータが正しく収集されているか、パラメータを即座に調整できるかを確認することが困難である。
• 複雑なデータ形式: 異なるビームラインごとにデータ形式やメタデータが異なり、AI学習や高度な解析への適用に多大な変換コストがかかる。
• インフラの断絶: 実験装置、データ転送、HPCのジョブスケジューリング、セキュリティ（認証）を統合的に管理する仕組みが不足している。

2. 手法 (Methodology)

本研究では、クラウドのマイクロサービス設計と従来のHPCバッチ実行モデルを融合させた、エンドツーエンドのデータストリーミング・フレームワーク「LCLStream」を提案しています。

システム構成要素

• LCLStreamer: 高速かつ柔軟なデータ削減・フォーマット変換エンジン。psanaライブラリを使用してイベントデータを読み込み、ユーザー定義のパイプライン（抽出 $\rightarrow$ 処理 $\rightarrow$ シリアル化 $\rightarrow$ ハンドリング）に従って、HDF5やネットワークソケット形式へ変換する。
• LCLStream-API: RESTful API（JSON形式）を提供し、外部ユーザーがリモートからデータリクエスト、ジョブ開始、ステータス確認を行えるようにする。
• NNG-Stream: nanomsgライブラリに基づいたメッセージバッファ。並列なプロデューサー（データ生成側）とコンシューマー（解析側）の間の流量を平滑化し、ネットワークのバーストに対応する。
• Psi-k / Psik-API: HPC環境（SLURM等）へのジョブ投入をWeb API経由で抽象化するインターフェース。
• Certified: x.509証明書を用いた相互認証フレームワーク。マイクロサービス間の通信をセキュアに保護する。
• Elog連携: 実験の電子ログブック（Elog）と連携し、実験の開始・終了イベントに基づいて解析ワークフローを自動起動する。

3. 主な貢献 (Key Contributions)

1. 分散型データアクセスの実現: 施設内に閉じられていた実験データを、セキュアかつ高速に外部のHPC施設（ORNLのFrontierやOLCFのACEなど）へストリーミング可能にした。
2. モジュール化されたデータパイプライン: 異なる科学アプリケーション（AI学習、結晶構造解析、電子飛行時間解析など）に対し、共通のデータ処理基盤を提供。
3. ハイブリッド・アーキテクチャ: クラウド的な柔軟性（API駆動、マイクロサービス）と、HPCの性能（MPI並列、バッチ実行）を両立させた設計。
4. 自動化された実験支援: 実験の進行状況に応じて解析ジョブを自動的にスケジューリングする、統合研究インフラ（IRI）のプロトタイプを構築。

4. 結果 (Results)

複数の科学的ユースケースにおいて、その有効性が実証されました。

• AI/MLトレーニング (MAXIE/PeakNet): 286TB規模のX線画像データセットに対し、オンデマンドでのデータ供給と前処理を実現。
• 電子飛行時間解析 (TMO-prefex): 高リピートレート（1MHz）の実験において、データの圧縮とヒストグラム生成をストリーミングで行い、解析の遅延を大幅に削減。
• 結晶構造解析 (CrystFEL): ライブデータストリーミングにより、データ収集から解析結果のフィードバックまで15〜25秒という低レイテンシを実現。これにより、実験中の手動ステアリングが可能になった。
• パフォーマンス: ネットワークの往復遅延（RTT）は33-36ms程度を維持。データスループットは、S3DF側の読み込み速度に依存するものの、数GB/s規模の高速転送に成功した。

5. 意義 (Significance)

LCLStreamエコシステムは、単なるデータ転送ツールではなく、「実験装置 $\rightarrow$ データ処理 $\rightarrow$ HPC解析 $\rightarrow$ 実験制御へのフィードバック」というループを閉じるための統合インフラです。

これは、将来の超高輝度光源実験において、AIによる自律的な実験制御や、大規模なデータサイエンス・アプリケーションを、地理的に分散した計算リソースを用いて実行するための重要な基盤技術となります。また、オープンソースでモジュール化されているため、他の科学施設への展開や拡張が容易である点も極めて重要です。