Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs

本論文では、事後解析およびインサイチュ解析の両方において流体流中の流線（フィールドライン）を効率的に計算するために、MPIアプリケーションと連携する、オープンソースで拡張可能なGPU加速ライブラリであるStreamiを紹介する。

要約

スーパーコンピュータの中で渦巻く巨大な嵐の、目に見えない流れを可視化しようとしているところを想像してみてください。流体力学の世界では、科学者たちは「場（フィールド）」の線（流線など）を用いて、微粒子がその流れに乗って進む経路を描きます。それは、川に何百万枚もの葉を流し込み、水がどこへ流れているかを確認するようなものです。

問題は、これらのシミュレーションが膨大であることです。これらは、数十枚の強力なグラフィックスカード（GPU）が連携して動作する、多くの異なるマシンに分割されたスーパーコンピュータ上で実行されます。通常、これらの線を描くには、シミュレーションを停止させ、その膨大なデータを別のコンピュータにコピーしてから描画しなければなりません。しかし、これほど大量のデータを移動させることは、海全体をティーカップに注ごうとするようなものであり、非常に時間がかかり、コストがかかり、すべてを停滞させるボトルネックを生み出します。

ここに「Streami」が登場します。

Streamiを、スーパーコンピュータの内部に住む特化した高速クーリエ（運び屋）サービスだと考えてください。データを外に持ち出すのではなく、Streamiは、すでにデータを持っている異なるグラフィックスカードの間で、直接「葉」（粒子）を移動させます。

その仕組みを、シンプルな概念に分解して説明します。

1. 「イン・シチュ（In-Situ）」の配送サービス

ほとんどの可視化ツールは、荷物を集めて、倉庫へ運び、仕分けしてから出荷する配送サービスのようなものです。Streamiは異なります。それは、工場のフロア内に構築されたテレポートネットワークです。

• セットアップ: スーパーコンピュータは、特定のGPUによって管理される「近隣地域（データ・パーティション）」に分割されています。
• 役割: Streamiは、粒子が「地域A」からスタートし、流れを通じて移動し、もし「地域B」の境界を越えた場合、その粒子を（高速な直接接続を介して）「地域B」を管理しているGPUへと瞬時に「テレポート」させることを可能にします。
• メリット: データがスーパーコンピュータの外に出ることはありません。シミュレーションと可視化が同じマシン上で同時に行われ、データをコピーするという遅い「トラックでの輸送」は発生しません。

2. 二つの層からなるライブラリ

論文では、Streamiを二つの「言語」またはレイヤーを持つものとして説明しています。

• 低レベル層（エンジン）: これは、非常に高速でテクニカルな言語（CUDA/C++）で書かれた重機です。これは、あらゆる粒子の数学的計算を行い、どの地域にいるかをチェックし、コンピュータ間の瞬時なテレポートを処理する部分です。これは、データの種類が変わっても速度が落ちないように「テンプレート」を使用しており、物理的に可能な限り速くなるよう設計されています。
• 高レベル層（ダッシュボード）: これは、ユーザーフレンドリーなインターフェース（C++で記述）です。これは、車のハンドルやダッシュボードのようなものです。科学者はエンジンの仕組みを知る必要はありません。彼らはダッシュボードに「ここから粒子の流れを描いて」と指示するだけで、ダッシュボードが背後で複雑な数学計算と通信を処理します。

3. さまざまな地形への対応

流体シミュレーションは、時に乱雑です。データが整然とした均一な格子（チェッカーボードのようなもの）であることもあれば、混沌とした、形が入り混じったメッシュ（岩の山のようなもの）であることもあります。

• Streamiは拡張可能です。これには、整然としたチェッカーボード格子と、乱雑な岩の山の両方を理解できる「ユニバーサル翻訳機」が備わっています。
• もし科学者が新しい、特殊なタイプのデータを持っている場合でも、システム全体を再構築することなく、そのデータをStreamiの低レベルエンジンに組み込むことができます。ライブラリはそのデータ特有の地形をどのようにナビゲートすべきかを判断します。

4. 実世界のテスト

著者らは、16枚の強力なGPUを備えたクラスターを用いて、Streamiのテストを行いました。彼らは、シミュレートされた銀河の中を移動する10万個の粒子を追跡しました。

• 結果: システムは非常に高速で、全粒子を1ステップ前進させるのにわずか約1〜2ミリ秒しかかかりませんでした。
• ボトルネック: 唯一、わずかに速度を低下させたのは、異なるコンピュータ間で行われる「電話（通信）」（「おい、この粒子は今君の地域に入ったぞ」と伝えるためのMPI通信）でした。それでもなお、非常に効率的でした。

まとめ

要約すると、Streamiは、シミュレーションの実行中に、巨大なスーパーコンピュータ内で直接フローライン（風や水の流れなど）を描くことを可能にするツールです。これは、膨大な量のデータをコピーするという、遅くて苦痛なプロセスを回避します。その代わりに、粒子が異なるグラフィックスカード間を瞬時に飛び越えることを可能にするシームレスな架け橋として機能し、複雑で巨大な流体の流れをリアルタイムまたはニアリアルタイムで可視化することを可能にします。

著者らは、このツールをオープンソースとして公開しています。つまり、誰でもこれを利用して、独自の「インタラクティブなシードポイント配置（仮想の葉をシミュレーションの中にクリックして落とし、それがどこへ行くかを見るアプリ）」アプリを構築したり、自身の科学的なワークフローに統合したりすることができるのです。

技術概要

テクニカル・サマリー：Streami – GPU加速された流線計算のためのMPIデータ並列ライブラリ

問題提起

流線（streamlines, streaklinesなど）は、流体解析（特に数値流体力学：CFD）において不可欠なプリミティブです。これらのシミュレーションは通常、分散メモリとマルチGPUノードを利用するハイパフォーマンス・コンピューティング（HPC）システム上で実行されます。個々のGPU計算はCUDAやHIPなどのAPIによって加速されますが、ノード間の通信にはMPIに依存しています。

現在の可視化ワークフローには、以下のような重大なボトルネックが存在します：

1. データ移動： 大規模で分散されたデータセットを、ポストプロセッシングのために別のワークステーションにコピーすることは、そのボリュームとレイテンシの観点からしばしば不可能です。
2. 抽象化の欠如： スカラー場可視化（例：OSPRay, ANARI）やイン・サイチュ（in-situ）オーケストレーション（例：Catalyst, Ascent）のためのライブラリは存在しますが、既存のMPIドメイン分解とシームレスに統合できる、流線計算に特化した高性能なデータ並列抽象化は存在しません。
3. 柔軟性の低さ： 既存のツールは、特定のデータ構造（例：ボクセルグリッド）に適合させるために、カスタム流場を再サンプリングまたはリマッピングする必要があり、品質の低下や過度なメモリ使用を招くことがあります。さらに、MPIランク間での粒子移動（「ピンポン」効果）やロードバランスの処理が、VTKのような特定のエコシステムに密結合していることが多く、移植性を制限しています。

手法

著者らは、マルチGPUクラスター上でデータ並列アプローチを用いて流線を直接計算するために設計された、拡張可能なオープンソースライブラリであるStreamiを提案しています。Streamiは、CFDシミュレーションと低レベルレンダリングの間の薄いレイヤーとして機能し、in-situおよびin-transitの両方の可視化をサポートします。

ソフトウェア・アーキテクチャ

Streamiは、主に2つのインターフェースで構成されています。

1. 低レベル・インターフェース (CUDA/C++)
このレイヤーは、実行時のオーバーヘッドを避けるためにコンパイル時多態性（compile-time polymorphism）を利用し、パフォーマンスに不可欠なビルディングブロックを提供します。

• ベクトル場抽象化： コアとなる抽象化は、ホストおよびデバイスの両方のコンポーネントを持つVecFieldクラスです。デバイスクラスは、2つの重要な組み込み関数を実装しています：
  • sample(position)：特定の3D位置におけるベクトル場の値を再構成します。
  • destinationID(position)：指定された位置のデータを保持しているMPIランク（GPU）を特定します。これにより、ライブラリは特定のデータレイアウトを強制することなく、任意の空間分割（例：一様格子、ツリーベース構造）を扱うことができます。
• 粒子移流（Particle Advection）： Runge-Kutta積分などを用いたCUDAカーネルを介して実装されています。カーネルは場をサンプリングし、粒子の位置を更新し、ターゲットとなるランクを決定します。
• インターGPU通信： ランク間の粒子交換は、元々レイトレーシング用に設計された最適化ライブラリであるRaFIによって処理されます。RaFiは粒子をレイ（光線）として扱い、バッファリングを行い、CUDA-aware MPIを用いた集団的なall-to-all転送を実行します。これにより、ユーザーから隣接クエリやハロー領域の複雑さを抽象化します。

2. 高レベル・インターフェース (オブジェクト指向C++)
このレイヤーは、可視化アルゴリズムをオーケストレートするTracerクラスを提供します。

• アルゴリズム・サポート： 流線（Streamlines）（定常流）と流跡線（Streaklines）（非定常流）をサポートしています。
• ワークフロー： Tracerは、シミュレーションの時間ステップ、粒子生成（シード配置）、およびupdate()カーネルの反復的な呼び出しを管理します。
• 柔軟性： 互換性のあるフィールドタイプの実装が存在する場合、アプリケーションはネイティブの形式（構造化または非構造化）でデータを渡すことができます。

フィールド拡張

Streamiは、C++テンプレートを通じて異なる場表現をサポートします。現在、以下のサポートがあります：

• 構造化フィールド： グローバルメモリに格納された一様ボクセルグリッド。
• 非構造化フィールド： 四面体、四角錐、三角柱、および六面体を含むグリッド。これは、空間クエリのためのGPU加速された境界ボリューム階層（BVH）をcuBQLを介して利用します。

主な貢献

1. ドロップイン・ライブラリ： Streamiは、データコピーやコンテキストスイッチを必要とせずに、既存のHPCパイプラインに流線計算を統合するためのシンプルなAPIを提供します。
2. データ並列の効率性： CFDアプリケーションの既存のドメイン分解を活用することで、従来のポストプロセッシングに関連するロードバランスの問題やデータ転送コストを回避します。
3. 拡張性： ユーザーは、コンパイル時テンプレートを介してカスタムベクトル場タイプや空間分割スキーム（例：ツリー探索）を定義できるため、再サンプリングの必要がなくなります。
4. オープンソースの公開： StreamiはApache 2.0ライセンスの下で公開されており、マルチGPU、MPIベースの流体可視化の参照実装を提供します。

結果とパフォーマンス

著者らは、最大16基のA100 GPU（2ノード）を用い、天体物理学のデータセット（1K³ボクセル）を使用してStreamiを評価しました。

• パフォーマンス： 10万個の粒子に対する単一の移流ステップの平均時間は1〜2ミリ秒でした。
• ボトルネック： 結果は、パフォーマンスがローカルのGPU計算よりも、主にMPI通信のオーバーヘッドによって制限されていることを示しています。
• スケーラビability： ライブラリは、RaFiが粒子交換を効率的に処理することで、分散ランク間で粒子を追跡することに成功しました。
• 非構造化データ： ライブラリは構造化データセットを非構造化六面体形式に適応させることに成功しましたが、BVH構造のオーバーヘッドにより、非常に少ないGPU数（1〜4基のGPU）では実行が制限されました。

意義と主張

本論文は、Streamiを、マルチノード・マルチGPUの流体可視化における最先端技術のギャップを埋めるための不可欠な抽象化として位置付けています。その主な意義は、以下の点にあります：

• 既存のHPCシミュレーションアプリケーションと、そのドメイン分解を再利用して相互運用できること。
• データコピーやコンテキストスイッチを回避することでオーバーヘッドを最小限に抑え、インタラクティブなポストプロセッシングとin-situ解析の両方に適していること。
• 大規模なHPC可視化に求められる「光速」のパフォーマンスを損なうことなく、他のフィールドライン型（例：経路線/pathlines）や複雑なフィールドトポロジーへの将来的な拡張のための基盤を提供すること。

著者らは、Streamiの現在の機能セットは控えめ（流線と流跡線に集中）ではあるものの、その設計思想――低レベルのフィールドサンプリングと高レベルのアルゴリズム論理の分離――が、効率的なデータ並列流線計算のための堅牢なフレームワークを提供していると結論付けています。