技術概要：大規模流体制御における強化学習アルゴリズムのプラグアンドプレイ型ベンチマーク

問題提起

能動流体制御（AFC）は、空気力学、エネルギー収穫、乱流低減などの実世界システムの最適化に不可欠である。強化学習（RL）はこの分野で有望な成果を示しているが、断片化された研究環境により進展が妨げられている。既存の研究は、不均一な観測・作動方式、多様な数値設定、一貫性のない評価プロトコルに依存しており、直接的な比較を困難にしている。さらに、現在のベンチマークには以下の 3 つの主要な限界がある：

1. 外部ソルバーへの依存性：ほとんどのベンチマークは、OpenFOAM や Fluent などの外部計算流体力学（CFD）ソルバーとの結合を必要とし、専門知識を要する脆いソフトウェアスタックを生成して、標準的な Python 製 RL ライブラリとの統合を阻害している。
2. 微分可能性の欠如：既存の環境は主に微分不可能であり、微分予測制御（DPC）などの勾配ベース制御手法の使用を妨げ、現代の微分可能 RL 技術の応用を制限している。
3. 範囲の限定：現在のベンチマークは、空間的に分散した作動に自然的なマルチエージェント強化学習（MARL）のサポートが不足しており、主に 2 次元シナリオに限定され、本質的な 3 次元流体力学を捉えきれていない。

手法：FluidGym

これらの限界に対処するため、著者らは AFC における RL のための、最初のスタンドアロンかつ完全微分可能なベンチマークスイートであるFluidGymを導入する。

構造と設計

• 単一スタック実装：GPU 加速型のPICT ソルバー（微分可能でマルチブロックの PISO ソルバー）の上に完全に PyTorch で構築された FluidGym は、外部 CFD ソフトウェアの必要性を排除する。すべてのシミュレーションと制御インターフェースは単一の Python パッケージ内に存在し、pip によるインストールが可能で、Gymnasium、PettingZoo、Stable-Baselines3、TorchRL などの標準 RL ライブラリと即座に互換性がある。
• 微分可能性：このフレームワークは本質的にエンドツーエンドで微分可能である。これにより、環境を変更することなく、勾配ベースの制御手法（DPC など）がシミュレーションを通じて方策パラメータへ逆伝播できるようになり、古典的な RL もサポートする。
• 相互作用モード：FluidGym は 3 つの相互作用モードをサポートする：
  1. 単一エージェント RL（SARL）：単一エージェントがグローバルな動作ベクトルを出力する。
  2. マルチエージェント RL（MARL）：複数のエージェントが異なる空間位置で同時に動作し、局所的な観測と報酬を受け取り、分散制御戦略を可能にする。
  3. 勾配ベース制御：微分可能シミュレーションを通じて伝播する報酬勾配による方策の直接最適化。

ベンチマーク環境

FluidGym は、乱流強度と流体力学の複雑さを変化させるために、4 つの主要な流れシナリオにまたがる 13 の異なる環境構成を提供し、それぞれが 3 つの難易度レベル（Easy、Medium、Hard）で提供される：

1. 円柱周りの流れ：合成ジェットまたは円柱回転による抗力低減に焦点を当てる。2 次元および 3 次元バリエーションを含む。
2. レイリー・ベナール対流（RBC）：底境界加熱によるヌッセルト数の最小化を通じて熱伝達増強に焦点を当てる。2 次元、3 次元、および広域バリエーションを含む。
3. 翼型周りの流れ：表面搭載型合成ジェットによる空気力学的効率（揚抗比）の向上を目指す。2 次元および 3 次元バリエーションを含む。
4. 乱流チャネル流れ（TCF）：空間的に分散した吹き出しと吸引による壁面せん断応力の低減を目指す。単一または二重壁作動を備えた小規模および大規模ドメインバリエーションを含む。

実験プロトコル

著者らは再現性を確保するために、統一された訓練および評価プロトコルを確立した：

• データ分割：それぞれ 10 のランダムに生成された初期ドメインを含む、3 つの事前定義された分割（訓練、検証、テスト）。
• シード設定：実験では、各構成あたり 5 つのランダムシードと 10 のテストエピソードを使用する。
• 評価アルゴリズム：本研究では、Proximal Policy Optimization（PPO）、Soft Actor-Critic（SAC）、Differentiable Predictive Control（DPC）、および Model Predictive Control 用の Temporal Difference Learning（TD-MPC）をベンチマークする。

主要な結果

アルゴリズム性能

• SAC と PPO の比較：すべての難易度レベルおよび環境において、SAC は PPO に比べてベースフローに対する正規化されたテストセット相対改善を常に達成した。ただし、マルチエージェント設定では、PPO と SAC の性能はより比較可能となり、これは並列化された MARL 設定における PPO のサンプル数増加による恩恵が原因と考えられる。
• 勾配ベース手法：DPC はサンプル効率において顕著な利点を示した。CylinderJet2D-easy 環境において、DPC は訓練速度において PPO および SAC をそれぞれ約 1 桁および 2 桁上回った。より乱れた設定（RBC2D-hard）では、DPC は TD-MPC および SAC と競争力があり、PPO を上回った。
• マルチエージェント学習：RBC3D 環境において、MARL エージェントは安定した対流ロールを形成するために底壁加熱を調整することを成功裡に学習し、分散協調をサポートするフレームワークの能力を実証した。

転移学習

• 次元転移：2 次元で訓練された方策は、3 次元円柱環境へ成功裡に転移された。Easy および Hard タスクにおいて、転移された 2 次元方策は、直接 3 次元で訓練されたベースラインを上回るか同等の性能を示し、次元間転移における堅牢性を示唆した。
• ドメインサイズ転移：小規模な乱流チャネル流れドメインで訓練された方策は、大規模ドメインへ効果的に一般化し、直接大規模ドメインで訓練された方策を上回った。これは、MARL が並進等変な制御戦略を学習する可能性を浮き彫りにしている。

実行時間と効率

• 訓練時間：微分可能環境を介した逆伝播の計算コストにより、DPC は標準的な RL に比べて 1.5〜2 倍のウォールクロック訓練時間を要した。
• スケーラビリティ：このフレームワークは、本研究全体で 25,000 GPU 時間を超える大規模な実験ワークロードに成功裡に拡張された。

意義と主張

本論文は、FluidGym を RL 研究と流体力学の間のギャップを埋める基礎的なツールとして位置づけている。その主な意義は以下の点にある：

1. 標準化：外部 CFD ソルバー依存性の障壁を取り除く、最初のスタンドアロンかつプラグアンドプレイ型のベンチマークを提供し、研究者の参入障壁を低下させる。
2. 微分可能性：古典的 RL と勾配ベース制御手法の体系的な比較を可能にする完全微分可能な環境を確立し、これは AFC ベンチマークにおいて以前は欠けていた機能である。
3. 包括的な範囲：多様な 2 次元および 3 次元流れ領域における単一エージェントおよびマルチエージェント制御の両方に対する統一プラットフォームを提供し、空間的に分散した制御戦略の研究を促進する。
4. 再現性：フィールドにおける再現性と厳密な統計的比較を促進するために、すべての環境、データセット、訓練済みモデル、および実験結果を公開する。

著者らは、ベンチマークは重要な前進であるが、現在の限界として CUDA 対応 GPU への依存と、アルゴリズム固有のチューニングではなく標準的なハイパーパラメータへの焦点が含まれると指摘している。今後の研究では、スイートを磁気流体力学（MHD）流れに拡張し、統計的堅牢性をさらに高めるためにランダムシードの数を増やすことを目指している。