High-lift Wing Separation Control via Bayesian Optimization and Deep Reinforcement Learning

本研究は、30P30N 高揚力翼に対する定常ジェット制御を通じてオープンループベイズ最適化が空力効率を 10.9% 向上させたことを示す一方、探索を制約するペナルティ支配型の報酬関数のため、クローズドループ深層強化学習はわずかな利益しかもたらさなかったことを明らかにしている。

要約

重い飛行機の操縦を試みていると想像してください。安全に離陸し着陸するためには、翼が大量の揚力を発生させる必要があります。そのためにエンジニアは「高揚力」翼を使用します。これは、翼の形状を変えるために飛び出す追加のフラップやスラット（小さな可動部品）を備えた翼のようなものです。

しかし、急な角度（飛行機が急上昇しているときや着陸しているときなど）では、これらの追加部品の上を流れる空気が乱れ、表面から剥離してしまい、飛行機が「ストール」（揚力を失うこと）を起こす原因となります。これは、厚い群衆の中を走ろうとするようなものです。速すぎたり、間違った角度で動いたりすると、人々があなたにぶつかり、効率的に前に進むことができません。

この論文は、この「乱れた空気」の問題を解決するために、2 つの異なる賢い戦略を用いた研究者チームによる研究です。彼らは、超高度なコンピュータシミュレーション（仮想風洞のようなもの）を使用して、「30P30N」と呼ばれる特定の翼設計に対して彼らのアイデアをテストしました。

彼らがどのようにして問題を解決しようとしたかを、簡単に説明します。

ツール：「合成ジェット」

大きな機械的なフラップの代わりに、研究者たちは目に見えない小さな「息」のような空気流を使用しました。翼の表面にある小さな穴から一定の空気の流れを吹きかけることを想像してください。これらは合成ジェットと呼ばれます。これらはシステムに追加の空気を供給するのではなく（単に空気を移動させるだけですが）、乱れた空気流を滑らかにし、空気が翼に張り付くように保つことで、飛行機がストールするのを防ぎます。

戦略 1：「賢い探索者」（ベイズ最適化）

最初の手法は、非常に組織的な宝探しのようなものです。

• 仕組み： コンピュータは、翼の前方、中央、後方から空気を吹き出すさまざまな組み合わせを試します。単にランダムに推測するのではなく、各試行から学ぶための数学的なマップを使用します。ある設定がうまくいけば、より良い設定をその周辺に探します。
• 結果： この手法は非常に成功しました。翼の効率を11% 向上させる、特定の安定した「呼吸」パターンを見つけ出しました。
• 何が起きたか： それは主に翼の前方部分（スラット）で空気を吸い込むことで機能し、流れを滑らかにして抵抗（空気抵抗）を減らしました。それは、群衆の中にいる誰ともぶつからないように歩くための完璧なリズムを見つけるようなものでした。

戦略 2：「ビデオゲームプレイヤー」（深層強化学習）

2 つ目の手法は、飛行シミュレータをプレイするようにビデオゲームのキャラクター（AI エージェント）を訓練するようなものです。

• 仕組み： この AI は、翼上のセンサーからリアルタイムの更新情報を受け取ります（プレイヤーが画面を見るようなもの）。それは、空気が「今」何をしているかに基づいて、空気の「息」を即座に調整しようとします。目標は、人間では思い付くことができないような、複雑で変化する空気制御のダンスを学ぶことです。
• 結果： この手法は苦労しました。AI が即座のデータにアクセスできたにもかかわらず、翼のパフォーマンスはほとんど向上しませんでした。
• 失敗した理由： 研究者たちは、AI に与えた「スコア」が厳しすぎたことに気づきました。AI は小さな揚力の損失さえも失敗することへの恐れから、新しいことを試すことを恐れていました。それは、ほとんど何も改善しない安全で退屈なループに陥ってしまいました。これは、問題を間違えることを恐れて、難しい答えを試すために手を挙げない学生のようなものです。

大きな教訓

この研究は以下のことを発見しました。

1. 「賢い探索者」（ベイズ最適化） は非常にうまく機能しました。それは、ごく少数のコンピュータテストで翼を大幅に良く飛行させる、シンプルで安定した解決策を見つけ出しました。
2. 「ビデオゲームプレイヤー」（深層強化学習） は、この特定のケースではうまく機能しませんでした。コンピュータの実行コストが高すぎました（1 つのトレーニングセッションにスーパーコンピュータの 2 週間分を要しました）し、AI の「ルール」が厳しすぎて、最適な動きを学ぶことを妨げていました。

要約すると： この特定の翼の問題に対しては、即座に反応しようとするハイテク AI よりも、最良の設定を体系的かつ安定して探索する手法の方が優れていました。研究者たちは結論として、将来これらの「ビデオゲーム」的な AI 手法を使用したいのであれば、彼らが実際に飛行を改善して学べるように、より良いルール（報酬）と高速なコンピュータを与える必要があると結論付けました。

技術概要

技術的概要：ベイズ最適化と深層強化学習による高揚力翼の剥離制御

問題定義
本研究は、離着陸時に使用される多要素翼のベンチマーク幾何形状である 30P30N 高揚力翼構成における流れの剥離制御の課題に取り組む。具体的には、迎角 $\alpha = 23^\circ$、レイノルズ数 $Re_c = 450,000$ の高迎角におけるストールの軽減を目標とする。これらの条件下では、主翼とフラップ要素間のせん断層剥離が支配的となり、空力性能を劣化させる。目的は、スラット、主翼、フラップ要素に合成ジェットを用いた能動的流れ制御（AFC）を適用し、剥離を遅延させ、空力効率（$E = C_l/C_d$）を向上させることである。本研究では、オープンループのベイズ最適化（BO）とクローズドループの深層強化学習（DRL）という 2 つの異なる最適化戦略を比較する。

手法
本研究では、スペクトル要素法を用いて濾過された非圧縮ナビエ - ストークス方程式を解く、社内開発の GPU 加速 CFD ソルバー SOD2D を用いた、壁面解像 Large-Eddy Simulation（LES）を採用した。計算領域は、流下方向、横方向、および翼幅方向においてそれぞれ $20c \times 20c \times 0.1c$ にわたる。

• 作動： 合成ジェットは、スラット（$x/c = -0.050$）、主翼要素（$x/c = 0.725$）、およびフラップ（$x/c = 1.0$）に配置される。ジェットは正味の質量流量ゼロで動作し、フラップジェットの速度はスラットおよび主翼ジェットの質量流量と釣り合うように制約される。
• ベイズ最適化（BO）： このオープンループ手法では、ジェット速度を固定パラメータとして扱う。ガウス過程（GP）の代理モデルが制御入力と空力出力の関係を近似する。目的関数は、ベースラインに対する揚力の減少または抗力の増加に対して厳格なペナルティを課しつつ、効率を最大化する。最適化は、定常状態の最適構成を見つけるためにパラメータ空間を反復的にサンプリングする。
• 深層強化学習（DRL）： このクローズドループ手法は、マルチエージェント強化学習（MARL）フレームワークを利用する。ニューラルネットワークとして実装されたエージェントは、擬似環境（3 つの 3 次元領域にまたがる）あたり 78 個のセンサーからの瞬時圧力データを受け取り、時間依存のジェット速度を出力する。エージェントは、近接方策最適化（PPO）アルゴリズムを用いて訓練される。報酬関数は BO の目的関数を反映するが、各擬似環境で局所的に計算され、集約される。訓練環境はデータ収集を加速するために 10 個の並行 CFD シミュレーションを実行する。

主要な貢献と結果

1. ベースラインの検証： 制御されていない LES 設定は、わずかに高いレイノルズ数（$750,000$）で取得された文献データ（Montalà ら）に対して検証された。2 つのメッシュ解像度が使用された：最適化訓練用の粗いメッシュ（$p=2$）と最終評価用の細かいメッシュ（$p=4$）。細かいメッシュは壁面解像統計（$\Delta y^+ < 2$）を正確に捉えたのに対し、粗いメッシュは解像度の低さにより抗力を過小評価したにもかかわらず、揚力係数と流れのトポロジーの傾向を成功裡に捉え、最適化ループでの使用を妥当とした。

2. ベイズ最適化の成功： BO フレームワークは、細かいメッシュにおいてベースラインと比較して空力効率を**+10.9%向上させる定常ジェット構成を特定することに成功した。この改善は、主に揚力を維持（+0.15%）しつつ抗力を 9.7% 削減**することによって達成された。流れの分析により、スラット上の吸着が境界層を薄くし、スラット後流を排除して抗力削減を主導したことが明らかになった。主翼とフラップ要素上の抗力は、より大きな循環領域のためにわずかに増加したが、正味の効果はプラスであった。BO 手法は収束するためにわずか 19 回の CFD 評価しか必要としなかった。

3. DRL の性能と限界： 対照的に、DRL エージェントは瞬時の流れ情報と 3 次元作動のための MARL フレームワークを活用したにもかかわらず、わずかな改善しか達成しなかった。エージェントは抗力をわずかに削減し揚力を維持したが、空力効率の向上は無視できるほどであった。訓練プロセスの分析により、報酬関数がペナルティ項（特に揚力ペナルティ）によって支配されていたことが示された。エージェントが揚力ペナルティを完全に排除できなかった（揚力はベースラインを超えなかった）ため、効率項は停滞したままとなった。著者らは、報酬関数における「厳格な」制約が制御空間の探索を制限し、エージェントを局所最適解に閉じ込めた可能性があると指摘している。

4. 計算上の課題： 本研究は、高レイノルズ数 DRL の著しい計算コストを浮き彫りにしている。990 回の MARL エピソードの訓練には、MN5 スーパーコンピュータの 30 ノードで約 2 週間（約 48,000 GPU 時間）を要した。$Re_c = 450,000$ における LES に必要な微小な時間ステップによって引き起こされるこのコストは、ハイパーパラメータの調整や代替報酬式のテスト能力を深刻に制限した。

意義と主張
本論文は、BO が少数の評価で定常かつ解釈可能な AFC 戦略を特定するための堅牢で効率的なツールである一方、高レイノルズ数流れ制御において DRL は重大な障壁に直面していると主張する。この研究の主な意義は、以下の点を示すことにある：

• BO は、複雑な 3 次元高揚力翼におけるストールの軽減と効率の向上のために、定常合成ジェット作動を効果的に最適化できる。
• DRL においては、報酬関数の設計が決定的である；ペナルティ支配的な報酬は探索を制限し、性能向上の方策の発見を妨げる可能性がある。
• 計算コストは、高レイノルズ数における DRL ベースの流れ制御における主要なボトルネックのままである。著者らは、将来の進展は単に現在の訓練プロトコルをスケールアップするのではなく、代理モデル、低レイノルズ数からの転移学習、または並列化の強化などの加速戦略に依存すると示唆している。

本研究は、この特定の応用において DRL が BO より優れていると主張するものではなく、むしろ、現在の計算および報酬制約の下では、効率向上の観点から BO がクローズドループの DRL アプローチを上回ったことを示す比較分析を提示している。