Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

技術要約：強化学習を短期間モデル予測制御に統合することによる温室栽培における果実生産制御の改善

問題提起
温室における果実生産制御は、外部の天候による乱れの下で、システム制約を遵守しつつ収益（果実収量から運営コストを差し引いたもの）を最大化しようとする経済的最適制御問題である。ここでの根本的な課題は、タイムスケールの不一致である。気象ダイナミクスは数分単位で動作するが、作物の発達や果実収量の恩恵は数週間（40〜60日間）にわたって発生する。理想的には、現在の運営コストと遅延して発生する経済的利益のバランスを取るために、全生産サイクルにわたって最適制御を行うべきである。しかし、大規模かつ非線形で硬い（stiff）モデル（例：GreenLight）を用いて、このような長いホライゾンを持つ最適制御問題を解くことは、オンラインでは計算量的に実行不可能である。

その結果、実用的な実装では、短期間の予測ホライゾン（例：1時間）を用いたモデル予測制御（MPC）に依存することが多い。MPCは制約条件や天気予報を明示的に扱うことができるが、ホライゾンが短いことで「近視眼的」な挙動となり、遅延して発生する経済的利益を捉えることができない。一方、強化学習（RL）は長期的な経済パフォーマンスを考慮した方策をオフラインで学習できるが、厳格なシステム制約を強制することに苦しみ、未知の天候軌跡に対して性能が低下する（汎化性能の欠如）という課題がある。

手法
著者らは、RLの方策による長期的な経済的洞察を、短期間のMPC最適化に統合するフレームワークである**軌跡選択型RL–MPC（Trajectory-Selection RL–MPC）**を提案している。この手法は、各時刻 $t$ において以下の閉ループプロセスで動作する。

1. RLロールアウト： 学習済みRL方策（$\pi_{RL}$）が、現在の状態 $x(t)$ と予測された天候を用い、予測ホライゾン $N$ にわたるロールアウト軌跡（$\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$）を生成する。
2. 終端成分（Terminal Ingredients）： RLロールアウトの終端状態 $\tilde{x}(t+N)$ を用いて、以下を構築する。
   • 終端領域制約（$\mathbb{X}_f$）： MPCの解が終了すべき、RLの終端状態の周囲にある領域。
   • 終端コスト（$\hat{V}_f$）： RLの終端状態からの偏差に対するペナルティであり、MPCの解がRLの長期計画に近似することを促す。
3. MPC最適化： 非線形MPCが、実際の天気予報と終端成分を用いて、有限ホライゾンの最適化問題を（ホライゾン $N$ で）解く。これにより、予測軌跡 $(\mathbf{x}^\star, \mathbf{u}^\star)$ が得られる。
4. 軌跡選択： フレームワークは、RLのロールアウト軌跡とMPCの予測軌跡の両方について、有限ホライゾンの目的関数を評価する。そして、より優れた目的関数値を持つ方の軌跡から、最初の制御入力（$u(t)$）を選択する。このメカニズムにより、局所解や計算誤差によってMPCの最適化がRLのロールアウトを上回ることができなかった場合でも、システムの性能が低下しないように保証される。

この手法は、大規模（27状態）、非線形、かつ硬い温室トマト生産モデルであるGreenLightに適用された。2つの実験設定を用いた。

• スペシャリスト方策（Specialist Policy）： 高性能なRLの挙動を本フレームワークが再現できるかを評価するために、単一の天候軌跡で学習されたもの。
• ジェネラリスト方策（Generalist Policy）： 未知のテスト軌跡（2011, 2012, 2019, 2020, 2023年）に対する性能を評価するために、幅広い天候分布（2013–2018年）で学習されたもの。

主な結果
シミュレーションは、1時間の予測ホライゾン（$N=12$）を用い、1日（288タイムステップ）にわたって実施された。

• スペシャリスト方策の設定： 軌跡選択型RL–MPCは、高性能なスペシャリストRL方策のクローズドループ性能と一致した（累積目的関数の差は0.196対0.194）。これは、単独のMPC（同ホライゾン）と比較して、大幅に優れた性能を示した（$\Delta \mathcal{J} = 0.224$ の改善）。これは主に、コスト削減ではなく、収益生成を通じた経済的パフォーマンス指標（EPI）の向上によるものである。
• ジェネラリスト方策の設定： 25の未知の天候軌跡において、軌跡選択型RL–MPCは、単独のジェネラリストRL方策を54%、単独のMPCを**80%**上回る累積経済的目的関数を達成した。
  • RL方策と比較して、本フレームワークは同等の収益を達成しつつ、暖房コストを26.8%、ランプ電力を12.0%削減し、累積ペナルティ（制約違反）を47.7%減少させた。
  • MPCと比較して、本フレームワークは大幅に高い収益を達成し、短ホライゾンMPC特有の近視眼的挙動を克服した。
• 選択メカニズムの分析： 軌跡選択メカニズムは極めて重要であった。スペシャリスト設定では、運営コストと将来の収量のバランスを取ることが重要な日中時間帯において、RLのロールアウトが頻繁に選択された。ジェネラリスト設定の未知の天候下では、MPCの予測軌跡がより多く選択されており、これは短期間の最適化が、特定の未知の天候条件に対処しコストを削減するために、RL方策の軌跡を効果的に洗練させたことを示している。
• アブレーション研究： 選択メカニズムを除去すると、性能が12.2%低下し、ペナルティが95.2%増加した。これは、制約遵守と性能の安定性を維持するためのメカニズムの必要性を浮き彫りにした。

意義と主張
本論文は、軌跡選択型RL–MPCが、RLの長期的な経済的最適化能力と、MPCの制約処理および短期的な洗練能力の間の溝を埋めることに成功したと主張している。

• 近視眼性の克服： 本フレームワークは、RLから導出された終端成分を用いることで、短期間のMPC（1時間）が長期的な経済情報（果実収量の遅延）を効果的に組み込めることを示しており、短ホライゾン制御に典型的な近視眼的挙動を緩和している。
• 未知の条件下での堅牢性： 単独のRLが学習分布に過学習しやすいのに対し、本フレームワークは、実際の短期的な天気予報に基づいてRL方策の軌跡を洗練させることで、未知の天候軌跡における性能を向上させている。
• 拡張性： 本手法は、長期間の最適化が計算量的に実行不可能である複雑で硬い大規模モデルであるGreenLightにおいて検証されており、現実的で高精度な温室モデルへの適用可能性を示唆している。
• 相補的な強み： 結果は、選択メカニズムによって、RL方策の長期的洞察力と、MPCの制約充足およびコスト最適化能力という、両者の最良の部分を活用できることを裏付けている。

著者らは、結果は有望であるが、これらは完全な状態情報と天気予報を用いたクローズドループ・シミュレーションに基づいていると述べている。今後は、明示的な果実発達ダイナミクスを含む全生産サイクルを通じた評価や、モデルの不一致や状態推定誤差といった現実世界の不確実性に対する堅牢性のテストが必要である。