⚡ electrical engineering

Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

本文提出了一种轨迹选择型 RL-MPC 框架，该框架将强化学习中的长期经济见解集成到短时域模型预测控制中，旨在温室番茄生产中有效平衡果实产量与运营成本，同时遵守系统约束。

原作者： Bart van Laatum, Salim Msaad, Eldert J. van Henten, Robert D. McAllister, Sjoerd Boersma

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Bart van Laatum, Salim Msaad, Eldert J. van Henten, Robert D. McAllister, Sjoerd Boersma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心大局：温室的困境

想象你是一家高科技番茄温室的经理。你的目标很简单：种出尽可能多的番茄以赚取利润，同时尽可能减少在维持植物生存所需的加热、电力和二氧化碳方面的支出。

然而，你面临着一个棘手的难题：

“近视”问题（短视）： 如果你只看接下来的一个小时，你可能会为了省钱而关掉加热器。但如果你这样做，植物就会变冷，停止生长，导致你以后亏钱。你需要平衡今天的成本与明天的收成。
“长周期”问题： 为了做出完美的决策，你应该观察未来几周的情况（因为番茄需要数周才能生长）。但计算出未来几周完美计划所需的数学运算极其复杂，计算机无法在实时状态下完成计算。
“天气”问题： 你无法控制室外的天气。如果你为晴天做好了计划，结果却下雨了，你的计划就会失败。

两种旧方案（以及为什么它们并不完美）

研究人员研究了解决此问题的两种现有方法：

“计算器”（模型预测控制，简称 MPC）： 这就像一个非常严谨的会计师。它观察接下来的一个小时，检查天气预报，并计算出此时此刻节省成本的最佳方式。
- 缺陷： 它太短视了。它看不出今天关掉加热器会导致下周果实生长停滞。它今天省下了几分钱，明天却损失了几美元。
“直觉专家”（强化学习，简称 RL）： 这就像一位见证过成千上万个季节的老农。它通过长期的学习，掌握了一种“直觉”（策略），知道如何在成本和生长之间取得平衡。
- 缺陷： 它有点鲁莽。因为它专注于大局，可能会忽略严格的规则（比如“不要让湿度过高”）。此外，如果遇到它从未学过的奇怪天气，它可能会犯错。

新方案：“混合教练”（轨迹选择型 RL-MPC）

作者创建了一个结合了两者优点的新系统。可以将其想象为一个**“混合教练”**，它使用两名助手来做出每 5 分钟一次的最终决策。

以下是“混合教练”的工作原理：

长期愿景家（RL 助手）：
系统首先询问“直觉专家”（RL 策略）来构思未来一小时的路径。“如果我们遵循你的直觉，一小时后我们会处于什么状态？”专家会给出一个考虑到长期经济目标（例如确保果实持续生长）的计划。
严谨会计师（MPC 助手）：
接下来，系统要求“计算器”（MPC）规划未来一小时。但诀窍在于：计算器被告知，“你必须大致达到专家建议你达到的终点。” 这迫使计算器在履行其检查即时天气和严格安全规则（如湿度限制）职责的同时，必须尊重长期目标。
最终决策（选择机制）：
现在，系统拥有了两个关于未来一小时的计划：
- 计划 A：专家的长期愿景。
- 计划 B：会计师完善后的、遵守规则的版本。
系统会计算这两个计划的得分。它选择得分较高的那个计划，并执行该计划的第一步。然后，5 分钟后，它利用新的天气数据重复整个过程。

为什么这行得通（结果）

研究人员在一个名为“GreenLight”的大型复杂番茄温室计算机模型上测试了该系统。

“专家测试”： 他们仅针对一个特定的天气日训练了专家。当他们在同一天测试混合教练时，它的表现与完全了解当天的专家一样出色，但比单纯的计算器要好得多。
- 类比： 这就像拥有一个国际象棋特级大师（专家）和一个计算机引擎（计算器）。混合教练让特级大师设定策略，但由引擎来检查每一步是否合法且安全。
“全才测试”： 他们在许多不同的天气日训练了专家，然后在专家从未见过的新天气日进行了测试。
- 结果： 混合教练比专家高出 54%，比计算器高出 80%。
- 原因： 专家擅长把握大局，但有时会违反规则（比如让湿度过高）。计算器擅长遵守规则，但过于短视。混合教练利用专家的长期愿景来引导计算器，而计算器的严格数学逻辑则保证了系统的安全性并节省了加热和电力的成本。

总结

这篇论文证明了你不需要在“长期智慧”和“短期安全”之间做选择。通过让聪明的 AI（RL）引导严谨的计算器（MPC），并每隔几分钟从中挑选出最佳计划，你可以更高效地运营温室，即使在天气难以预测的情况下也是如此。

核心要点： 该系统不仅仅是在猜测；它每隔几分钟就会模拟两种不同的未来，选出胜者，并执行第一步动作。这使得它能够在不被复杂的数学运算压垮的情况下，处理番茄缓慢生长的复杂性。

技术摘要：通过将强化学习集成到短时界模型预测控制中，改进温室水果生产控制

问题陈述
温室水果生产控制是一个经济最优控制问题，旨在寻求在满足系统约束且应对外部天气扰动的情况下，实现收入（果实产量减去运营成本）的最大化。该领域的一个根本挑战是时间尺度不匹配：气候动力学以分钟为单位运行，而作物发育和果实产量的收益则发生在数周后（40-60天）。理想情况下，控制器应针对整个生产周期进行优化，以平衡当前的运营成本与延迟的经济收益。然而，使用大规模、非线性且具有刚性特征的模型（如 GreenLight）来求解具有如此长时界的优化控制问题，在在线计算上是难以实现的。

因此，实际应用通常依赖于具有短预测时界（例如一小时）的模型预测控制（MPC）。虽然 MPC 能够显式处理约束和天气预报，但短时界会导致“近视”行为，无法捕捉延迟的经济收益。相反，强化学习（RL）可以离线学习考虑长期经济表现的策略，但在强制执行硬性系统约束方面表现不佳，并且在面对未见过的天气轨迹时性能往往会下降（泛化能力差）。

方法论
作者提出了 轨迹选择式 RL–MPC (Trajectory-Selection RL–MPC)，这是一个将具有长期经济远见的 RL 策略集成到短时界 MPC 优化中的框架。该方法在每个时间步 $t$ 以闭环方式运行：

RL 展开 (RL Rollout)： 训练好的 RL 策略 ( $\pi_{RL}$ ) 在预测时界 $N$ 内生成一条展开轨迹 ( $\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$ )，该轨迹从当前状态 $x(t)$ 出发并使用预测的天气。
终端要素 (Terminal Ingredients)： 利用 RL 展开的终端状态 $\tilde{x}(t+N)$ $\tilde{x} (t + N)$ 来构建：
- 一个终端区域约束 ( $\mathbb{X}_f$ )：一个围绕 RL 终端状态的区域，MPC 的解必须在该区域内结束。
- 一个终端代价 ( $\hat{V}_f$ )：对偏离 RL 终端状态的惩罚，旨在鼓励 MPC 解保持接近 RL 的长期计划。
MPC 优化： 非线性 MPC 使用实际的天气预报和终端要素求解有限时界优化问题（时界 $N$ ）。这产生了一条预测轨迹 $(\mathbf{x}^\star, \mathbf{u}^\star)$ 。
轨迹选择： 该框架会对 RL 展开轨迹 和 MPC 预测轨迹 分别评估有限时界规划目标。它会选择具有更优目标值的轨迹中的第一个控制输入 ( $u(t)$ )。这种机制确保了如果由于局部最优或计算容差导致 MPC 优化未能改善 RL 展开的表现，系统也不会出现性能退化。

该方法被应用于 GreenLight，一个大规模（27个状态）、非线性且具有刚性的温室番茄生产模型。使用了两种实验设置：

专家策略 (Specialist Policy)： 在单一天气轨迹上进行训练，以评估该框架是否能复制高性能的 RL 行为。
通用策略 (Generalist Policy)： 在广泛的天气轨迹分布（2013–2018年）上进行训练，以评估其在未见测试轨迹（2011, 2012, 2019, 2020, 2023年）上的表现。

关键结果
模拟在一天（288个时间步）的周期内进行，预测时界为一小时 ( $N=12$ )。

专家策略设置： 轨迹选择式 RL–MPC 匹配了高性能专家 RL 策略的闭环表现（累积目标值差异为 0.196 对 0.194）。它显著优于同等时界的独立 MPC（提升了 $\Delta \mathcal{J} = 0.224$ ），其提升主要通过提高经济绩效指标 (EPI) 中的收入生成，而非降低成本来实现。
通用策略设置： 在 25 条未见过的天气轨迹上，轨迹选择式 RL–MPC 在累积经济目标方面分别优于独立的通用 RL 策略 54% 以及独立的 MPC 80%。
- 与 RL 策略相比，该框架在获得相似收入的同时，减少了 26.8% 的加热成本和 12.0% 的灯光电费，并减少了 47.7% 的累积惩罚（约束违反）。
- 与 MPC 相比，该框架实现了更高的收入，克服了短时界 MPC 的近视行为。
选择机制分析： 轨迹选择机制至关重要。在专家设置中，在白天时段，当需要在运营成本与未来产量之间进行权衡时，RL 展开轨迹经常被选中。在通用设置下的未见天气条件下，MPC 预测轨迹被选中的频率更高，这表明短时界优化成功地根据特定的、未见过的天气情况精炼了 RL 策略的轨迹，从而降低了成本。
消融研究： 去除选择机制会导致性能下降 12.2% 且惩罚增加 95.2%，凸显了其对于维持约束满足和性能稳定性的必要性。

意义与主张
论文声称，轨迹选择式 RL–MPC 成功弥合了 RL 的长期经济优化能力与 MPC 的约束处理及短期精炼能力之间的差距。

克服近视： 该框架证明，短时界 MPC（1 小时）可以通过源自 RL 的终端要素有效地纳入长期经济信息（果实产量延迟），从而缓解了典型短时界控制器的近视行为。
对未见条件的鲁棒性： 与可能过度拟合训练分布的独立 RL 不同，该框架通过使用 MPC 根据实际短期天气预报来精炼 RL 策略的轨迹，从而提高了在未见天气轨迹上的表现。
可扩展性： 该方法在 GreenLight 上得到了验证，这是一个复杂的、具有刚性的、大规模模型，其中长时界优化在计算上是不可行的，这表明该方法可扩展到现实的高保真温室模型。
优势互补： 结果证实，选择机制允许系统利用两者的长处：RL 策略的长期远见以及 MPC 的约束满足和成本优化能力。

作者指出，尽管结果令人鼓舞，但这些是基于具有完美状态信息和天气预报的闭环模拟。未来的工作需要在包含明确果实发育动力学的完整生产周期上进行评估，并在模型失配和状态估计误差等现实世界不确定性下测试其鲁棒性。

核心大局：温室的困境

两种旧方案（以及为什么它们并不完美）

新方案：“混合教练”（轨迹选择型 RL-MPC）

为什么这行得通（结果）

总结

类似论文