Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

Technische Zusammenfassung: Verbesserung der Steuerung der Gewächshaus-Fruchtproduktion durch Integration von Reinforcement Learning in die kurzfristige modellprädiktive Regelung

Problemstellung
Die Steuerung der Gewächshaus-Fruchtproduktion ist ein ökonomisches optimales Steuerungsproblem, das darauf abzielt, den Ertrag (Fruchtertrag abzüglich Betriebskosten) zu maximieren und gleichzeitig Systembeschränkungen unter externen Wetterstörungen einzuhalten. Eine grundlegende Herausforderung in diesem Bereich ist der Zeitskalen-Mismatch: Klimadynamiken operieren im Bereich von Minuten, während die Pflanzenentwicklung und die Vorteile des Fruchtertrags über Wochen (40–60 Tage) erfolgen. Idealerweise sollte ein Regler über den gesamten Produktionszyklus optimieren, um aktuelle Betriebskosten gegen verzögerte wirtschaftliche Vorteile abzuwägen. Die Lösung von optimalen Steuerungsproblemen mit solch langen Horizonten unter Verwendung großskaliger, nichtlinearer und steifer Modelle (z. B. GreenLight) ist jedoch online rechnerisch nicht handhabbar.

Infolgedessen verlassen sich praktische Implementierungen häufig auf die modellprädiktive Regelung (MPC) mit kurzen Vorhersagehorizonten (z. B. eine Stunde). Während MPC explizit Beschränkungen und Wetterprognosen berücksichtigt, führt ein kurzer Horizont zu „kurzsichtigem“ Verhalten, da es versäumt, die verzögerten wirtschaftlichen Vorteile des Fruchtertrags zu erfassen. Umgekehrt kann Reinforcement Learning (RL) Offline-Policies erlernen, die eine langfristige wirtschaftliche Leistung berücksichtigen, hat jedoch Schwierigkeiten, harte Systembeschränkungen durchzusetzen und zeigt oft eine mangelnde Generalisierung bei ungesehenen Wetterverläufen (schlechte Verallgemeinerung).

Methodik
Die Autoren schlagen Trajectory-Selection RL–MPC vor, ein Framework, das die langfristige wirtschaftliche Weitsicht einer RL-Policy in eine kurzfristige MPC-Optimierung integriert. Die Methode arbeitet in jedem Zeitschritt $t$ in einer geschlossenen Schleife:

1. RL-Rollout: Eine trainierte RL-Policy ($\pi_{RL}$) generiert einen Rollout-Trajektorienverlauf ($\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$) über den Vorhersagehorizont $N$, ausgehend vom aktuellen Zustand $x(t)$ unter Verwendung der Wetterprognose.
2. Terminale Bestandteile: Der Endzustand des RL-Rollouts, $\tilde{x}(t+N)$, wird verwendet, um Folgendes zu konstruieren:
   • Eine terminale Regionsbeschränkung ($\mathbb{X}_f$): Eine Region um den RL-Endzustand, in der die MPC-Lösung enden muss.
   • Eine terminale Kostenfunktion ($\hat{V}_f$): Eine Straffunktion für Abweichungen vom RL-Endzustand, die die MPC-Lösung dazu ermutigt, nahe am langfristigen Plan der RL zu bleiben.
3. MPC-Optimierung: Ein nichtlinearer MPC löst ein endliches Planungsproblem (Horizont $N$) unter Verwendung der tatsächlichen Wetterprognose und der terminalen Bestandteile. Dies liefert eine prädizierte Trajektorie $(\mathbf{x}^\star, \mathbf{u}^\star)$.
4. Trajektorien-Selektion: Das Framework evaluiert das Finite-Horizon-Planungsziel sowohl für die RL-Rollout-Trajektorie als auch für die MPC-prädizierte Trajektorie. Es wählt den ersten Steuerungsimpuls ($u(t)$) aus der Trajektorie mit dem überlegenen Zielfunktionswert aus. Dieser Mechanismus stellt sicher, dass die Leistung des Systems nicht sinkt, falls die MPC-Optimierung aufgrund lokaler Minima oder Rechengenauigkeiten die RL-Rollout-Trajektorie nicht verbessern kann.

Die Methode wurde auf GreenLight angewendet, ein großskaliges (27 Zustände), nichtlineares und steifes Modell der Tomatenproduktion im Gewächshaus. Es wurden zwei experimentelle Einstellungen verwendet:

• Spezialisten-Policy: Trainiert auf einer einzelnen Wettertrajektorie, um zu bewerten, ob das Framework eine hochperformante RL-Verhalten replizieren kann.
• Generalisten-Policy: Trainiert auf einer breiten Verteilung von Wettertrajektorien (2013–2018), um die Leistung auf ungesehenen Testtrajektorien (2011, 2012, 2019, 2020, 2023) zu bewerten.

Wichtigste Ergebnisse
Die Simulationen wurden über Zeiträume von einem Tag (288 Zeitschritte) mit einem Vorhersidehorizont von einer Stunde ($N=12$) durchgeführt.

• Spezialisten-Policy-Einstellung: Die Trajectory-Selection RL–MPC entsprach der Closed-Loop-Leistung der hochperformanten Spezialisten-RL-Policy (kumulative Differenz des Ziels von 0,196 gegenüber 0,194). Sie übertraf die Standalone-MPC mit demselben Horizont signifikant (Verbesserung um $\Delta \mathcal{J} = 0,224$), primär durch eine Steigerung der wirtschaftlichen Leistungsindikatoren (EPI) durch bessere Umsatzgenerierung statt durch Kostensenkung.
• Generalisten-Policy-Einstellung: Auf 25 ungesehenen Wettertrajektorien übertraf die Trajectory-Selection RL–MPC die Standalone-Generalisten-RL-Policy um 54 % und die Standalone-MPC um 80 % hinsichtlich des kumulativen wirtschaftlichen Ziels.
  • Im Vergleich zur RL-Policy erreichte das Framework einen ähnlichen Umsatz, reduzierte jedoch die Heizkosten um 26,8 % und die Stromkosten für die Lampen um 12,0 %, während es gleichzeitig die kumulativen Strafen (Beschränkungsverletzungen) um 47,7 % senkte.
  • Im Vergleich zu MPC erzielte das Framework einen signifikant höheren Umsatz und überwand damit das kurzsichtige Verhalten der kurzfristigen MPC.
• Analyse des Selektionsmechanismus: Der Trajektorien-Selektionsmechanismus war entscheidend. In der Spezialisten-Einstellung wurde während der Tagesstunden häufig die RL-Rollout-Trajektorie ausgewählt, wenn die Abwägung zwischen Betriebskosten und zukünftigem Ertrag entscheidend war. In der Generalisten-Einstellung unter ungesehenem Wetter wurde die MPC-prädizierte Trajektorie häufiger ausgewählt, was darauf hindeutet, dass die kurzfristige Optimierung die RL-Policy-Trajektorie erfolgreich verfeinert hat, um spezifische, ungesehene Wetterbedingungen zu handhaben und Kosten zu senken.
• Ablationsstudie: Das Entfernen des Selektionsmechanismus verursachte einen Leistungsabfall von 12,2 % und eine Zunahme der Strafen um 95,2 %, was dessen Notwendigkeit zur Aufrechterhaltung der Beschränkungseinhaltung und Leistungsstabilität unterstreicht.

Bedeutung und Behauptungen
Das Paper behauptet, dass Trajectory-Selection RL–MPC erfolgreich die Lücke zwischen der langfristigen wirtschaftlichen Optimierungsfähigkeit von RL und der Fähigkeit zur Beschränkungseinhaltung und kurzfristigen Verfeinerung von MPC schließt.

• Überwindung der Kurzsichtigkeit: Das Framework zeigt, dass ein kurzfristiger MPC (1 Stunde) durch von RL abgeleitete terminale Bestandteile effektiv langfristige wirtschaftliche Informationen (verzögerte Fruchterträge) einbeziehen kann, wodurch das typische kurzsichtige Verhalten kurzfristiger Regler gemildert wird.
• Robustheit gegenüber ungesehenen Bedingungen: Im Gegensatz zu Standalone-RL, das möglicherweise an die Trainingsverteilung überanpasst (Overfitting), verbessert das vorgeschlagene Framework die Leistung auf ungesehenen Wettertrajektorien, indem es MPC nutzt, um die RL-Policy-Trajektorie basierend auf tatsächlichen kurzfristigen Wetterprognosen zu verfeinern.
• Skalierbarkeit: Die Methode wurde auf GreenLight validiert, einem komplexen, steifen, großskaligen Modell, bei dem eine langfristige Optimierung rechnerisch nicht handhabbar ist, was darauf hindeutet, dass der Ansatz auf realistische, hochpräzise Gewächshausmodelle skalierbar ist.
• Komplementäre Stärken: Die Ergebnisse bestätigen, dass der Selektionsmechanismus es dem System ermöglicht, das Beste aus beiden Welten zu nutzen: die langfristige Voraussicht der RL-Policy und die Beschränkungseinhaltung sowie die Kostenoptimierung des MPC.

Die Autoren merken an, dass die Ergebnisse zwar vielversprechend sind, aber auf Closed-Loop-Simulationen mit perfekter Zustandsinformation und perfekten Wetterprognosen basieren. Zukünftige Arbeiten sind erforderlich, um das Framework über vollständige Produktionszyklen mit expliziter Fruchtentwicklungsdynamik zu evaluieren und die Robustheit unter realen Unsicherheiten wie Modellabweichungen und Schätzfehlern beim Zustand zu testen.