Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

Résumé technique : Amélioration du contrôle de la production fruitière en serre par l'intégration de l'apprentissage par renforcement dans le contrôle prédictif de modèle à horizon court

Énoncé du problème
Le contrôle de la production fruitière en serre est un problème de contrôle économique optimal qui cherche à maximiser les revenus (rendement des fruits moins les coûts opérationnels) tout en respectant les contraintes du système sous l'influence de perturbations météorologiques externes. Un défi fondamental dans ce domaine est le décalage d'échelle temporelle : la dynamique climatique opère sur des minutes, tandis que le développement des cultures et les bénéfices du rendement des fruits se produisent sur des semaines (40 à 60 jours). Idéalement, un contrôleur devrait optimiser sur l'ensemble du cycle de production pour équilibrer les coûts opérationnels actuels avec les bénéfices économiques différés. Cependant, résoudre des problèmes de contrôle optimal avec des horizons aussi longs en utilisant des modèles de grande échelle, non linéaires et raides (par exemple, GreenLight) est numériquement impossible en temps réel.

Par conséquent, les implémentations pratiques reposent souvent sur le contrôle prédictif de modèle (MPC) avec des horizons de prédiction courts (par exemple, une heure). Bien que le MPC gère explicitement les contraintes et les prévisions météorologiques, les horizons courts entraînent un comportement « myope », échouant à capturer les bénéfices économiques différés du rendement des fruits. À l'inverse, l'apprentissage par renforcement (RL) peut apprendre des politiques hors ligne qui considèrent les performances économiques à long terme, mais il peine à imposer des contraintes strictes au système et voit souvent ses performances se dégrader face à des trajectoires météorologiques inédites (faible généralisation).

Méthodologie
Les auteurs proposent le RL–MPC par sélection de trajectoire, un cadre qui intègre la prospective économique à long terme d'une politique de RL dans une optimisation MPC à horizon court. La méthode fonctionne en boucle fermée à chaque pas de temps $t$ :

1. Rollout RL : Une politique de RL entraînée ($\pi_{RL}$) génère une trajectoire de simulation (rollout) ($\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$) sur l'horizon de prédiction $N$ à partir de l'état actuel $x(t)$ et en utilisant la météo prévue.
2. Éléments terminaux : L'état terminal de la simulation RL, $\tilde{x}(t+N)$, est utilisé pour construire :
   • Une contrainte de région terminale ($\mathbb{X}_f$) : une région autour de l'état terminal du RL où la solution du MPC doit aboutir.
   • Un coût terminal ($\hat{V}_f$) : une pénalité pour les écarts par rapport à l'état terminal du RL, encourageant la solution du MPC à rester proche du plan à long terme du RL.
3. Optimisation MPC : Un MPC non linéaire résout un problème d'optimisation à horizon fini ($N$) en utilisant la prévision météorologique réelle et les éléments terminaux. Cela produit une trajectoire prédite $(\mathbf{x}^\star, \mathbf{u}^\star)$.
4. Sélection de trajectoire : Le cadre évalue l'objectif de planification à horizon fini pour à la fois la trajectoire de simulation du RL et la trajectoire prédite par le MPC. Il sélectionne la première commande ($u(t)$) de la trajectoire présentant la meilleure valeur d'objectif. Ce mécanisme garantit que le système ne dégrade pas ses performances si l'optimisation du MPC échoue à améliorer la simulation du RL en raison de minima locaux ou de tolérances de calcul.

La méthode a été appliquée à GreenLight, un modèle de production de tomates en serre de grande échelle (27 états), non linéaire et raide. Deux configurations expérimentales ont été utilisées :

• Politique spécialiste : Entraînée sur une seule trajectoire météorologique pour évaluer si le cadre peut reproduire le comportement de haute performance du RL spécialiste.
• Politique généraliste : Entraînée sur une large distribution de trajectoires météorologiques (2013–2018) pour évaluer les performances sur des trajectoires de test inédites (2011, 2012, 2019, 2020, 2023).

Résultats clés
Les simulations ont été menées sur des périodes d'une journée (288 pas de temps) avec un horizon de prédiction d'une heure ($N=12$).

• Configuration de la politique spécialiste : Le RL–MPC par sélection de trajectoire a égalé la performance en boucle fermée de la politique spécialiste de haut niveau (différence de l'objectif cumulé de 0,196 contre 0,194). Il a nettement surpassé le MPC autonome avec le même horizon (amélioration de $\Delta \mathcal{J} = 0,224$), principalement en augmentant les indicateurs de performance économique (EPI) grâce à une meilleure génération de revenus plutôt qu'à la réduction des coûts.
• Configuration de la politique généraliste : Sur 25 trajectoires météorologiques inédites, le RL–MPC par sélection de trajectoire a surpassé la politique RL généraliste autonome de 54 % et le MPC autonome de 80 % en termes d'objectif économique cumulé.
  • Comparé à la politique RL, le cadre a obtenu des revenus similaires mais a réduit les coûts de chauffage de 26,8 % et les coûts d'électricité des lampes de 12,0 %, tout en réduisant les pénalités cumulées (violations de contraintes) de 47,7 %.
  • Comparé au MPC, le cadre a généré des revenus nettement plus élevés, surmontant le comportement myope du MPC à horizon court.
• Analyse du mécanisme de sélection : Le mécanisme de sélection de trajectoire était critique. Dans le cadre de la politique spécialiste, la simulation du RL était fréquemment sélectionnée pendant les heures diurnes, lorsque l'équilibre entre les coûts opérationnels et le rendement futur était crucial. Dans le cadre de la politique généraliste sous une météo inédite, la trajectoire prédite par le MPC était sélectionnée plus souvent, indiquant que l'optimisation à horizon court a réussi à affiner la trajectoire de la politique RL pour gérer les conditions météo spécifiques et inédites et réduire les coûts.
• Étude d'ablation : Le retrait du mécanisme de sélection a provoqué une chute de performance de 12,2 % et une augmentation de 95,2 % des pénalités, soulignant sa nécessité pour maintenir la satisfaction des contraintes et la stabilité des performances.

Signification et affirmations
L'article affirme que le RL–MPC par sélection de trajectoire parvient à combler le fossé entre les capacités d'optimisation économique à long terme du RL et les capacités de satisfaction des contraintes et d'affinement à court terme du MPC.

• Surmonter la myopie : Le cadre démontre qu'un MPC à horizon court (1 heure) peut efficacement intégrer des informations économiques à long terme (délais de rendement des fruits) via des éléments terminaux dérivés du RL, atténant ainsi le comportement myope typique des contrôleurs à horizon court.
• Robustesse aux conditions inédites : Contra irement au RL autonome, qui peut subir un surapprentissage sur les distributions d'entraînement, le cadre proposé améliore les performances sur des trajectoires météorologiques inédites en utilisant le MPC pour affiner la trajectoire de la politique RL sur la base des prévisions météorologiques à court terme réelles.
• Scalabilité : La méthode est validée sur GreenLight, un modèle complexe, raide et de grande échelle où l'optimisation à long terme est numériquement irréalisable, suggérant que l'approche est extensible à des modèles de serres réalistes et de haute fidélité.
• Forces complémentaires : Les résultats confirment que le mécanisme de sélection permet au système de tirer le meilleur des deux mondes : la prospective à long terme de la politique RL et la satisfaction des contraintes ainsi que l'optimisation des coûts du MPC.

Les auteurs notent que, bien que les résultats soient prometteurs, ils sont basés sur des simulations en boucle fermée avec des informations d'état et des prévisions météorologiques parfaites. Des travaux futurs sont nécessaires pour évaluer le cadre sur des cycles de production complets avec des dynamiques explicites de développement des fruits et pour tester la robustesse face aux incertitudes du monde réel telles que l'erreur de modèle et les erreurs d'estimation d'état.