Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

Technische Samenvatting: Verbeteren van de controle van de vruchtproductie in kassen door Reinforcement Learning te integreren in Short-Horizon Model Predictive Control

Probleemstelling
De controle van de vruchtproductie in kassen is een economisch optimaal controleprobleem dat streeft naar het maximaliseren van de omzet (vruchtenopbrengst minus operationele kosten) terwijl aan systeemrestricties wordt voldaan onder invloed van externe weersinvloeden. Een fundamentele uitdaging in dit domein is het tijdschaalverschil: klimaatdynamiek werkt op minuten, terwijl de ontwikkeling van gewassen en de economische voordelen van de vruchtenopbrengst zich over weken afspelen (40–60 dagen). Ideaal gezien zou een controller over de volledige productiecyclus moeten optimaliseren om de huidige operationele kosten af te wegen tegen de vertraagde economische voordelen. Echter, het oplossen van optimale controleproblemen met dergelijke lange horizonten met behulp van grootschalige, niet-lineaire en stijve modellen (zoals GreenLight) is computationeel onhaalbaar tijdens de online uitvoering.

Als gevolg hiervan vertrouwen praktische implementaties vaak op Model Predictive Control (MPC) met korte voorspellingshorizonten (bijv. één uur). Hoewel MPC expliciet omgaat met restricties en weersverwachtingen, leiden korte horizonten tot "myopisch" (kortzichtig) gedrag, waarbij het de vertraagde economische voordelen van de vruchtenopbrengst niet kan vatten. Omgekeerd kan Reinforcement Learning (RL) offline beleidsregels leren die rekening houden met de langetermijn economische prestaties, maar heeft het moeite met het strikt afdwingen van harde systeemrestricties en verslechtert de prestatie vaak onder onbekende weertrajecten (slechte generalisatie).

Methodologie
De auteurs stellen Trajectory-Selection RL–MPC voor, een framework dat de langetermijn economische vooruitziendheid van een RL-beleid integreert in een short-horizon MPC-optimalisatie. De methode werkt op een closed-loop wijze in elk tijdstap $t$:

1. RL Rollout: Een getraind RL-beleid ($\pi_{RL}$) genereert een rollout-traject ($\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$) over de voorspellingshorizon $N$, beginnend vanaf de huidige staat $x(t)$ en gebruikmakend van de weersverwachting.
2. Terminale Elementen: De terminale staat van de RL-rollout, $\tilde{x}(t+N)$, wordt gebruikt om de volgende zaken te construeren:
   • Een terminale regio-restrictie ($\mathbb{X}_f$): Een regio rond de RL-terminale staat waar de MPC-oplossing moet eindigen.
   • Een terminale kostenfunctie ($\hat{V}_f$): Een straf voor afwijkingen van de RL-terminale staat, wat de MPC-oplossing stimuleert om dicht bij het langetermijnplan van de RL te blijven.
3. MPC Optimalisatie: Een niet-lineaire MPC lost een eindig-horizon optimalisatieprobleem op (horizon $N$) met gebruik van de werkelijke weersverwachting en de terminale elementen. Dit levert een voorspeld traject $(\mathbf{x}^\star, \mathbf{u}^\star)$ op.
4. Trajectselectie: Het framework evalueert de eindige-horizon planning-doelstelling voor zowel het RL-rollout-traject als het door MPC voorspelde traject. Het selecteert de eerste besturingsinput ($u(t)$) van het traject met de superieure doelstellingwaarde. Dit mechanisme zorgt ervoor dat het systeem de prestaties niet verslechtert als de MPC-optimalisatie er niet in slaagt de RL-rollout te verbeteren door lokale minima of computationele toleranties.

De methode werd toegepast op GreenLight, een grootschalig (27-toestanden), niet-lineair en stijf model voor de productie van tomaten in kassen. Twee experimentele instellingen werden gebruikt:

• Specialist Policy: Getraind op een enkel weertraject om te beoordelen of het framework het hoogwaardige gedrag van een specialistische RL kan repliceren.
• Generalist Policy: Getraind op een brede distributie van weertrajecten (2013–2018) om de prestaties te beoordelen op onbekende testtrajecten (2011, 2012, 2019, 2020, 2023).

Belangrijkste Resultaten
Simulaties werden uitgevoerd over periodes van één dag (288 tijdstappen) met een voorspellingshorizon van één uur ($N=12$).

• Specialist Policy Instelling: Trajectory-selection RL–MPC kwam overeen met de closed-loop prestaties van de hoogpresterende specialistische RL-policy (cumulatief verschil in doelstelling van 0,196 vs. 0,194). Het presteerde significant beter dan de standalone MPC met dezelfde horizon (verbetering van $\Delta \mathcal{J} = 0,224$), voornamelijk door de Economic Performance Indicators (EPI) te verhogen door betere omzetgeneratie in plaats van kostenreductie.
• Generalist Policy Instelling: Op 25 onbekende weertrajecten presteerde Trajectory-selection RL–MPC met 54% beter dan de standalone generalistische RL-policy en met 80% beter dan standalone MPC in termen van de cumulatieve economische doelstelling.
  • Vergeleken met de RL-policy behaalde het framework een vergelijkbare omzet, maar verminderde het de verwarmingskosten met 26,8% en de elektriciteitskosten voor lampen met 12,0%, terwijl het de cumulatieve straffen (restrictie-overtredingen) met 47,7% verminderde.
  • Vergeleken met MPC behaalde het framework een aanzienlijk hogere omzet, waarmee het het myopische gedrag van de short-horizon MPC overwon.
• Analyse van het Selectiemechanisme: Het trajectselectiemechanisme was cruciaal. In de specialistische instelling werd de RL-rollout vaak geselecteerd tijdens de uren overdag wanneer het balanceren van operationele kosten tegen toekomstige opbrengst essentieel was. In de generalistische instelling onder onbekende weersomstandigheden werd het door MPC voorspelde traject vaker geselecteerd, wat aangeeft dat de short-horizon optimalisatie het RL-beleidstraject succesvol verfijnde om specifieke, onbekende weersomstandigheden aan te pakken en kosten te reduceren.
• Ablatie-studie: Het verwijderen van het selectiemechanisme veroorzaakte een daling van 12,2% in prestaties en een toename van 95,2% in straffen, wat de noodzaak ervan onderstreept voor het handhaven van restrictie-naleving en prestatiestabiliteit.

Betekenis en Claims
Het artikel claimt dat Trajectory-Selection RL–MPC erin slaagt de kloof te overbruggen tussen de langetermijn economische optimalisatiecapaciteiten van RL en de restrictie-afhandeling en kortetermijnverfijningscapaciteiten van MPC.

• Overwinnen van Myopie: Het framework demonstreert dat short-horizon MPC (1 uur) effectief langetermijn economische informatie (vertraagde vruchtenopbrengst) kan incorporeren via terminale elementen afgeleid van RL, waardoor het myopische gedrag dat typerend is voor short-horizon controllers wordt gemitigeerd.
• Robuustheid tegen Onbekende Condities: In tegen tegenover standalone RL, dat mogelijk overfit op trainingsdistributies, verbetert het voorgestelde framework de prestaties op onbekende weertrajecten door MPC te gebruiken om het RL-beleidstraject te verfijnen op basis van werkelijke kortetermijn weersverwachtingen.
• Schaalbaarheid: De methode is gevalideerd op GreenLight, een complex, stijf en grootschalig model waarbij langetermijn optimalisatie computationeel onhaalbaar is, wat suggereert dat de aanpak schaalbaar is naar realistische, hoogwaardige kasmodellen.
• Complementaire Sterkten: De resultaten bevestigen dat het selectiemechanisme het systeem in staat stelt om het beste van beide werelden te benutten: de langetermijn visie van de RL-policy en de restrictie-naleving en kostenoptimalisatie van de MPC.

De auteurs merken op dat hoewel de resultaten veelbelovend zijn, deze gebaseerd zijn op closed-loop simulaties met perfecte staat-informatie en weersverwachtingen. Toekomstig werk is vereist om het framework te evalueren over volledige productiecycli met expliciete vruchtontwikkelingsdynamiek en om de robuustheid te testen onder reële onzekerheden zoals model-mismatch en fouten in de staatsschatting.