Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

Sintesi Tecnica: Miglioramento del controllo della produzione di frutta in serra integrando l'Apprendimento per Rinforzo nel Controllo Predittivo del Modello a orizzonte breve

Definizione del Problema
Il controllo della produzione di frutta in serra è un problema di controllo economico ottimale che mira a massimizzare i ricavi (resa della frutta meno costi operativi) rispettando i vincoli di sistema sotto disturbi meteorologici esterni. Una sfida fondamentale in questo dominio è il disallineamento delle scale temporali: la dinamica del clima opera su minuti, mentre lo sviluppo delle colture e i benefici della resa della frutta avvengono su settimane (40–60 giorni). Idealmente, un controllore dovrebbe ottimizzare l'intero ciclo di produzione per bilanciare i costi operativi correnti con i benefici economici ritardati. Tuttavia, risolvere problemi di controllo ottimale con orizzonti così lunghi utilizzando modelli su larga scala, non lineari e rigidi (ad esempio, GreenLight) è computazionalmente intrattabile online.

Di conseguenza, le implementazioni pratiche si affidano spesso al Controllo Predittivo del Modello (MPC) con orizzonti di predizione brevi (ad esempio, un'ora). Sebbene l'MPC gestisca esplicitamente i vincoli e le previsioni meteorologiche, gli orizzonti brevi portano a un comportamento "miope", fallendo nel catturare i benefici economici ritardati della resa della frutta. Al contrario, l'Apprendimento per Rinforzo (RL) può apprendere politiche offline che considerano le prestazioni economiche a lungo termine, ma fatica a imporre vincoli di sistema rigidi e spesso subisce un calo delle prestazioni sotto traiettorie meteorologiche non viste (scarsa generalizzazione).

Metodologia
Gli autori propongono il Trajectory-Selection RL–MPC (RL–MPC con selezione della traiettoria), un framework che integra la lungimiranza economica a lungo termine di una politica RL in un'ottimizzazione MPC a orizzonte breve. Il metodo opera in un ciclo chiuso ad ogni istante temporale $t$:

1. Rollout RL: Una politica RL addestrata ($\pi_{RL}$) genera una traiettoria di rollout ($\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$) sull'orizzonte di predizione $N$ partendo dallo stato attuale $x(t)$ e utilizzando il meteo previsto.
2. Ingredienti Terminali: Lo stato terminale del rollout RL ($\tilde{x}(t+N)$) viene utilizzato per costruire:
   • Un vincolo di regione terminale ($\mathbb{X}_f$): una regione attorno allo stato terminale RL dove la soluzione MPC deve terminare.
   • Un costo terminale ($\hat{V}_f$): una penalità per le deviazioni dallo stato terminale RL, incoraggiando la soluzione MPC a rimanere vicina al piano a lungo termine della RL.
3. Ottimizzazione MPC: Un MPC non lineare risolve un problema di ottimizzazione a orizzonte finito (orizzonte $N$) utilizzando la previsione meteorologica effettiva e gli ingredienti terminali. Ciò produce una traiettoria prevista $(\mathbf{x}^\star, \mathbf{u}^\star)$.
4. Selezione della Traiettoria: Il framework valuta l'obiettivo di pianificazione a orizzonte finito sia per la traiettoria di rollout RL sia per la traiettoria predetta dall'MPC. Seleziona il primo input di controllo ($u(t)$) dalla traiettoria con il valore di obiettivo superiore. Questo meccanismo assicura che il sistema non degradi le prestazioni se l'ottimizzazione MPC non riesce a migliorare la performance della RL a causa di minimi locali o tolleranze computazionali.

Il metodo è stato applicato a GreenLight, un modello di produzione di pomodori in serra su larga scala (27 stati), non lineare e rigido. Sono state utilizzate due impostazioni sperimentali:

• Politica Specialista: Addestrata su una singola traiettoria meteorologica per valutare se il framework possa replicare il comportamento ad alte prestazioni della RL.
• Politica Generalista: Addestrata su una vasta distribuzione di traiettorie meteorologiche (2013–2018) per valutare le prestazioni su traiettorie di test non viste (2011, 2012, 2019, 2020, 2023).

Risultati Chiave
Le simulazioni sono state condotte su periodi di un giorno (288 passi temporali) con un orizzonte di predizione di un'ora ($N=12$).

• Impostazione Politica Specialista: Il Trajectory-selection RL–MPC ha eguagliato le prestazioni in ciclo chiuso dell'alta politica RL specialista (differenza di obiettivo cumulativo di 0,196 rispetto a 0,194). Ha superato significativamente l'MPC standalone con lo stesso orizzonte (miglioramento di $\Delta \mathcal{J} = 0,224$), principalmente aumentando gli Indicatori di Performance Economica (EPI) attraverso una migliore generazione di ricavi piuttosto che tramite la riduzione dei costi.
• Impostazione Politica Generalista: Su 25 traiettorie meteorologiche non viste, il Trajectory-selection RL–MPC ha superato la politica RL generalista standalone del 54% e l'MPC standalone dell'80% in termini di obiettivo economico cumulativo.
  • Rispetto alla politica RL, il framework ha ottenuto ricavi simili ma ha ridotto i costi di riscaldamento del 26,8% e i costi elettrici delle lampade del 12,0%, riducendo al contempo le penalità cumulative (violazioni dei vincoli) del 47,7%.
  • Rispetto all'MPC, il framework ha ottenuto ricavi significativamente più elevati, superando il comportamento miope dell'MPC a orizzonte breve.
• Analisi del Meccanismo di Selezione: Il meccanismo di selezione della traiettoria è stato critico. Nell'impostazione specialist, la traiettoria di rollout RL è stata selezionata frequentemente durante le ore diurne, quando bilanciare i costi operativi con la resa futura era cruciale. Nell'impostazione generalista sotto meteo non visto, la traiettoria predetta dall'MPC è stata selezionata più spesso, indicando che l'ottimizzazione a orizzonte breve ha raffinato con successo la traiettoria della politica RL per gestire specifiche condizioni meteorologiche non viste e ridurre i costi.
• Studio di Ablazione: Rimuovendo il meccanismo di selezione, si è verificato un calo delle prestazioni del 12,2% e un aumento delle penalità del 95,2%, evidenziando la sua necessità per mantenere la soddisfazione dei vincoli e la stabilità delle prestazioni.

Significatività e Rivendicazioni
L'articolo sostiene che il Trajectory-Selection RL–MPC riesce a colmare il divario tra le capacità di ottimizzazione economica a lungo termine della RL e le capacità di gestione dei vincoli e di raffinamento a breve termine dell'MPC.

• Superamento della Miopia: Il framework dimostra che un MPC a orizzonte breve (1 ora) può integrare efficacemente informazioni economiche a lungo termine (ritardi nella resa della frutta) tramite ingredienti terminali derivati dalla RL, mitigando così il comportamento miope tipico dei controllori a orizzonte breve.
• Robustezza alle Condizioni Non Viste: A differenza della RL standalone, che può soffrire di overfitting sulle distribuzioni di addestramento, il framework proposto migliora le prestazioni sulle traiettorie meteorologiche non viste utilizzando l'MPC per raffinare la traiettoria della politica RL sulla base delle effettive previsioni meteorologiche a breve termine.
• Scalabilità: Il metodo è stato validato su GreenLight, un modello complesso, rigido e su larga scala dove l'ottimizzazione a lungo orizzonte è computazionalmente impraticabile, suggerendo che l'approccio è scalabile a modelli di serra realistici e ad alta fedeltà.
• Forze Complementari: I risultati confermano che il meccanismo di selezione permette al sistema di sfruttare il meglio di entrambi i mondi: la lungimiranza a lungo termine della politica RL e la soddisfazione dei vincoli e l'ottimizzazione dei costi dell'MPC.

Gli autori osservano che, sebbene i risultati siano promettenti, essi si basano su simulazioni in ciclo chiuso con informazioni sullo stato e previsioni meteorologiche perfette. Ulteriori lavori sono necessari per valutare il framework su interi cicli di produzione con dinamiche esplicite di sviluppo della frutta e per testare la robustezza sotto incertezze del mondo reale come il disallineamento del modello e gli errori di stima dello stato.