Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

Resumen Técnico: Mejora del Control de la Producción de Frutos en Invernaderos mediante la Integración de Aprendizaje por Refuerzo en el Control Predictivo Basado en Modelo de Horizonte Corto

Planteamiento del Problema
El control de la producción de frutos en invernaderos es un problema de control económico óptimo que busca maximizar los ingresos (rendimiento de los frutos menos costos operativos) cumpliendo con las restricciones del sistema bajo perturbaciones climáticas externas. Un desafío fundamental en este dominio es el desajuste de escalas temporales: la dinámica climática opera en minutos, mientras que el desarrollo del cultivo y los beneficios en el rendimiento de los frutos ocurren a lo largo de semanas (40–60 días). Idealmente, un controlador debería optimizar sobre el ciclo completo de producción para equilibrar los costos operativos actuales frente a los beneficios económicos retardados. Sin embargo, resolver problemas de control óptimo con horizontes tan largos utilizando modelos a gran escala, no lineales y rígidos (por ejemplo, GreenLight) es computacionalmente intratable en tiempo real.

En consecuencia, las implementaciones prácticas suelen recurrir al Control Predictivo Basado en Modelo (MPC) con horizontos de predicción cortos (por ejemplo, una hora). Si bien el MPC maneja explícitamente las restricciones y los pronósticos meteorológicos, los horizontes cortos conducen a un comportamiento "miope", al no ser capaces de capturar los beneficios económicos retardados del rendimiento de los frutos. Por el contrario, el Aprendizaje por Refuerzo (RL) puede aprender políticas fuera de línea (offline) que consideran el desempeño económico a largo plazo, pero tiene dificultades para imponer restricciones estrictas del sistema y suele degradar su rendimiento ante trayectorias climáticas no vistas (pobre generalización).

Metodología
Los autores proponen RL–MPC de Selección de Trayectoria, un marco que integra la previsión económica a largo plazo de una política de RL en una optimización de MPC de horizonte corto. El método opera de manera de bucle cerrado en cada paso de tiempo $t$:

1. Rollout de RL: Una política de RL entrenada ($\pi_{RL}$) genera una trayectoria de rollout ($\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$) sobre el horizonte de predicción $N$ partiendo del estado actual $x(t)$ y utilizando el pronóstico meteorológico.
2. Ingredientes Terminales: El estado terminal del rollout de RL, $\tilde{x}(t+N)$, se utiliza para construir:
   • Una restricción de región terminal ($\mathbb{X}_f$): Una región alrededor del estado terminal de RL donde la solución del MPC debe finalizar.
   • Un costo terminal ($\hat{V}_f$): Una penalización por desviaciones del estado terminal de RL, que incentiva a la solución del MPC a permanecer cerca del plan a largo plazo de la RL.
3. Optimización de MPC: Un MPC no lineal resuelve un problema de optimización de horizonte finito (horizonte $N$) utilizando el pronóstico meteorológico real y los ingredientes terminales. Esto genera una trayectoria predicha $(\mathbf{x}^\star, \mathbf{u}^\star)$.
4. Selección de Trayectoria: El marco evalúa el objetivo de planificación de horizonte finito tanto para la trayectoria de rollout de la RL como para la trayectoria predicha por el MPC. Selecciona el primer dato de control ($u(t)$) de la trayectoria con el valor de objetivo superior. Este mecanismo asegura que el sistema no degrade su desempeño si la optimización del MPC no logra mejorar la trayectoria de la RL debido a mínimos locales o tolerancias computacionales.

El método se aplicó a GreenLight, un modelo de producción de tomates en invernadero a gran escala (27 estados), no lineal y rígido. Se utilizaron dos configuraciones experimentales:

• Política Especialista: Entrenada en una única trayectoria meteorológica para evaluar si el marco puede replicar el comportamiento de alto rendimiento de la RL.
• Política Generalista: Entrenada en una amplia distribución de trayectorias meteorológicas (2013–2018) para evaluar su desempeño en trayectorias de prueba no vistas (2011, 2012, 2019, 2020, 2023).

Resultados Clave
Las simulaciones se realizaron sobre periodos de un día (288 pasos de tiempo) con un horizonte de predicción de una hora ($N=12$).

• Configuración de Política Especialista: El RL–MPC de selección de trayectoria igualó el desempeño de bucle cerrado de la política especialista de alto rendimiento (diferencia de objetivo acumulado de 0.196 vs. 0.194). Superó significativamente al MPC independiente con el mismo horizonte (mejora de $\Delta \mathcal{J} = 0.224$), principalmente al aumentar los Indicadores de Desempeño Económico (EPI) mediante una mejor generación de ingresos en lugar de la reducción de costos.
• Configuración de Política Generalista: En 25 trayectorias meteorológicas no vistas, el RL–MPC de selección de trayectoria superó a la política de RL generalista independiente por un 54% y al MPC independiente por un 80% en términos de objetivo económico acumulado.
  • Comparado con la política de RL, el marco logró ingresos similares, pero redujo los costos de calefacción en un 26.8% y los costos de electricidad de las lámparas en un 12.0%, además de reducir las penalizaciones acumuladas (violaciones de restricciones) en un 47.7%.
  • Comparado con el MPC, el marco logró ingresos significativamente mayores, superando el comportamiento miope del MPC de horizonte corto.
• Análisis del Mecanismo de Selección: El mecanismo de selección de trayectoria fue crítico. En la configuración especialista, la trayectoria de la RL fue seleccionada frecuentemente durante las horas diurnas, cuando equilibrar los costos operativos con el rendimiento futuro era crucial. En la configuración generalista bajo clima no visto, la trayectoria predicha por el MPC fue seleccionada con mayor frecuencia, indicando que la optimización de horizonte corto logró refinar la trayectoria de la política de RL para manejar condiciones climáticas específicas y no vistas, y reducir costos.
• Estudio de Ablación: Eliminar el mecanismo de selección causó una caída del 12.2% en el desempeño y un aumento del 95.2% en las penalizaciones, resaltando su necesidad para mantener la satisfacción de restricciones y la estabilidad del desempeño.

Significancia y Reivindicaciones
El artículo afirma que el RL–MPC de selección de trayectoria logra cerrar la breancia entre la capacidad de optimización económica a largo plazo de la RL y la capacidad de satisfacción de restricciones y refinamiento a corto plazo del MPC.

• Superación de la Miopía: El marco demuestra que un MPC de horizonte corto (1 hora) puede incorporar eficazmente información económica a largo plazo (retrasos en el rendimiento de los frutos) mediante ingredientes terminales derivados de la RL, mitigando así el comportamiento miope típico de los controladores de horizonte corto.
• Robustez ante Condiciones No Vistas: A diferencia de la RL independiente, que puede sobreajustarse a las distribidades de entrenamiento, el marco propuesto mejora el desempeño en trayectorias meteorológicas no vistas al utilizar el MPC para refinar la trayectoria de la política de RL basándose en pronósticos meteorológicos reales de corto plazo.
• Escalabilidad: El método se valida en GreenLight, un modelo complejo, rígido y a gran escala donde la optimización de largo horizonte es computacionalmente inviable, lo que sugiere que el enfoque es escalable a modelos de invernadero realistas y de alta fidelidad.
• Fortalezas Complementarias: Los resultados confirman que el mecanismo de selección permite al sistema aprovechar lo mejor de ambos mundos: la previsión a largo plazo de la política de RL y la satisfacción de restricciones y optimización de costos del MPC.

Los autores señalan que, si bien los resultados son prometedores, se basan en simulaciones de bucle cerrado con información de estado perfecta y pronósticos meteorológicos exactos. Se requiere trabajo futuro para evaluar el marco durante ciclos completos de producción con una dinámica explícita de desarrollo de frutos y para probar la robustez bajo incertidumbres del mundo real, tales como el desajuste del modelo y los errores de estimación de estado.