Calibration-First Reward-Component Auditing for Reinforcement Learning Control in Smart Greenhouses

Resumen Técnico: Auditoría de Componentes de Recompensa Basada en la Calibración para el Control de Aprendizaje por Refuerzo en Invernaderos Inteligentes

Planteamiento del Problema
El aprendizaje por refuerzo (RL) ofrece el potencial de probar estrategias de control climático en invernaderos inteligentes a velocidades y escalas inalcanzables para los experimentos físicos con cultivos. Sin embargo, una barrera significativa para su adopción es la interpretabilidad del objetivo de RL. En los marcos existentes como GreenLight-Gym, la recompensa es típicamente un valor escalar único que combina los ingresos por crecimiento y los costos de energía. Esta agregación oscurece las acciones físicas específicas (por ejemplo, calefacción, enriquecimiento de CO2, despliegue de pantallas) que impulsan el rendimiento de la política. En consecuencia, los cultivadores y los ingenieros de control no pueden determinar fácilmente si un aumento en la recompensa proviene de mejoras fisiológicas, cambios en los puntos de consigna (setpoints), condiciones climáticas favorables o artefactos del simulador. Además, la brecha "sim-to-real" (de simulación a la realidad) plantea un riesgo: los componentes de la recompensa calculados en simulación pueden no poseer semánticas o escalas consistentes al compararse con los datos registrados de un invernadero, lo que conduce a políticas que fallan al momento del despliegue.

Metodología
Los autores proponen un marco de "auditoría de componentes de recompensa basada en la calibración" diseñado para descomponer, validar e interpretar las recompensas de RL antes de la transferencia del controlador. La metodología consta de tres etapas principales:

1. Descomposición de la Recompensa: El objetivo escalar de GreenLight-Gym se aumenta con un término de diagnóstico de "prioridad física" (physics-prior). La recompensa total $r_t$ es una mezcla de la recompensa escalar nativa ($0.7r_{native}$) y un término de diagnóstico ($0.3r_{diag}$). El término de diagnóstico es una suma ponderada de siete componentes con nombre: confort de temperatura, dirección de temperatura, dirección de CO2, humedad/VPD, luz, pantalla y un proxy de actuación. Estos componentes están diseñados para ser interpretables y alineados con la dinámica física del invernadero.
2. Calibración del Simulador: Antes de utilizar las ejecuciones de simulación como evidencia, el simulador GreenLight se adapta a las trazas climáticas registradas del Autonomous Greenhouse Challenge (AGC2). Se realiza una búsqueda de parámetros (variando el intercambio de calor, la ventilación y los parámetros de capacidad) para minimizar el error entre la temperatura del aire y el CO2 medidos y los simulados. Esta calibración asegura que la dinámica de estado del simulador coincida estrechamente con la instalación objetivo.
3. Auditoría Multicapa: El marco evalúa la política aprendida a través de seis verificaciones específicas:
   • Aprendibilidad (Learnability): Verificar que la recompensa descompuesta permite que los agentes PPO superen a un modelo base basado en reglas.
   • Comportamiento Condicionado al Tiempo: Analizar si las acciones (específicamente la dosificación de CO2) se desplazan hacia regímenes fisiológicamente plausibles (por ejemplo, día vs. noche).
   • Comparabilidad entre Dominios: Calificar los mismos componentes con nombre en datos registrados de AGC (AGC1, AGC2, AGC4) para verificar la consistencia semántica y de escala entre la simulación y la realidad.
   • Fidelidad de Reglas (Rule Fidelity): Destilar las acciones de la política neuronal en árboles de decisión superficiales para determinar si el comportamiento aprendido se aproxima a reglas simples e interpretables (por ejemplo, "cerrar pantalla si la radiación > X").
   • Compromisos del Proxy de Actuación: Evaluar si las ganancias de recompensa se logran mediante cargas de control realistas o atajos del simulador.

Resultos Clave

• Aprendibilidad: La recompensa descompuesta mantuvo una total capacidad de aprendizaje. Nueve ejecuciones de PPO de 500k pasos utilizando la recompensa de componentes superaron con éxito el umbral del controlador de reglas, con las recompensas nativas igualando o superando ligeramente la base escalar.
• Impacto de la Calibración: Adaptar el simulador GreenLight a los datos registrados de AGC2 mejoró significamente la precisión de las trayectorias de estado. El simulador adaptado redujo el error cuadrático medio (RMSE) promedio en 0.184 °C para la temperatura, 4.3 puntos porcentuales para la humedad relativa y 563 ppm para el CO2 en comparación con el simulador por defecto, sin degradar la precisión de la temperatura.
• Interpretabilidad (Fidelidad de Reglas): En el simulador por defecto (no adaptado), la recompensa de prioridad física produjo políticas que eran significativamente más aproximadas por árboles de decisión superficiales que la base escalar. Específicamente, el $R^2$ para las pantallas térmicas aumentó de 0.652 a 0.835, para las lámparas de 0.631 a 0.838, y para las pantallas de oscurecimiento de 0.592 a 0.750. Sin embargo, tras la adaptación de la instalación, ambos diseños de recompensa convergieron a puntuaciones de fidelidad de reglas similares ($R^2 \approx 0.94$), lo que sugiere que las propias dinámicas adaptadas constriñen la política hacia reglas físicamente estructuradas.
• Alineación entre Dominios: Al calificar los mismos componentes en los datos registrados de AGC, el marco identificó señales de alineación específicas de cada cultivo y canal. Por ejemplo, se encontró una correlación de rango positiva pero estadísticamente con poca potencia ($\rho = 0.829$) entre el ranking de rendimiento de pepino de la prioridad compuesta y el de AGC1. Los canales individuales, como la dirección de CO2 en AGC2 y AGC4, mostraron correlaciones más fuertes, resaltando áreas específicas para la calibración.

Significado y Reivindicaciones
El artículo posiciona este marco no como un método para la mejora inmediata del rendimiento a nivel de campo, sino como una capa de diagnóstico previa al despliegue para el RL en invernaderos. Los autores afirman que:

1. Transparencia de la Recompensa: Descomponer las recompensas en componentes con nombre permite a los investigadores reportar cómo una política gana su recompensa, en lugar de solo el puntaje agregado.
2. Necesidad de Calibración: La calibración del simulador es un prerrequisito para una comparación significativa entre dominios; sin ella, los componentes de la recompensa carecen de semánticas consistentes entre la simulación y los datos registrados.
3. Utilidad Diagnóstica: El marco identifica eficazmente qué canales de actuadores (por ejemplo, pantallas, lámparas) son susceptibles de inspección basada en reglas y cuáles requieren mayor calibración o soporte de medición específica del cultivo.
4. Alcance Modesto: Los autores declaran explícitamente que los resultados respaldan el uso de la auditoría de componentes de recompensa como un paso de validación. No afirman que la recompensa de componentes supere inherentemente a la recompensa escalar en términos de rendimiento final, ni que las políticas estén listas para el despliegue de ciclo cerrado en el campo sin ensayos prospectivos adicionales. El estudio sirve para cerrar la brecha entre la investigación basada únicamente en simulación y la validación específica de la instalación, asegurando que el "lenguaje" de la recompensa sea consistente a través de los dominios.