Calibration-First Reward-Component Auditing for Reinforcement Learning Control in Smart Greenhouses

Resumo Técnico: Auditoria de Componentes de Recompensa Baseada em Calibração para Controle de Aprendizado por Reforço em Estufas Inteligentes

Definição do Problema
O aprendizado por reforço (RL) oferece o potencial de testar estratégias de controle climático em estufas inteligentes em velocidades e escalas inalcançáveis por experimentos físicos com culturas. No entanto, uma barreira significativa para a adoção é a interpretabilidade do objetivo do RL. Em estruturas existentes como o GreenLight-Gym, a recompensa é tipicamente um valor escalar único que combina receita de crescimento e custos de energia. Essa agregação obscurece as ações físicas específicas (ex: aquecimento, enriquecimento de CO2, implantação de telas) que impulsionam o desempenho da política. Consequentemente, produtores e engenheiros de controle não conseguem determinar facilmente se um aumento na recompensa decorre de melhorias fisiológicas, mudanças de setpoints, condições climáticas favoráveis ou artefatos do simulador. Além disso, o hiato "sim-to-real" (simulação para realidade) representa um risco: componentes de recompensa calculados em simulação podem não possuir semânticas ou escalas consistentes quando comparados contra dados de estufas registrados, levando a políticas que falham na implementação.

Metodologia
Os autores propõem uma estrutura de "auditoria de componentes de recompensa baseada em calibração primeiro" projetada para decompor, validar e interpretar recompensas de RL antes da transferência do controlador. A metodologia consiste em três estáções primárias:

1. Decomposição de Recompensa: O objetivo escalar do GreenLight-Gym é aumentado com um termo de diagnóstico de "prioridade física". A recompensa total $r_t$ é uma mistura da recompensa escalar nativa ($0.7r_{native}$) e um termo de diagnóstico ($0.3r_{diag}$). O termo de diagnóstico é uma soma ponderada de sete componentes nomeados: conforto de temperatura, direção de temperatura, direção de CO2, umidade/VPD, luz, tela e um proxy de atuação. Esses componentes são projetados para serem interpretáveis e alinhados com a dinâmica física da estufa.
2. Calibração do Simulador: Antes de usar execuções de simulação como evidência, o simulador GreenLight é adaptado a traços climáticos registrados do Autonomous Greenhouse Challenge (AGC2). Uma busca de parâmetros (variando parâmetros de troca de calor, ventilação e capacidade) é conduzida para minimizar o erro entre a temperatura do ar e o CO2 medidos e simulados. Essa calibração garante que a dinâmica de estado do simulador corresponda de perto à instalação alvo.
3. Auditoria de Múltiplas Camadas: A estrutura avalia a política aprendida através de seis verificações específicas:
   • Aprendibilidade: Verificar que a recompensa decomposta permite que agentes PPO superem uma linha de base baseada em regras.
   • Comportamento Condicionado ao Tempo: Analisar se as ações (especificamente a dosagem de CO2) se deslocam para regimes fisiologicamente plausíveis (ex: dia vs. noite).
   • Comparabilidade entre Domínios: Pontuar os mesmos componentes nomeados em dados registrados do AGC (AGC1, AGC2, AGC4) para verificar a consistência semântica e de escala entre simulação e realidade.
   • Fidelidade de Regras: Destilar as ações da política neural em árvores de decisão rasas para determinar se o comportamento aprendido aproxima-se de regras simples e interpretáveis (ex: "fechar tela se radiação > X").
   • Trade-offs de Proxy de Atuação: Avaliar se os ganhos de recompensa são alcançados através de encargos de controle realistas ou atalhos do simulador.

Resultos Principais

• Aprendibilidade: A recompensa decomposta permaneceu totalmente aprendível. Nove execuções de 500k-passos de PPO usando a recompensa de componente superaram com sucesso o piso do controlador de regras, com as recompensas nativas igualando ou superando ligeiramente a linha de base escalar.
• Impacto da Calibração: Adaptar o simulador GreenLight aos dados registrados do AGC2 melhorou significativamente a precisão das trajetórias de estado. O simulador adaptado reduziu o erro quadrático médio (RMSE) em 0,184°C para temperatura, 4,3 pontos percentuais para umidade relativa e 563 ppm para CO2 em comparação com o simulador padrão, sem degradar a precisão da temperatura.
• Interpretabilidade (Fidelidade de Regra): No simulador padrão (não adaptado), a recompensa de prioridade física produziu políticas que eram significativamente mais aproximadas por árvores de decisão rasas do que a linha de base escalar. Especificamente, o $R^2$ para telas térmicas aumentou de 0,652 para 0,835, lâmpadas de 0,631 para 0,838 e telas de blackout de 0,592 para 0,750. No entanto, após a adaptação da instalação, ambos os designs de recompensa convergiram para pontuações de fidelidade de regra igualmente altas ($R^2 \approx 0,94$), sugerindo que as próprias dinâmicas adaptadas restringem a política em direção a regras fisicamente estruturadas.
• Alinhamento entre Domínios: Ao pontuar os mesmos componentes em dados registrados do AGC, a estrutura identificou sinais de alinhamento específicos de cultura e canal. Por exemplo, uma correlação de ranking positiva, mas estatisticamente subdimensionada ($\rho = 0,829$), foi encontrada entre o ranking de rendimento de pepino do AGC1 e o prior composto. Canais individuais, como a direção de CO2 em AGC2 e AGC4, mostraram correlações mais fortes, destacando áreas específicas para calibração.

Significância e Alegações
O artigo posiciona esta estrutura não como um método para melhoria imediata de rendimento em nível de campo, mas como uma camada de diagnóstico pré-implantação para RL em estufas. Os autores alegam que:

1. Transparência da Recompensa: Decompor recompensas em componentes nomeados permite que pesquisadores relatem como uma política ganha sua recompensa, em vez de apenas a pontuação agregada.
2. Necessidade de Calibração: A calibração do simulador é um pré-requisito para uma comparação significativa entre domínios; sem ela, os componentes de recompensa carecem de semânticas consistentes entre a simulação e os dados registrados.
3. Utilidade Diagnóstica: A estrutura identifica efetivamente quais canais de atuadores (ex: telas, lâmpadas) são suscetíveis à inspeção baseada em regras e quais canais específicos de cultura requerem maior calibração ou suporte de medição.
4. Escopo Modesto: Os autores declaram explicitamente que os resultados apoiam o uso da auditoria de componentes de recompensa como uma etapa de validação. Eles não alegam que a recompensa de componente supera inerentemente a recompensa escalar em termos de rendimento final ou que as políticas estão prontas para implantação em campo de malha fechada sem novos testes prospectivos. O estudo serve para preencher a lacavra entre a pesquisa baseada apenas em simulação e a validação específica da instalação, garantindo que a "linguagem" da recompensa seja consistente entre os domínios.