Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

Resumo Técnico: Melhorando o Controle de Produção de Frutos em Estufas Integrando Aprendizado por Reforço ao Controle Preditivo Baseado em Modelo de Horizonte Curto

Definição do Problema
O controle da produção de frutos em estufas é um problema de controle econômico ótimo que busca maximizar a receita (rendimento de frutos menos custos operacionais) enquanto adere às restrições do sistema sob perturbações climáticas externas. Um desafio fundamental neste domínio é o descompasso de escala temporal: a dinâmica do clima opera em minutos, enquanto o desenvolvimento das culturas e os benefícios no rendimento dos frutos ocorrem ao longo de semanas (40–60 dias). Idealmente, um controlador deveria otimizar sobre o ciclo completo de produção para equilibrar os custos operacionais atuais contra os benefícios econômicos retardados. No entanto, resolver problemas de controle ótimo com horizontes tão longos usando modelos de grande escala, não lineares e rígidos (ex: GreenLight) é computacionalmente intratável online.

Consequentemente, implementações práticas frequentemente dependem de Controle Preditivo Baseado em Modelo (MPC) com horizontes de predição curtos (ex: uma hora). Embora o MPC lide explicitamente com restrições e previsões meteorológicas, horizontes curtos levam a um comportamento "míope", falhando em capturar os benefícios econômicos retardados do rendimento dos frutos. Por outro lado, o Aprendizado por Reforço (RL) pode aprender políticas offline que consideram o desempenho econômico de longo prazo, mas tem dificuldade em impor restrições rígidas do sistema e frequentemente apresenta degradação de desempenho sob trajetórias meteorológicas não vistas (baixa generalização).

Metodologia
Os autores propõem o RL–MPC de Seleção de Trajetória, um framework que integra a visão econômica de longo prazo de uma política de RL na otimização de horizonte curto do MPC. O método opera de maneira em malha fechada em cada passo de tempo $t$:

1. Rollout de RL: Uma política de RL treinada ($\pi_{RL}$) gera uma trajetória de rollout ($\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$) sobre o horizonte de predição $N$ partindo do estado atual $x(t)$ e utilizando a previsão do tempo.
2. Ingredientes Terminais: O estado terminal do rollout de RL, $\tilde{x}(t+N)$, é usado para construir:
   • Uma restrição de região terminal ($\mathbb{X}_f$): Uma região ao redor do estado terminal de RL onde a solução do MPC deve terminar.
   • Um custo terminal ($\hat{V}_f$): Uma penalidade para desvios do estado terminal de RL, incentivando a solução do MPC a permanecer próxima ao plano de longo prazo do RL.
3. Otimização MPC: Um MPC não linear resolve um problema de otimização de horizonte finito (horizonte $N$) usando a previsão meteorológica real e os ingredientes terminais. Isso gera uma trajetória prevista $(\mathbf{x}^\star, \mathbf{u}^\star)$.
4. Seleção de Trajetória: O framework avalia o objetivo de planejamento de horizonte finito para ambas as trajetórias: a do rollout de RL e a da trajetória prevista pelo MPC. Ele seleciona o primeiro dado de controle ($u(t)$) da trajetória com o valor de objetivo superior. Este mecanismo garante que o sistema não degrade o desempenho caso a otimização do MPC falhe em melhorar a trajetória do RL devido a mínimos locais ou tolerâncias computacionais.

O método foi aplicado ao GreenLight, um modelo de produção de tomate em estufa de grande escala (27 estados), não linear e rígido. Dois cenários experimentais foram utilizados:

• Política Especialista: Treinada em uma única trajetória meteorológica para avaliar se o framework consegue replicar o comportamento de alto desempenho do RL.
• Política Generalista: Treinada em uma ampla distribuição de trajetórias meteorológicas (2013–2018) para avaliar o desempenho em trajetórias de teste não vistas (2011, 2012, 2019, 2020, 2023).

Principais Resultados
As simulações foram conduzidas sobre períodos de um dia (288 passos de tempo) com um horizonte de predição de uma hora ($N=12$).

• Configuração da Política Especialista: O RL–MPC de Seleção de Trajetória igualou o desempenho em malha fechada da política especialista de alto desempenho (diferença cumulativa do objetivo de 0.196 vs. 0.194). Superou significativamente o MPC autônomo com o mesmo horizonte (melhoria de $\Delta \mathcal{J} = 0.224$), principalmente ao aumentar os Indicadores de Desempenho Econômico (EPI) através de uma melhor geração de receita, em vez de apenas redução de custos.
• Configuração da Política Generalista: Em 25 trajetórias meteorológicas não vistas, o RL–MPC de Seleção de Trajetória superou a política generalista de RL autônoma em 54% e o MPC autônomo em 80% em termos de objetivo econômico cumulativo.
  • Comparado à política de RL, o framework alcançou receita semelhante, mas reduziu os custos de aquecimento em 26,8% e os custos de eletricidade de lâmpadas em 12,0%, além de reduzir as penalidades cumulativas (violações de restrição) em 47,7%.
  • Comparado ao MPC, o framework alcançou uma receita significativamente maior, superando o comportamento míope do MPC de horizonte curto.
• Análise do Mecanismo de Seleção: O mecanismo de seleção de trajetória foi crítico. Na configuração especialista, o rollout de RL foi frequentemente selecionado durante as horas diurnas, quando equilibrar custos operacionais versus rendimento futuro era crucial. Na configuração generalista sob clima não visto, a trajetória prevista pelo MPC foi selecionada com mais frequência, indicando que a otimização de horizonte curto conseguiu refinar a trajetória da política de RL para lidar com condições meteorológicas específicas e não vistas, reduzindo custos.
• Estudo de Ablação: A remoção do mecanismo de seleção causou uma queda de 12,2% no desempenho e um aumento de 95,2% nas penalidades, destacando sua necessidade para manter a satisfação de restrições e a estabilidade do desempenho.

Significância e Alegações
O artigo afirma que o RL–MPC de Seleção de Trajetória consegue unir a capacidade de otimização econômica de longo prazo do RL com a satisfação de restrições e a capacidade de refinamento de curto prazo do MPC.

• Superação da Miopia: O framework demonstra que o MPC de horizonte curto (1 hora) pode efetivamente incorporar informações econômicas de longo prazo (atrasos no rendimento de frutos) via ingredientes terminais derivados de RL, mitigando assim o comportamento míope típico de controladores de horizonte curto.
• Robustez a Condições Não Vistas: Diferente do RL autônomo, que pode sofrer overfitting à distribuição de treinamento, o framework proposto melhora o desempenho em trajetórias meteorológicas não vistas ao usar o MPC para refinar a trajetória da política de RL com base em previsões meteorológicas de curto prazo reais.
• Escalabilidade: O método é validado no GreenLight, um modelo complexo, rígido e de grande escala onde a otimização de longo horizonte é computacionalmente inviável, sugerindo que a abordagem é escalável para modelos de estufas realistas e de alta fidelidade.
• Forças Complementares: Os resultados confirmam que o mecanismo de seleção permite que o sistema aproveite o melhor de ambos os mundos: a visão de longo prazo da política de RL e a satisfação de restrições e otimização de custos do MPC.

Os autores observam que, embora os resultados sejam promissores, baseiam-se em simulações em malha fechada com informação de estado perfeita e previsões meteorológicas exatas. Trabalhos futuros são necessários para avaliar o framework ao longo de ciclos completos de produção com dinâmicas explícitas de desenvolvimento de frutos e para testar a robustez sob incertezas do mundo real, como erro de modelo e erros de estimativa de estado.