Improving greenhouse fruit-production control by integrating reinforcement learning into short-horizon model predictive control

기술 요약: 강화 학습을 단기 지평 모델 예측 제어에 통합하여 온실 과실 생산 제어 개선하기

문제 정의
온실 과실 생산 제어는 경제적 최적 제어 문제로, 외부 기상 교란 하에서 시스템 제약 조건을 준수하면서 수익(과실 수확량에서 운영 비용을 뺀 값)을 극대화하는 것을 목표로 한다. 이 분야의 근본적인 과제는 시계열 불일치(timescale mismatch)이다. 기후 역학은 분 단위로 작동하는 반면, 작물 발달 및 과실 수확의 이점은 수 주(40~60일)에 걸쳐 발생한다. 이상적으로는 컨트롤러가 현재의 운영 비용과 지연된 경제적 이득 사이의 균형을 맞추기 위해 전체 생산 주기에 걸쳐 최적화를 수행해야 한다. 그러나 대규모의 비선선형 및 강성(stiff) 모델(예: GreenLight)을 사용하는 장기 지평 최적 제어 문제를 온라인에서 해결하는 것은 계산적으로 불가능하다.

결과적으로, 실제 구현에서는 대개 짧은 예측 지평(예: 1시간)을 가진 모델 예측 제어(MPC)에 의존한다. MPC는 제약 조건과 기상 예보를 명시적으로 처리할 수 있지만, 짧은 지평으로 인해 "근시안적(myopic)" 행동을 보이며, 과실 수확의 지연된 경제적 이득을 포착하지 못한다. 반대로, 강화 학습(RL)은 장기적인 경제적 성과를 고려하는 정책을 오프라인에서 학습할 수 있지만, 엄격한 시스템 제약 조건을 강제하는 데 어려움이 있으며, 본 적 없는 기상 궤적 하에서 성능이 저하되는 경향(일반화 능력 부족)이 있다.

방법론
저자들은 RL 정책의 장기적인 경제적 통찰력을 단기 지평 MPC 최적화에 통합하는 프레임워크인 **궤적 선택 RL–MPC(Trajectory-Selection RL–MPC)**를 제안한다. 이 방법은 매 시간 단계 $t$에서 다음과 같이 폐루프 방식으로 작동한다:

1. RL 롤아웃(Rollout): 학습된 RL 정책($\pi_{RL}$)이 현재 상태 $x(t)$와 예측된 기상을 사용하여 예측 지평 $N$ 동안의 롤아웃 궤적($\tilde{\mathbf{x}}, \tilde{\mathbf{u}}$)을 생성한다.
2. 종단 성분(Terminal Ingredients): RL 롤아웃의 종단 상태 $\tilde{x}(t+N)$를 사용하여 다음을 구성한다:
   • 종단 영역 제약($\mathbb{X}_f$): MPC 솔루션이 종료되어야 하는 RL 종단 상태 주변의 영역.
   • 종단 비용($\hat{V}_f$): MPC 솔루션이 RL의 장기 계획에 가깝게 유지되도록 유도하는 RL 종단 상태로부터의 편차에 대한 페널티.
3. MPC 최적화: 비선형 MPC가 실제 기상 예보와 종단 성분을 사용하여 유한 지평 최적화 문제(지평 $N$)를 해결한다. 이를 통해 예측된 궤적 $(\mathbf{x}^\star, \mathbf{u}^\star)$을 얻는다.
4. 궤적 선택: 프레임워크는 RL 롤아웃 궤적과 MPC-예측 궤적 모두에 대해 유한 지평 계획 목적 함수를 평가한다. 그 후 더 우수한 목적 함수 값을 가진 궤적으로부터 첫 번째 제어 입력($u(t)$)을 선택한다. 이 메커니즘은 로컬 미니마(local minima)나 계산 허용 오차로 인해 MPC 최적화가 RL 롤아웃보다 개선된 결과를 내지 못할 경우에도 시스템 성능이 저하되지 않도록 보장한다.

이 방법은 대규모(27개 상태)의 비선형 및 강성 모델인 GreenLight 토마토 생산 모델에 적용되었다. 두 가지 실험 설정이 사용되었다:

• 전문가 정책(Specialist Policy): 프레임워크가 고성능 RL 행동을 재현할 수 있는지 평가하기 위해 단일 기상 궤적에 대해 학습됨.
• 일반가 정책(Generalist Policy): 다양한 기상 궤적 분포(2013–2018)에 대해 학습되어, 보지 못한 테스트 궤적(2011, 2012, 2019, 2020, 2023)에서의 성능을 평가함.

주요 결과
시뮬레이션은 288 타임 스텝의 1일 기간 동안 1시간($N=12$)의 예측 지평을 가지고 수행되었다.

• 전문가 정책 설정: 궤적 선택 RL–MPC는 고성능 전문가 RL 정책의 폐루프 성능과 일치했다(누적 목적 함수 차이 0.196 대 0.194). 이는 비용 절감보다는 수익 창출을 통한 경제적 성과 지표(EPI) 향상을 통해, 동일한 지평을 가진 단독 MPC보다 유의미하게 높은 성능($\Delta \mathcal{J} = 0.224$ 개선)을 보였다.
• 일반가 정책 설정: 25개의 미경험 기상 궤적에 대해, 궤적 선택 RL–MPC는 누적 경제적 목적 함수 측면에서 단독 일반가 RL 정책보다 54%, 단독 MPC보다 80% 더 높은 성능을 보였다.
  • RL 정책과 비교했을 때, 프레임워크는 유사한 수익을 달성하면서도 난방 비용을 26.8%, 램 전력 비용을 12.0% 줄였으며, 누적 페널티(제약 조건 위반)를 47.7% 감소시켰다.
  • MPC와 비교했을 때, 프레임워크는 단기 지평 MPC의 근시안적 행동을 극복하여 훨씬 더 높은 수익을 달성했다.
• 선택 메커니즘 분석: 궤적 선택 메커니즘은 매우 중요했다. 전문가 설정에서, 운영 비용과 미래 수확량 사이의 균형을 맞추는 것이 중요한 낮 시간 동안 RL 롤아웃이 빈번하게 선택되었다. 일반가 설정의 미경험 기상 조건 하에서는 MPC-예측 궤적이 더 자주 선택되었는데, 이는 단기 최적화가 특정 미경험 기상 조건을 처리하고 비용을 줄이기 위해 RL 정책의 궤적을 성공적으로 정교화했음을 나타낸다.
• 절제 연구(Ablation Study): 선택 메커니즘을 제거하면 성능이 12.2% 하락하고 페널티가 95.2% 증가하여, 제약 조건 준수 및 성능 안정성을 유지하는 데 있어 해당 메커니즘의 필요성을 입증했다.

의의 및 주장
본 논문은 궤적 선택 RL–MPC가 RL의 장기 경제적 최적화 능력과 MPC의 제약 조건 처리 및 단기 정교화 능력을 성공적으로 연결한다고 주장한다.

• 근시안적 행동 극복: 본 프레임워크는 RL로부터 유도된 종단 성분을 통해 단기 지평 MPC(1시간)가 어떻게 장기적인 경제적 정보(과실 수확 지연)를 효과적으로 포함할 수 있는지 보여줌으로써, 단기 지평 컨트롤러 특유의 근시안적 행동을 완화한다.
• 미경험 조건에 대한 강건성: 훈련 분포에 과적합될 수 있는 단독 RL과 달리, 제안된 프레임워크는 실제 단기 기상 예보를 기반으로 RL 정책의 궤적을 정교화함으로써 미경험 기상 궤적에서의 성능을 개선한다.
• 확장성: 이 방법은 계산적으로 불가능한 장기 최적화가 필요한 복잡하고 강성이 있는 대규모 모델인 GreenLight에서 검증되었으며, 이는 이 접근 방식이 현실적이고 고충실도의 온실 모델에 확장 가능함을 시사한다.
• 상호 보완적 강점: 결과는 선택 메커니즘을 통해 시스템이 RL 정책의 장기적 통찰력과 MPC의 제약 조건 준수 및 비용 최적화라는 두 가지 장점을 모두 활용할 수 있음을 확인시켜 준다.

저자들은 결과가 유망하지만, 이는 완벽한 상태 정보와 기상 예보를 가정한 폐루프 시뮬레이션에 기반하고 있다고 언급했다. 향-후 과제로 명시적인 과실 발달 역학을 포함한 전체 생산 주기에 대한 프레임워크 평가와 모델 불일치 및 상태 추정 오류와 같은 실제 세계의 불확실성 하에서의 강건성 테스트가 필요하다.