Calibration-First Reward-Component Auditing for Reinforcement Learning Control in Smart Greenhouses

기술 요약: 스마트 온실의 강화 학습 제어를 위한 캘리브레이션 우선 보상 구성 요소 감사(Auditing)

문제 정의
강화 학습(RL)은 물리적인 작물 실험으로는 달성할 수 없는 속도와 규모로 스마트 온실의 기후 제어 전략을 테스트할 수 있는 잠재력을 제공한다. 그러나 기존 프레임워크인 GreenLight-Gym과 같은 체계에서는 성장 수익과 에너지 비용을 결합한 단일 스칼라 값을 보상으로 사용하기 때문에, RL의 목적 함수에 대한 해석 가능성이 낮다는 점이 주요 도입 장벽이다. 이러한 집계 방식은 구체적인 물리적 동작(예: 가열, CO2 농축, 스크린 전개)이 정책의 성능을 어떻게 견인하는지를 불투cl명하게 만든다. 결과적으로 재배자와 제어 엔지니어는 보상의 증가가 생리학적 개선 때문인지, 설정값의 변화 때문인지, 유리한 기상 조건 때문인지, 혹은 시뮬레이터의 아티팩트(artifact) 때문인지 쉽게 판단할 수 없다. 또한, "심투리얼(sim-to-real)" 격차는 시뮬레이션에서 계산된 보상 구성 요소가 실제 온실 로그 데이터와 비교했을 때 일관된 의미론(semantics)이나 척도를 갖지 못할 위험을 초래하며, 이는 배포 시 정책 실패로 이어질 수 있다.

방법론
저자들은 컨트롤러 전송 전에 보상을 분해, 검증 및 해석하기 위해 설계된 "캘리브레이션 우선 보상 구성 요소 감사" 프레임워크를 제안한다. 이 방법론은 세 가지 주요 단계로 구성된다:

1. 보상 분해 (Reward Decomposition): 스칼라 형태의 GreenLight-Gym 목적 함수를 "물리적 사전 지식(physics-prior)" 진단 항으로 확장한다. 전체 보상 $r_t$는 네이티브 스칼라 보상($0.7r_{native}$)과 진단 항($0.3r_{diag}$)의 혼합이다. 진단 항은 온도 쾌적도, 온도 방향성, CO2 방향성, 습도/VPD, 광량, 스크린, 그리고 작동 프록시(actuation proxy)라는 이름이 붙은 7가지 구성 요소의 가중 합으로 이루어진다. 이 구성 요소들은 해석 가능하도록 설계되었으며 물리적 온실 역학에 부합한다.
2. 시뮬레이터 캘리브레이션 (Simulator Calibration): 시뮬레이션 롤아웃을 근거로 사용하기 전에, GreenLight 시뮬레이터를 Autonomous Greenhouse Challenge(AGC2)의 기록된 기후 트레이스에 적응시킨다. 열 교환, 환기 및 용량 파라미터를 변경하는 파라미터 탐색을 수행하여 시뮬레이션과 측정된 공기 온도, 상대 습도, CO2 사이의 오차를 최소화한다. 이 캘리브레이션은 시뮬레이터의 상태 역학이 대상 시설과 밀접하게 일치하도록 보장한다.
3. 다층 감사 (Multi-Layer Auditing): 프레임워크는 다음 6가지 특정 점검을 통해 학습된 정책을 평가한다:
   • 학습 가능성 (Learnability): 분해된 보상이 PPO 에이전트가 규칙 기반 베이스라인보다 우수한 성능을 낼 수 있게 하는지 확인한다.
   • 시간 조건부 행동 (Time-Conditioned Behavior): 동작(특히 CO2 투입)이 생리학적으로 타당한 영역(예: 주간 vs 야간)으로 이동하는지 분석한다.
   • 교차 도메인 비교 가능성 (Cross-Domain Comparability): 로그된 AGC 데이터(AGC1, AGC2, AGC4)에 동일한 명명된 구성 요소들을 점수화하여, 시뮬레이션과 실제 사이의 의미론적 및 척도 일관성을 확인한다.
   • 규칙 충실도 (Rule Fidelity): 신경망 정책의 동작을 얕은 결정 트리(shallow decision trees)로 증류하여, 학습된 행동이 단순하고 해석 가능한 규칙(예: "복사량이 X보다 크면 스크린을 닫는다")에 근사하는지 판단한다.
   • 작동 프록시 트레이드오프 (Actuation-Proxy Tradeoffs): 보상의 이득이 현실적인 제어 부담을 통해 달성되었는지, 아니면 시뮬레이터의 지름길(shortcut)을 통한 것인지 평가한다.

주요 결과

• 학습 가능성: 분해된 보상은 완전한 학습 가능성을 유지했다. 구성 요소 보상을 사용한 9회의 500k-step PPO 실행은 규칙 기반 컨트롤러의 하한선을 성공적으로 돌파했으며, 네이티브 보상은 스칼라 베이스라인과 일치하거나 약간 상회하는 결과를 보였다.
• 캘리브레이션 효과: GreenLight 시뮬레이터를 AGC2 로그 데이터에 적응시킨 결과, 상태 롤아웃 정확도가 크게 향상되었다. 적응된 시뮬레이터는 기본 시뮬레이터와 비교하여 온도 RMSE를 0.184°C, 상대 습도를 4.3 퍼센트 포인트, CO2를 563 ppm 감소시켰으며, 온도 정확도는 저하시키지 않았다.
• 해석 가능성 (규칙 충실도): 기본(미적응) 시뮬레이터에서 물리적 사전 지식 보상은 스칼라 베이스라인보다 훨씬 더 얕은 결정 트리에 의해 근사되는 정책을 생성했다. 구체적으로, 열 스크린의 $R^2$는 0.652에서 0.835로, 램프는 0.631에서 0.838로, 블랙아웃 스크린은 0.592에서 0.750으로 증가했다. 그러나 시설 적응 후에는 두 보상 설계 모두 유사하게 높은 규칙 충실도 점수($R^2 \approx 0.94$)로 수렴했는데, 이는 적응된 역학 자체가 정책을 물리적으로 구조화된 규칙으로 제약함을 시사한다.
• 교차 도메인 정렬: 동일한 구성 요소를 로그된 AGC 데이터에 점수화했을 때, 프레임워크는 작물 및 채널별 정렬 신호를 식별했다. 예를 들어, 복합 사전 지식과 AGC1 오이 수확량 순위 사이에 양적이지만 통계적으로는 힘이 약한 순위 상관관계($\rho = 0.829$)가 발견되었다. AGC2 및 AGC4의 CO2 방향성과 같은 개별 채널은 더 강한 상관관계를 보여, 캘리브레이션이나 측정 지원이 필요한 특정 영역을 강조했다.

의의 및 주장
본 논문은 이 프레임워크를 즉각적인 현장 수준의 수확량 개선 방법이 아니라, 온실 RL을 위한 사전 배포 진단 계층으로 규정한다. 저자들의 주장은 다음과 같다:

1. 보상 투명성: 보상을 명명된 구성 요소로 분해함으로써 연구자들이 단순히 총계 점수만을 보고하는 것이 아니라, 정책이 어떻게 보상을 얻는지 보고할 수 있게 한다.
2. 캘리브레이션의 필수성: 시뮬레이터 캘리브레이션은 의미 있는 교차 도메인 비교를 위한 전제 조건이다. 캘리브레이션 없이는 보상 구성 요소가 로그 데이터와 사이에서 일관된 의미론을 가질 수 없다.
3. 진단적 유용성: 이 프레임워크는 어떤 액추에이터 채널(예: 스크린, 램프)이 규칙 기반 검사에 적합하고, 어떤 작물 특화 채널이 추가적인 캘리브레이션이나 측정 지원을 필요로 하는지 효과적으로 식별한다.
4. 제한된 범위: 저자들은 본 연구 결과가 보상 구성 요소 감사를 검증 단계로서 사용하는 것을 뒷받침한다고 명시한다. 이들이 구성 요소 보상이 최종 수확량 측면에서 스칼라 보상보다 본질적으로 우수하다거나, 생성된 정책이 추가적인 전향적 시험 없이 폐쇄 루프 현장 배포에 바로 사용될 수 있다고 주장하는 것은 아니다. 본 연구는 시뮬레이션 전용 연구와 시설 특화 검증 사이의 간극을 메우기 위해, 보상의 "언어"가 도메인 간에 일관되게 유지되도록 하는 데 목적이 있다.