Learning to Modulate, Not to Cycle: Soft Actor---Critic Recovers Inverter-Style Heat-Pump Control

기술 요약: 사이클링이 아닌 변조(Modulation)를 학습하기

문제 정의
주거용 히트펌프, 특히 단단(single-stage) 유닛은 빈번한 온-오프(on–off) 사이클링으로 인해 상당한 기계적 마모와 효율 저하를 겪는다. 컴프레서가 가동될 때마다 발생하는 과도 현상(냉매 이동, 오일 회수, 압력 평형)은 성적계수(COP)를 저하시키고 부품의 고장을 가속화한다. 인버터 구동(가변 용량) 히트펌프는 부하를 추적하기 위해 속도를 조절함으로써 사이클링을 자연스럽게 억제하지만, 건물 HVAC를 위한 표준 강화 학습(RL) 제어기는 일반적으로 열 쾌적성과 에너지 비용의 가중 합계만을 최적화한다. 이러한 표준 RL 방식은 학습된 정책의 사이클링 동작을 간과하는 경우가 많으며, 이로 인해 제어기는 우수한 비용-쾌적도 점수를 달성할지라도 실제 하드웨어가 견딜 수 없는 방식으로 컴프레서를 "채터링(chattering)"하게 만들 수 있다.

방법론
저자들은 BOPTEST 프레임워크의 "bestest hydronic heat pump" 테스트 케이스를 활용하여, 15분 시간 단위를 갖는 이산 시간 마르코프 결정 과정(MDP)으로 단일 존 히트펌프 제어를 정식화하였다.

• 행동 공간(Action Space): 에이전트는 정규화된 컴프레서 용량 $u_{HP} \in [0, 1]$를 제어한다. 이 연속적인 공간을 통해 에이전트는 이론적으로 양 끝단 사이를 전환하는 단단 서모스탯(single-stage thermostat) 또는 양 끝단 사이를 연속적으로 조절하는 인버터처럼 행동할 수 있다.
• 보상 설계: 새로운 보상 함수가 도입되었는데, 이는 표준 쾌적도 및 비용 항에 레벨라이즈드 컴프레서 마모(levelised compressor-wear) 항을 추가한 것이다. 이 항은 정격 가동 횟수에 따라 분할 상환된 대표 교체 비용을 기준으로 각 컴프레서 기동(start-up)에 비용을 부과한다. 결정적으로, 이 항은 에너지 비용과 동일한 통화(유로)로 표현되므로, 에이전트가 운영 비용과 마모 사이에서 직접적으로 트레이드오프를 수행할 수 있게 한다.
• 훈련 환경: 계산 비용을 줄이기 위해 희소 비선형 동역학 식별(SINDy)을 통해 식별된 빠른 데이터 기반 대리 플랜트(surrogate plant)에서 에이전트를 훈련시킨다. 이후 정책은 고충실도 BOPTEST 에뮬레이터에서 평가된다.
• 비교 알고리즘: 동일한 보상 구조와 관측 공간 하에서 두 가지 모델 프리(model-free) 알고리즘을 비교한다:
  • Soft Actor–Critic (SAC): 오프 폴리시(off-policy) 최대 엔트로피 액터-크리틱 방법.
  • Proximal Policy Optimisation (PPO): 온 폴리시(on-policy) 클리핑된 정책 경사 방법.

주요 기여

1. 스무딩 인식 보상(Smoothing-Aware Reward): 명시적인 최소 운전 시간 제약 없이도 스위칭을 "일급 객체(first-class objective)"로 만드는, 물리적으로 근거가 있고 화폐화된 컴프레서 마모 항을 도입하였다.
2. 알고리즘 클래스의 효과: 연구는 RL 알고리즘의 선택이 제어 신호의 질적 형태를 근본적으로 결정한다는 것을 보여준다. 동일한 환경과 보상을 사용하더라도, SAC는 연속적인 변조 정책을 학습하는 반면, PPO는 뱅-뱅(bang–bang) 정책으로 붕괴된다.
3. 검증된 트레이드오프: 본 연구는 매끄러운 SAC 정책이 BOPTEST 에뮬레이터에서 운영 비용의 완만한 증가만으로 열적 불편함을 크게 줄이고 사이클링을 제거할 수 있다는 실증적 증거를 제공한다.

결과

• 사이클링 동작: 피크 및 일반 가열 시나리오 모두에서, SAC 에이전트는 일일 컴프레서 기동 횟수 0회를 달성하였으며, 컴프레서를 영구적으로 가동되는 변조 상태(인버터 방식의 운전)로 유지하였다. 반면, PPO 에이전트는 베이스라인 제어기보다 2~4배 더 자주 사이클링하는 뱅-뱅 정책을 학습하여, 보상 내의 마모 페널티에도 불구하고 결과적으로 마모 문제를 악화시켰다.
• 성능 지표:
  • 쾌적도 vs 비용: 피크 가열 시나리오에서 SAC 정책은 운영 비용의 11.5% 증가로 열적 불편함을 90.7%(8.38에서 0.78 K·h로) 감소시켰다.
  • 에너지 사용량: SAC의 비용 증가는 소스 에너지 소비 증가(베이스라인보다 11.0% 높음)에 의한 것이며, 이는 에이전트가 요금 타이밍을 활용하기보다 쾌적도를 유지하기 위해 더 많은 열을 전달했음을 나타낸다.
  • PPO 성능: PPO는 구역을 과소 가열함으로써 비용을 줄였으나, 쾌적도를 유의미하게 개선하는 데 실패했으며 과도한 사이클링을 유발했다.
• 제어 신호: SAC의 제어 신호는 연속적으로 변화한 반면(제로로 떨어지지 않음), PPO는 단계의 60~82%를 완전히 꺼진 상태(off)로 보내며 경계값에서 포화되었다.

의의 및 주장
본 논문은 수명이 스위칭에 의해 결정되는 장비의 경우, 엔트로피 정규화 오프 폴리시 학습(SAC)이 하드웨어가 요구하는 매끄러움과 구조적으로 일치한다고 주장한다. SAC의 최대 엔트로피 목적 함수는 넓은 행동 분포를 가치 있게 여기고 결정론적인 레일(0 또는 1)로의 붕괴를 억제하며, 이는 자연스럽게 에이전트를 "항상 켜져 있는" 변조 최적점으로 유도한다. 반대로, 엔트로피 하한(floor)이 없는 PPO는 완전히 켜짐(on)과 완전히 꺼짐(off) 동작을 혼합함으로써 평균 듀티(duty)를 높이는 것이 더 쉽다고 판단한다.

저자들은 각 기동(start-up)에 가격을 책정함으로써, 공학적으로 설계된 인버터 컨트롤러와 동등한 수준의 매끄러움을 학습 과정으로부터 내생적으로(endogenously) 도출할 수 있다고 결론짓는다. 본 연구는 SAC가 적절한 파레토 지점을 제공한다고 제안한다: 즉, 제한적이고 회복 가능한 비용 프리미엄 내에서 거의 제로에 가까운 불편함과 제로의 마모를 달성한다. 본 작업은 하드웨어 인버터를 대체하는 것을 주장하는 것이 아니라, RL이 보상과 알고리즘 구조가 올바르게 정렬될 경우 단단(single-stage) 하드웨어에서도 인버터의 유익한 변조 특성을 학습할 수 있음을 입증한다. 향후 연구는 마모 가중치를 스윕하여 파레토 프런티어를 추적하고 모델 예측 제어(MPC)와 벤치마킹하는 데 한계가 있다.