기술 요약: AHU 의 직접 PPO 기반 제어를 위한 통합 Python 프레임워크

문제 제기

건물 HVAC 시스템은 전 세계 에너지 소비의 상당 부분 (건물 에너지 사용의 30~40%) 을 차지하지만, 건물 외피의 비선형 특성과 확률적 부하 변동으로 인해 최적 성능을 유지하는 것은 어렵습니다. 온/오프 온도 조절기 및 고정 설정점 PID 제어기와 같은 기존 제어 전략은 종종 열적 쾌적성, 실내 공기 질 (IAQ), 그리고 에너지 효율을 동시에 균형 있게 유지하는 데 어려움을 겪습니다. 구체적으로, 이러한 기존 방법들은 실시간 점유율과 CO2 수치를 기반으로 환기율을 동적으로 조정하는 데 실패하여, 과도한 환기로 인한 에너지 낭비 또는 나쁜 IAQ 로 인한 건강 위험을 초래합니다. 또한, 기존 심층 강화 학습 (DRL) 연구들은 IAQ 를 경성 제약이 아닌 연성 페널티로 취급하거나, 구현을 방해하는 복잡한 공동 시뮬레이션 도구에 의존하거나, 통합된 Python 환경 내에서 열 네트워크 및 질량 균형 방정식과 같은 통합 물리 모델을 결여하는 경우가 많습니다.

방법론

저자들은 공기 처리 장치 (AHU) 를 제어하기 위해 직접 근접 정책 최적화 (PPO) 알고리즘을 구현하는 통합 Python 프레임워크를 제안합니다. 이 방법론은 다음과 같은 구성 요소들을 기반으로 합니다:

1. 물리 및 수학적 모델링

시뮬레이션 환경은 습기와 CO2 를 위한 동적 질량 균형 방정식과 결합된 2R-2C 열 네트워크 모델을 활용합니다.

• 열 역학: 과도 열역학적 거동을 시뮬레이션하기 위해 열 저항 ($R_{in}, R_{out}$) 과 열용량 ($C_{wall}$) 을 사용하여 모델링됩니다.
• 습기 및 CO2: 시스템은 점유자 발생률, 공급 공기 특성, 그리고 환기율을 기반으로 실내 습도와 CO2 농도를 계산합니다.
• 에코노마이저 로직: 실외 조건 (온도 및 습도) 이 실내 조건보다 더 유리할 때 "프리 쿨링 (free cooling)"을 가능하게 하기 위해 엔탈피 기반 에코노마이저가 통합됩니다.

2. 비교된 제어 전략

이 연구는 24 시간 동적 시뮬레이션 동안 네 가지 다른 제어 전략을 평가합니다:

1. 온/오프 온도 조절기: 고정된 오차 (히스테리시스) 를 가진 기준 스위칭 로직.
2. PID 제어기: 비례, 적분, 미분 이득을 기반으로 팬 속도를 변조하는 연속 제어 신호.
3. 일반 PPO 에이전트: 고정된 신선 공기 비율 (50%) 으로 온도를 조절하도록 훈련된 RL 에이전트.
4. 제안된 "스마트" PPO 에이전트: **계층적 흐름 로직 (Hierarchical Flow Logic)**을 갖춘 고급 에이전트.

3. 제안된 PPO 프레임워크

핵심 혁신은 계층적 흐름 로직과 환경 설계에 있습니다:

• 상태 공간: 에이전트는 현재 실내 온도 ($T_{air}$) 와 순간 열 오차 ($e(t)$) 를 관측합니다.
• 행동 공간: 에이전트는 총 공기 흐름량을 제어하기 위한 연속 행동을 출력합니다.
• 계층적 흐름 로직 (IAQ 오버라이드): 이는 중요한 안전 메커니즘입니다. 환경은 실시간 점유율을 기반으로 CO2 를 1000 ppm 이하로 유지하는 데 필요한 최소 신선 공기 부피를 계산합니다. 최종 작동은 에이전트가 요청한 흐름과 계산된 IAQ 최소 흐름 중 최대값입니다. 이는 에이전트가 공기 질을 훼손할 경우 에너지를 절약하기 위해 환기를 차단할 수 없도록 보장합니다.
• 보상 함수: 에이전트는 22°C 설정점으로부터의 온도 편차의 음의 제곱 오차에 기반하여 보상을 받습니다 ($R = -|T_{air} - T_{set}|^2$).
• 훈련: 에이전트는 동적 시간당 교란을 가진 300,000 타임스텝 동안 Stable Baselines3 라이브러리를 사용하여 훈련됩니다.

주요 기여

이 논문은 HVAC 제어 분야에 다음과 같은 세 가지 주요 기여를 식별합니다:

1. 자체 완성형 Gym 환경: 외부 공동 시뮬레이션 도구의 필요성을 제거하는 동적 CO2 균형과 결합된 2R-2C 열 모델을 통합한 맞춤형 Python 환경.
2. 경성 IAQ 제약: IAQ 를 연성 페널티로 취급하는 많은 RL 연구들과 달리, 이 프레임워크는 계층적 흐름 로직을 통해 IAQ 를 경성 제약으로 강제하여 CO2 수치가 결코 1000 ppm 안전 한도를 초과하지 않도록 보장합니다.
3. 통합 최적화: 시스템은 온도 조절의 유일한 목표와 환기의 물리적 필요성 사이의 균형을 성공적으로 유지하며, RL 에이전트가 거주자 건강을 희생하지 않고 에너지 사용을 최적화하는 법을 학습할 수 있음을 입증합니다.

결과

동적 점유율 및 기상 프로파일을 가진 24 시간 기간 동안 네 가지 전략을 비교한 시뮬레이션 결과는 다음과 같습니다:

• 열적 쾌적성: PID 및 PPO 제어기 모두 온/오프 온도 조절기보다 훨씬 우수한 성능을 보였으며, 이진 스위칭과 관련된 큰 온도 진동 (톱니파 패턴) 을 제거했습니다. PPO 에이전트는 PID 제어기와 비교 가능한 안정성을 달성했습니다.
• 실내 공기 질 (CO2):
  • 온/오프 온도 조절기는 1300 ppm 을 초과하는 빈번한 CO2 급증을 초래했습니다.
  • PID 제어기는 CO2 를 약 920 ppm 으로 유지했으나 점유율 감소 시 가끔 한도 초과를 보였습니다.
  • 에코노마이저 로직이 적용된 스마트 PPO는 최고 정밀도를 보여주어, 최대 수요 기간 동안 CO2 수치를 엄격하게 910 ppm 미만으로 유지하고 과도한 환기를 방지하기 위해 1000 ppm 임계값을 정확하게 추적했습니다.
• 에너지 효율성:
  • 온/오프: 2776 kWh
  • PID: 2760 kWh
  • 일반 PPO: 2762 kWh
  • 스마트 PPO (에코노마이저/DCV 포함): 2609 kWh
    스마트 PPO 전략은 동시에 가장 낮은 CO2 수치를 달성하면서 PID 및 온/오프 기준 대비 약 6% 의 에너지 절감을 달성했습니다.

중요성 및 주장

이 논문은 강력하고 일반화되며 구현이 용이한 Python 기반 솔루션을 제공함으로써 현재 HVAC 제어 문헌의 중요한 격차를 해소한다고 주장합니다. 이 연구의 중요성은 다음과 같이 두 가지 측면에서 나타납니다:

1. 실제 구현: 물리 모델 (2R-2C, 질량 균형) 을 Gym 스타일 환경에 직접 통합함으로써, 이 프레임워크는 복잡한 공동 시뮬레이션 접근법보다 실제 하드웨어 구현으로 더 쉽게 이전될 수 있는 "종단 간 (end-to-end)" 솔루션의 경로를 제공합니다.
2. 안전 및 효율성: 계층적 흐름 로직은 RL 에이전트가 최적의 에너지 정책 학습 능력을 훼손하지 않으면서 안전 (IAQ) 을 우선시하도록 제약할 수 있음을 입증합니다. 이 연구는 RL 에 의해 주도되는 동적 수요 제어 환기가 건강 기준을 엄격히 준수하면서 에너지 소비를 줄일 수 있음을 보여주며, 기존 규칙 기반 또는 반응형 제어 시스템에 대한 실현 가능한 대안을 제시합니다.

저자들은 현재 작업이 시뮬레이션이지만, 이 프레임워크는 실제 물리적 AHU 에 배포되도록 설계되었으며, 향후 실제 건물 데이터와 현실 세계의 하드웨어 배포를 사용하여 이러한 결과를 검증할 계획이라고 결론지었습니다.