당신의 집의 냉난방 시스템을 매우 의욕적이지만 약간은 멍청한 로봇 집사라고 상상해 보세요. 이 로봇의 유일한 임무는 당신이 다이얼로 설정한 온도를 유지하는 것입니다. 만약 당신이 20°C를 유지하라고 말하면, 로봇은 20°C에 도달할 때까지 히터를 세게 틀었다가, 집이 식으면 다시 켜는 방식으로 작동합니다. 이 "설정하고 잊어버리는" 방식은 효과적이긴 하지만 낭비가 심합니다. 이는 마치 정지 표지판 앞에서 부드럽게 속도를 줄이는 대신, 충돌하기 직전에만 브레이크를 밟기 위해 가속 페달을 밟고 있는 자동차와 같습니다.

이를 해결하기 위해 과학자들은 로봇을 더 똑똑하게 가르치려고 노력해 왔습니다. 여기에는 두 가지 주요 방법이 있습니다. 첫 번째는 로봇에게 상세한 지도와 물리학 교과서를 주는 것과 같습니다. 이것을 **모델 예측 제어(Model Predictive Control, MPC)**라고 합니다. 로봇은 지도를 사용하여 집이 향후 하루 동안 어떻게 뜨거워지거나 차가워질지 정확히 계산하고, 당신을 포근하게 유지하면서도 에너지를 절약하기 위해 완벽하게 움직임을 계획합니다. 두 번째 방법은 **강화 학습(Reinforcement Learning, RL)**입니다. 지도를 주는 대신, 당신은 로봇에게 보상 체계를 줍니다: "에너지를 아끼면 잘한 것이고, 집을 너무 춥게 만들면 못한 것이다." 로봇은 시행착오를 통해 학습하며, 마치 비디오 게임 캐릭터가 패턴을 익힐 때까지 반복해서 죽으면서 레벨을 깨는 것처럼, 일어나는 현상을 관찰하며 최선의 움직임을 찾아냅니다.

큰 질문은 이것입니다: 실제 집에는 어떤 방법이 더 나을까요? 교과서적인 방법(MPC)은 입증되었지만, 인간 엔지니어가 지도를 만들고 규칙을 조정하는 데 많은 시간과 노력이 필요합니다. 학습 방법(RL)은 자동으로 작업을 수행할 것을 약속하지만, 아무도 그것이 집을 꽁꽁 얼리거나 무언가를 "배우는" 동안 에너지를 낭비하지 않고 충분히 빨리 배울 수 있을지 확신하지 못했습니다. 이 논문은 이 두 가지 접근 방식을 컴퓨터 시뮬레이션 실험실에서 꺼내어, 실제 거주자가 있는 추운 기후의 집 안에 떨어뜨려 놓은 뒤, 실제로 야생에서 어떤 것이 작동하는지 확인합니다.

거대한 온도 조절기 대결: 지도 vs 학습

인디애나주 웨스트 라피엣에 있는 아늑한 1920년대 스타일의 집에서, 두 개의 디지털 두뇌가 한 달 동안 맞붙었습니다. 한 두뇌는 집이 열에 어떻게 반응하는지에 대한 사전 구축된 모델에 의존하는 '계획가'인 모델 예측 제어(MPC) 시스템이었습니다. 다른 하나는 Ibex-RL이라는 강화 학습(RL) 시스템으로, 실행되는 동안 실시간으로 집의 행동을 파악하려고 노력하는 '학습자'였습니다. 두 시스템 모두 거주자를 편안하게 유지하면서 전기를 아끼기 위해 집의 심장부인 히트 펌프를 제어하는 임무를 맡았습니다.

점수판: 누가 더 에너지를 아꼈는가?
결과는 놀라울 정도로 비슷했습니다, 마치 두 명의 주자가 아주 근소한 차이로 결승선에 들어온 것과 같았습니다.

• MPC 계획가는 표준적인 일정 온도 설정에 비해 **18.1%**의 에너지를 절감했습니다.
• RL 학습자는 오히려 이를 약간 앞질러 **20.9%**의 에너지를 절감했습니다.

두 방법 모두 아무것도 하지 않는 것보다 통계적으로 더 낫다는 것이 증명되었지만, 순수한 에너지 절감 측면에서 두 로봇 사이의 차이는 명확한 승자를 선언할 만큼 유의미하지 않았습니다.

안락함 요소: "너무 추운" 문제
여기서 두 로봇은 매우 다른 성격을 보여주었습니다.
MPC 계획가는 신중하고 규칙을 따르는 유형이었습니다. 그것은 거주자들이 원하는 온도(밤에는 18°C, 낮에는 20°C)를 매우 밀접하게 준수했습니다. 거주자들은 만족스러워했으며, 시스템은 내내 "수용 가능한" 쾌적함을 유지했습니다.

반면, RL 학습자는 약간의 모험가였습니다. 그것은 집을 약간 더 차갑게 유지하는 것이 에너지를 더 아낄 수 있다는 것을 배웠습니다. 그 결과, 특히 아직 "학습 중"이었던 처음 며칠 동안 거주자가 선호하는 것보다 집을 더 차갑게 유지했습니다. 이로 인해 거주자들로부터 3건의 불편함 보고가 접수되었습니다. 집이 거주자들이 실제로 불평할 정도로 쌀쌀해졌습니다. RL 시스템이 결국 적응하기는 했지만, MPC 시스템보다 "너무 추운" 영역에서 머무는 시간이 더 길었습니다.

노력: 설정하는 데 얼마나 어려웠는가?
이 부분은 이러한 시스템을 구축하려는 사람들에게 흥다면 매우 흥미로운 지점입니다.

• MPC는 맞춤 정장을 만드는 것과 같습니다. 재단사(엔지니어)가 치수를 재고, 원단을 맞추고, 솔기를 조정해야 합니다. 연구진은 새로운 집에 MPC를 설정하는 데 제어 로직에만 약 5일의 엔지니어 시간이 소요되며, 물리적 설치에 4일이 걸릴 것으로 추정했습니다.
• RL은 입는 사람에 맞춰 스스로 조절되는 스마트 자켓을 사는 것과 같습니다. 기본적인 프레임워크가 갖춰지면, 그것은 스스로 적응합니다. 연구진은 새로운 집에 RL을 설정하는 데 제어 작업에 약 2일밖에 걸리지 않을 것으로 추정했습니다.

요약하자면, RL 시스템은 MPC 시스템을 배치하는 데 필요한 엔지니어링 노력보다 약 3분의 1 적은 노력이 필요했습니다. 즉, 실행 속도는 더 빨랐지만, 거주자를 약간 춥게 만드는 "학습 곡선"이라는 대가가 따랐습니다.

글리치와 "블랙박스"
실험에 문제가 없었던 것은 아닙니다. RL 시스템은 약간의 정체성 혼란을 겪었습니다. 그것은 집의 물리 법칙(벽이 얼마나 빨리 식는지, 창문을 통해 햇빛이 얼마나 들어오는지)을 배워야 했지만, 먼저 연습할 완벽한 "시뮬레이터" 없이 실제 데이터로부터 학습했기 때문에, 학습된 일부 수치가 이상해졌습니다. 예를 들어, 햇빛이 집을 차갑게 만든다(음의 태양 에너지 영역)고 잠시 생각했는데, 이는 물리적으로 불가능한 일입니다. 그러나 시스템은 이러한 이상한 생각이 히터를 멋대로 작동하게 만들지 않도록 안전 장치(제약 조건)를 갖추고 있었습니다. 내부 지도가 다소 왜곡되었을지라도, 시스템은 집을 안전하게 유지했습니다.

결론
이 연구는 강화 학습이 집을 더 똑똑하게 만들고 에너지를 절약하는 데 있어 실행 가능한 경로임을 시사하며, 잠재적으로 엔지니어들의 시간을 크게 절약해 줄 수 있음을 보여줍니다. 그러나 또한 RL이 아직 만능은 아니라는 점도 강조합니다. RL은 학습하는 동안 거주자의 편안함을 위협할 수 있는 등, 초기 단계에서 다소 "거친 면"이 있을 수 있습니다.

논문은 RL이 스마트 제어를 배포하는 더 빠르고 자동화된 방법을 제공하지만, 학습 단계에서의 안전과 쾌적함을 보장하는 데 여전히 과제가 남아 있다고 결론짓습니다. 이상적인 미래는 두 방법 중 하나를 선택하는 것이 아니라, '계획가'(MPC)의 안전성과 구조를 '학습자'(RL)가 가이드하도록 하여, 설정이 쉬우면서도 거주자의 안락함에 부드럽게 대응하는 하이브리드 형태가 될 것입니다. 현재로서는, 만약 새로운 집을 위한 가장 안전한 선택을 원한다면, 여전히 신뢰할 수 있는 선택지는 계획가(MPC)입니다. 만약 자동화의 미래를 경험해 보고 싶고, 배우는 동안 몇 번의 쌀쌀한 밤을 견딜 용의가 있다면, 학습자(RL)가 도전할 준비가 되어 있습니다.