The Challenges of Using Reinforcement Learning for Controlling Industrial Energy Systems

당신이 거대하고 복잡한 산업용 주방을 운영하는 로봇 셰프를 가르치려 한다고 상상해 보세요. 이 주방은 단순히 요리 한 접시를 만드는 것이 아니라, 수백 명의 식사를 책임지면서 가스레인지, 전기 오븐, 거대한 온수 탱크를 관리해야 하며, 동시에 전기 요금과 가스비를 아끼기 위해 노력해야 합니다.

이 논문은 **강화 학습(Reinforcement Learning, RL)**을 사용하여 그 로봇 셰프를 가르칠 때 발생하는 어려움에 대해 다룹니다. 간단히 말해, RL은 강아지를 훈련시키는 것과 비슷합니다. 강아지가 어떤 행동을 했을 때, 만약 좋은 결과(예: 돈을 아낌)를 냈다면 보상(간식)을 주고, 나쁜 결과(예: 물이 너무 차가워짐)를 냈다면 간식을 주지 않는 방식입니다. 시간이 흐르면서 강아지는 최고의 기술을 배우게 됩니다.

연구진은 AI '셰프'가 실제 공장의 난방 시스템을 관리하도록 훈련시키려 노력했습니다. 연구진이 발견한 내용을 일상적인 비유를 통해 설명하면 다음과 같습니다.

1. 목표: 완벽한 주방 매니저

공장은 기계와 건물에 열을 공급해야 합니다. 목표는 가스와 전기를 최대한 적게 쓰면서도, 열을 적절하게 유지하는 것(너무 뜨겁지도, 너무 차갑지도 않게)입니다.

• 기존 방식: 이들은 "규칙 책"(엄격한 레시피와 같은 방식)을 사용했습니다. "물이 차가우면 가스레인지를 켜라"와 같은 식입니다. 이는 안전하고 신뢰할 수 있지만, 그리 똑똑하지는 않습니다. 두 시간 뒤에 전기가 저렴해질 것이라는 예측을 할 수 없으므로, 미리 계획을 세울 수 없습니다.
• 새로운 방식 (RL): 이들은 미래를 예측하고 돈을 아끼기 위해 영리한 움직임을 보이는 천재적인 매니저가 될 수 있는 AI를 원했습니다.

2. 큰 장애물들: 보기보다 왜 더 어려운가?

논문은 이 방식이 비디오 게임(시뮬레이션)에서는 잘 작동하지만, 실제 세상에 적용하려고 하면 벽에 부딪힌다는 점을 설명합니다. 연구진이 직면한 주요 문제는 다음과 같습니다.

• "눈 가리고 아웅" 문제 (부분 관측 가능성 - Partial Observability):
  불투명하고 거대한 온수 탱크에 물이 얼마나 들어있는지 추측해야 한다고 상상해 보세요. 당신은 위, 중간, 아래의 온도만 엿볼 수 있을 뿐입니다. 전체 그림을 볼 수는 없습니다. AI는 모든 것을 감지할 센서가 없기 때문에 종종 "눈이 가려진" 상태가 됩니다. AI는 시스템의 상태를 추측해야 하며, 이는 학습을 어렵게 만듭니다.

• "너무 많은 선택지" 문제 (행동 공간 - Action Space):
  AI는 언제 무엇을 켜고, 끄고, 얼마나 세게 밀 데를 결정해야 합니다. 만로 AI에게 누를 수 있는 아주 작은 버튼들을 너무 많이 주면 혼란에 빠집니다. 반대로 버튼을 너무 적게 주면 정밀함이 떨어집니다. 연구진은 AI에게 "끄기, 낮음, 높음 중에서만 골라라"라고 말하는 것처럼 선택지를 단순화해야 했습니다. 이는 학습 속도를 높여주지만, 완벽한 해결책을 찾는 것을 방해할 수도 있습니다.

• "비디오 게임 vs 현실"의 격차 (시뮬레이션-현실 간 차이 - Simulation-to-Reality):
  AI는 컴퓨터 시뮬레이션, 즉 공장의 완벽한 디지털 버전을 통해 훈련되었습니다. 이는 조종사가 비행 시뮬레이터에서 연습하는 것과 같습니다. 하지만 조종사가 실제 비행기에 탔을 때, 바람의 느낌이 다르고 조종 장치가 약간 더 무겁게 느껴질 수 있습니다. AI는 "완벽한 세상"에서 배웠지만, 실제 세상이 던져주는 무질서하고 예측 불가능한 변수들 때문에 고전했습니다.

• "혼란스러운 성적표" 문제 (보상 설계 - Reward Design):
  무엇이 "좋은 것"인지 어떻게 AI에게 알려줄 수 있을까요? 돈을 아끼는 것인가요? 물을 뜨겁게 유지하는 것인가요? 아니는 기계를 고장 내지 않는 것인가요? 이러한 목표들은 서로 충돌합니다. 돈을 아끼기 위해 열을 낮추는 것은 물이 너무 차가워질 위험을 초래합니다. 연구진은 이러한 상충하는 목표들의 균형을 맞추기 위해 복잡한 "성적표"를 만들어야 했으며, 이를 제대로 만드는 것은 매우 어렵습니다.

3. 실제 테스트: 실제로 어떤 일이 일어났나?

연구진은 이 실험을 실제 공장 난방 시스템(ETA 연구 공장)에 적용해 보았습니다. 결과는 다음과 같습니다.

• 작동은 했지만, 완벽하지는 않았다: AI는 시스템을 고장 내지 않았습니다. 공장이 안전하게 돌아가도록 유지했습니다.
• "안전"의 함정: 실제 세상에서 AI는 너무 조심스러워졌습니다. 만약을 대비해 커다란 온수 탱크를 계속 활성화된 상태로 두었습니다. 실수를 할까 봐 두려운 나머지, 저렴한 전기 가격을 기다리기 위해 위험을 감수하는 행동을 하지 못했습니다.
• 결과: 컴퓨터 시뮬레이션에서 AI는 엄청난 성과를 내며 많은 돈을 아꼈습니다. 하지만 실제 공장에서 AI는 일부 영역(온도 안정성 등)에서 기존의 규칙 기반 방식보다 오히려 성능이 떨어졌습니다. AI가 영리하게 행동하기에는 너무 겁을 먹었던 것입니다.

4. 시사점

이 논문은 강화 학습이 강력한 도구이지만, 단순히 공장에 가져다 놓는다고 해서 마법처럼 작동하지는 않는다는 결론을 내립니다.

• 교훈: 우리는 AI에게 문제를 어떻게 설명할지 매우 주의해야 합니다. AI에게 더 나은 "눈"(센서)을 주고, 더 명확한 "규칙"(행동)을 주며, 더 똑똑한 "성적표"(보상)를 주어야 합니다.
• 미래: 연구진은 단순히 완벽한 비디오 게임에서 훈련하는 대신, 실제 공장의 데이터(오프라인 학습)를 사용하여 AI를 가르치고, 무언가를 망가뜨리지 않고 안전하게 탐색하는 방법을 가르쳐야 한다고 제안합니다.

요약하자면: 로봇에게 공장을 운영하도록 가르치는 것은 아이에게 비디오 게임으로만 연습한 뒤 실제 자동차를 운전하게 하는 것과 같습니다. 아이는 규칙은 알겠지만, 실제 세상에는 비디오 게임에는 나오지 않았던 구멍, 바람, 그리고 예측 불가능한 운전자들이 존재합니다. 연구진은 로봇이 실제 세상에서 안전하고 효율적으로 운전할 수 있도록 그 간극을 메우는 방법을 연구하고 있습니다.