Learning to Run Power Networks: Effective AlphaZero-inspired Topological Control

전력망을 거대한, 보이지 않는 전기의 도시라고 상상해 보세요. 이 도시에서 발전소는 물탱크와 같고, 송전선은 여러분의 집까지 물을 나르는 파이프와 같습니다. 오랫동안 도시 관리자들은 단순히 근원지(발전소)에서 수도꼭지를 켜거나 끄는 방식으로 물의 흐름을 유지해 왔습니다. 하지만 이제 도시는 "바람과 태양"의 힘으로 운영되려 하고 있습니다. 문제는 태양이 항상 빛나는 것은 아니며, 바람이 항상 부는 것도 아니라는 점입니다. 이로 인해 파이프 속의 수압이 매우 예측 불가능하게 변합니다. 만약 파이프가 너무 가득 차면, 파이프가 터질 수 있고, 이는 도시 전체를 어둠 속에 빠뜨리는 대규모 정전을 일으킬 수 있습니다.

이를 해결하기 위해 과학자들은 컴퓨터가 새로운 도시 관리자가 되도록 가르치고 있습니다. 단순히 수도꼭지를 켜고 끄는 대신, 이 컴퓨터들은 스스로 파이프를 즉각적으로 재배치할 수 있습니다. 즉, 막힌 구역을 피하기 위해 연결을 전환하여 다른 경로로 물을 보내는 것입니다. 이것을 "위상 제어(topological control)"라고 부릅니다. 이는 마치 교통 체증을 보고 단순히 차들을 천천히 가라고 말하는 것이 아니라, 교통 흐름을 유지하기 위해 도로 구조를 즉각적으로 바꾸는 교통 관제사와 같습니다. 여기서 중요한 질문은, 컴퓨터가 블랙아웃을 방지할 수 있을 만큼 충분히 빠르고 안전하게 이 일을 수행하는 법을 배울 수 있는가 하는 것입니다. 이 논문은 바둑에서 인간을 이기는 법을 배운 AI에서 영감을 받은 특정 종류의 초지능형 컴퓨터 두뇌가, 전력망을 생존하게 만드는 혼란스러운 예술을 마스터할 수 있는지 탐구합니다.

이 논문의 연구진들은 "초지능적" 컴퓨터 에이전트를 소규모 전력망(구체적으로는 14개의 변전소로 이루어진 작은 동네와 같은 표준 IEEE-14 버스 시스템)에 테스트하기로 했습니다. 그들은 알파제로(AlphaZero)—자기 자신과의 대국을 통해 학습하는 유명한 AI—에 기반한 AI가 현재의 가장 뛰어난 방법들보다 이 그리드를 더 잘 관리할 수 있는지 확인하고 싶었습니다.

현재의 가장 좋은 방법들(PPO와 같은 방식)을 교통 체증이 발생할 때마다 반응하는 매우 숙련된 운전자에 비유해 봅시다. 그들은 유능하지만, 다음 코너 너머를 볼 수는 없습니다. 반면 알파제로 방식은 단 한 번의 회전을 하기 전에 머릿속에서 수천 가지의 서로 다른 미래 시나리오를 시뮬레이션할 수 있는 운전자와 같습니다. 이 방식은 **몬테카를로 트리 탐색(MCTS)**이라는 기술을 사용하는데, 이는 기본적으로 가장 안전한 경로를 찾기 위해 "만약에"라는 게임을 초고속으로 실행해 보는 방법입니다.

연구팀은 이 AI를 어떻게 구축할지 정확히 알아내기 위해 일련의 실험을 설정했습니다. 그들은 무엇이 AI를 더 똑똑하게 만드는지 알아보기 위해 다양한 "게임의 규칙"을 테스트했습니다. 그 결과는 다음과 같습니다.

1. 적을수록 좋다 ("미니멀리스트" 접근법)
연구진은 전압 수준, 정확한 전력 수치, 시간대와 같이 많은 정보를 AI에게 제공해 보았습니다. 그들은 더 많은 데이터가 AI를 더 똑똑하게 만들 것이라고 생각했습니다. 하지만 오히려 이는 AI를 혼란스럽게 만들고 학습을 느리게 만들었습니다. 최상의 결과는 AI에게 미니멀리스트적인 관점을 제공했을 때 나타났습니다. 즉, AI는 "파이프"(선로)가 얼마나 가득 찼는지만 볼 필요가 있었습니다. 도시를 항해하는 것에 비유하자면, 모든 자동차 번호판과 거리 표지판을 뚫어지게 쳐다보는 것보다 주요 도로의 교통 밀도만을 보는 것이 더 나은 결정을 내릴 수 있는 것과 같습니다. 선로 부하에만 집중함으로써 AI는 더 빨리 학습했고 더 안정적이 되었습니다.

2. 단순한 "합격 또는 불합격" 신호
그들은 또한 AI에게 보상을 주는 방식도 테스트했습니다. 어떤 이들은 AI에게 복잡한 방식으로 "효율성"이나 "안전성"을 위해 점수를 주려고 했습니다. 하지만 AI는 너무 많은 목표를 동시에 달성하려고 하다가 주의가 분산되었습니다. 승자는 **이진 생존 보상(binary survival reward)**이었습니다. 즉, 다음 단계에서 그리드가 생존하면 "엄지 척", 생존하지 못하면 "엄지 아래"를 주는 단순한 방식이었습니다. 이 명확하고 단순한 신호는 AI가 가장 중요한 목표, 즉 그리드가 붕괴되지 않도록 하는 데 온전히 집중할 수 있게 도왔습니다. 이 단순한 접근 방식은 시뮬레이션에서 98.43%의 생존율이라는 정점에 도달하게 했으며, 이는 이전의 최고 방법들(약 91.80% 수준)보다 현저히 높은 수치입니다.

3. "스승 없는" 놀라움
보통 AI를 가르칠 때는 가이드 역할을 할 "스승"(사전 훈련된 정책)을 줍니다. 연구진은 이를 시도해 보았으나, 놀랍게도 스승 없이 학습할 때 AI가 더 효율적으로 학습한다는 것을 발견했습니다. AI가 그리드의 물리 법칙과 단순한 생존 보상만을 사용하여 스스로 "만약에" 시나리오를 탐색하도록 내버려 두었을 때, 최선의 해결책을 더 빨리 찾아냈습니다. 학습된 "스승"을 강제로 적용하려 하는 것은 오히려 속도를 늦추고 AI를 덜 신뢰할 수 있게 만들었습니다.

4. 가지치기를 너무 많이 하지 마라
AI는 그리드를 재배치하는 수백 가지의 가능한 방법 중 하나를 선택해야 했습니다. 팀은 작업을 쉽게 만들기 위해 선택지를 줄이는 실험을 했습니다. 그러나 너무 많은 옵션을 잘라내는 것(예: 가장 뻔한 움직임만 허용하는 것)이 오히려 AI에게 해가 된다는 것을 발견했습니다. AI는 위기 상황을 탈출할 방법을 찾기 위해 기이하고 관습에 얽매이지 않는 움직임을 시도할 자유가 필요했습니다. 최선의 전략은 명백한 중복 사례만을 제거하여, AI가 창의적인 해결책을 찾을 수 있도록 충분히 넓은 놀이터를 남겨두는 것이었습니다.

결론
이 논문은 순수한 강화 학습("학습" 부분)이 강력하긴 하지만, 그것만으로는 전력망을 운영하기에 충분하지 않다는 점을 시사합니다. 신뢰할 수 있는 시스템을 위한 비결은 "미니멀리스트" 통합에 있습니다. 즉, 그리드의 단순한 관점(단순 선로 부하), 명확한 "생존 또는 실패" 보상, 그리고 복잡한 규칙에 의해 과도하게 유도되지 않고 자유롭게 탐색할 수 있는 탐색 엔진이 결합되어야 합니다.

이 시뮬레이션에서 이 접근 방식은 이전의 챔피언들을 제치고 **98.43%**의 시간 동안 그리드를 계속 작동시켰습니다. 그러나 저자들은 한 가지 주의점을 언급했습니다. 이 AI는 그리드를 운영하는 데는 매우 뛰어나지만, 이를 학습하는 데는 많은 컴퓨터 자원과 시간이 소듭니다. 그들은 미래를 위해, 이 스마트한 탐색 기술을 더 단순한 규칙 기반의 조력자들과 결합하여 실제 전력망에 적용 가능하게 만들어야 할 수도 있다고 제안합니다. 이 연구가 아직 전 세계의 문제를 해결했다고 주장하는 것은 아니지만, 훨씬 더 똑똑하고 안전한 그리드 관리자를 구축하기 위한 매우 명확한 청사진을 제공하고 있습니다.