Game-Theoretic Workload Allocation with Dynamic Computing Efficiency and Rejection-Aware Migration in Heterogeneous Data Centers

현대 사회에서 우리의 디지털 삶은 전 세계에 흩어져 있는 방대한 컴퓨터 센터 네트워크에 의존하고 있습니다. 데이터 센터라고 불리는 이 시설들은 동영상 스트리밍부터 인공지능 학습에 이르기까지 모든 것을 움직이는 엔진 역할을 합니다. 하지만 이 엔진들은 모두 동일하게 만들어지지 않았습니다. 어떤 곳은 시원한 기후와 저렴한 전기를 갖춘 곳에 위치하는 반면, 다른 곳은 덥고 비용이 많이 드는 지역에 자리 잡고 있습니다. 게다가 이 안의 컴퓨터들은 일정한 속도로 작동하지 않습니다. 너무 많은 차량이 진입하면 고속도로가 느려지는 것처럼, 데이터 센터의 처리 능력도 한꺼번에 너무 많은 작업이 몰리면 떨어집니다. 엔지니어들의 과제는 각 디지털 작업을 어디로 보낼지 결정하는 것입니다. 만약 하나의 강력한 센터로 너무 많은 작업을 보내면, 그 센터는 막히고 느려지게 됩니다. 만약 작업을 잘못된 곳으로 보내면, 작업 시간이 너무 길어지거나 에너지 비용이 너무 많이 들 수 있습니다. 완벽한 균형을 찾는 데는 변화하는 조건에 실시간으로 반응할 수 있는 시스템이 필요합니다.

무한 공업대학교(Wuhan University of Technology)의 연구팀은 데이터 센터를 수동적인 기계가 아닌 독립적인 의사 결정자로 취급함으로써 이 퍼즐을 풀 수 있는 새로운 방법을 제안했습니다. 그들의 연구에서, 각 데이터 센터는 이웃과 상호작용하면서 자신을 위해 최선의 일을 하려는 합리적인 사업가처럼 행동하는 시나리오를 가정했습니다. 단일 중앙 컴퓨터가 모두에게 무엇을 할지 지시하는 대신, 연구진은 데이터 센터들이 서로 협상하는 시스템을 설계했습니다. 한 센터가 효율적으로 처리할 수 없는 작업을 가지고 있을 때, 다른 센터에 그 작업을 맡아달라고 요청합니다. 결정적으로, 요청을 받는 센터는 거절할 권리를 가집니다. 만약 요청이 거절되면 작업은 집에 머물게 되지만, 요청을 한 센터는 낭비된 시도에 대해 작은 벌칙(penalty)을 지불합니다. 이 단순한 규칙은 네트워크가 작업을 더 신중하고 전략적으로 보내도록 강제합니다.

연구진은 이 아이디어를 테스트하기 위해 미국 전역에 8개의 데이터 센터가 있는 가상 네트워크를 구축하여 컴퓨터 시뮬레이션을 만들었습니다. 그들은 작고 빠른 작업부터 거대하고 복잡한 계산에 이르기까지 1만 개의 서로 다른 작업을 생성하고 시스템이 어떻게 작동하는지 관찰했습니다. 그들은 이 새로운 방식과, 모든 작업을 작업을 생성한 컴퓨터에서 단순히 실행하거나, 사용 가능한 서버로 무작위로 작업을 보내는 것과 같은 기존 전략들을 비교했습니다. 또한, 결과에 상관없이 가장 빠른 서버로 작업을 보내는 '탐욕적(greedy)' 접근 방식과, 요청을 거절할 능력이 결여된 표준 게임 이론 모델도 테스트했습니다.

결과는 새로운 협상 기반 시스템이 다른 방식들보다 현저히 더 효과적이라는 것을 보여주었습니다. 받는 센터가 거절할 수 있도록 허용하고, 바쁜 서버는 속도가 느려진다는 점을 고려함으로써, 시스템은 자연스럽게 가장 인기 있는 장소가 막히는 것을 방지했습니다. 작업을 담요처럼 고르게 펼치는 대신, 시스템은 몇몇 특정 센터가 허브가 되어 들어오는 작업의 큰 비중을 처리하고, 다른 센터들은 자신의 로컬 작업에 집중하는 패턴으로 안착했습니다. 이는 허브로 작업을 보내는 것이 그 허브가 여전히 이를 처리할 수 있는 충분한 속도를 가지고 있을 때만 가치가 있다고 시스템이 학습했기 때문입니다. 허브가 너무 바빠지면 내부 속도가 떨어져, 더 많은 작업을 보내기에 매력도가 낮아집니다. 이러한 자기 조절 메커니즘은 네트워크가 모든 노드가 과부하된 상태에 빠지는 것을 방지했습니다.

핵적인 발견은 거절된 요청에 대한 벌칙이 시스템의 성공에 필수적이었다는 점입니다. 만약 벌칙이 없다면, 데이터 센터들은 빠른 승리를 기대하며 바쁜 허브로 계속 작업을 보내게 될 것이고, 이는 혼란과 에너지 낭비를 초 초래할 것입니다. 만약 벌칙이 너무 높으면, 센터들은 도움을 요청하기를 너무 두려워하게 되어 작업이 느린 로컬 프로세서에 갇히게 됩니다. 연구진은 이 벌칙에 대한 '스위트 스팟(sweet spot)', 즉 새로운 연결을 시도하도록 독려하면서도 실패할 가능성이 높은 요청에 시간을 낭비하는 것을 저지하는 중간 지점을 찾아냈습니다. 시뮬레이션에서 이 균형 잡힌 접근 방식은 표준 탐욕 전략에 비해 전체 효율성을 약 27.0% 개선했으며, 모든 것을 로컬에서 실행하는 것에 비해 총 에너지 비용을 약 36.2% 줄였습니다.

또한 이 연구는 이러한 문제에 대한 기존 사고방식의 결함을 강조했습니다. 많은 이전 모델들은 데이터 센터의 속도가 교통량과 관계없이 항상 시속 60마일로 달리는 자동차처럼 고정되어 있다고 가정했습니다. 연구진은 작업량이 증가함에 따라 속도가 떨어지는 모델을 통해, 기존의 가정이 비현적인 계획을 만든다는 것을 보여주었습니다. 작업량이 늘어남에 따라 속도가 변한다는 역동적인 관점은 단일 노드를 과부하하지 않는 안정적이고 효율적인 네트워크를 만드는 데 필수적이었습니다. 이 연구는 글로벌 컴퓨팅 자원을 관리하는 미래가 경직된 하향식 통제가 아니라, 모든 참여자가 서로의 한계와 선택을 존중하는 유연한 로컬 합의에 있다는 것을 시사합니다.