A one-year measurement of quota-induced waste in private clouds
이 논문은 1년간의 프라이빗 클라우드 운영 데이터를 분석하여, 할당량 기반의 자원 관리와 피크 수요를 대비한 프로비저닝 및 관리자의 오버셀링이라는 사용자 행동이 결합되어, 가용 용량이 존재함에도 불구하고 지속적인 할당량 고갈과 가상 머신(VM)의 장기적인 유휴 상태로 특징지어지는 상당한 비효율성을 초래한다는 점을 밝혀낸다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
컴퓨팅의 세계에는 작업을 수행하기 위한 충분한 전력을 확보하는 것과, 전력이 유휴 상태일 때 그 전력을 낭비하는 것 사이의 끊임없는 긴장이 존재합니다. 주요 기업들이 사용하는 공공 클라우드 서비스는 종-종 사용자가 소비하는 컴퓨터 시간의 매 초마다 비용을 부과함으로써 이 문제를 해결합니다. 이 가격표는 자연스러운 제동 장치 역할을 합니다. 즉, 서버가 유용한 작업을 수행하고 있지 않다면 사용자는 비용 지불을 중단하고 서버를 종료하게 됩니다. 그러나 프라이빗 클라우드는 다르게 작동합니다. 대학, 연구소 또는 대기업이 소유한 전용 컴퓨팅 환경인 프라이빗 클라우드에서 사용자들은 자신이 사용하는 자원에 대해 비용을 지불하지 않습니다. 대신 관리자는 각 팀이 예약할 수 있는 컴퓨팅 파워의 양에 '쿼터(quota)'라고 불리는 고정된 제한을 설정합니다. 아이디어는 간단합니다. 한 그룹이 모든 것을 삼켜버리지 않도록 모든 팀에게 전체 용량의 공정한 몫을 나누어 주는 것입니다. 하지만 낭비를 억제할 가격이 없다면, 기묘한 역학 관계가 나타날 수 있습니다. 팀들은 나중에 필요할 경우를 대비해 자신들에게 허용된 만큼의 컴퓨팅 파워를 최대한 많이 선점할 수 있으며, 이로 인해 다른 팀들이 공간을 찾기 위해 고군분투하는 동안 그 전력은 빈 상태로 방치될 수 있습니다.
브라질의 페데리컬 유니버시티 드 캄피나 그란데(Federal University of Campina Grande)와 이탈리아의 피에몬테 오리엔탈레 대학교(University of Piemonte Orientale)의 연구진은 이 보이지 않는 낭비를 조사하기로 했습니다. 그들은 2024년 5월부터 2025년 5월까지 1년 동안, 자신들의 대학교에서 사용하는 프라이빗 클라우드의 디지털 심박수를 관찰했습니다. 오픈 소스 소프트웨어인 오픈스택(OpenStack)을 기반으로 구축된 이 시스템은 수백 명의 연구자와 학생들에게 서비스를 제공합니다. 이는 동시에 천 대 이상의 가상 컴퓨터를 실행할 수 있고 총 메모리 용량이 1,024기가바이트에 달하는 거대한 기계입니다. 연구팀은 단순히 얼마나 많은 전력이 사용되고 있는지만을 본 것이 아니라, 얼마나 많은 전력이 예약되었는지와 실제로 작업이 수행되고 있는지를 비교했습니다. 그들은 모든 가상 머신, 모든 프로젝트, 그리고 5분 단위의 활동을 추적하며 6,400만 개 이상의 데이터 포인트를 수집했습니다. 그들의 목표는 규칙이 공정성을 유지하려는 의도대로 작동하는지, 아니면 오히려 시스템을 비효리적으로 만들고 있는지를 확인하는 것이었습니다.
그들이 발견한 것은 스스로 만든 역설에 갇힌 시스템이었습니다. 클라우드는 안전 마진을 두도록 설계되었습니다. 즉, 모든 팀에게 약속된 총 컴퓨팅 파워의 합계가 실제 물리적 기계가 한 번에 보유할 수 있는 양보다 더 크게 설정되어 있다는 의미입니다. 이는 모든 사람이 정확히 같은 순간에 자신의 몫을 모두 필요로 하지는 않을 것이라는 기대에 기반한 '오버셀링(overselling)'이라는 흔한 관행입니다. 실제로 물리적 기계는 거의 한계치에 도달하지 않았습니다. 기계가 완전히 가득 찬 날은 약 3%에 불과했습니다. 그러나 이 풍부한 빈 공간에도 불구하고, 많은 팀이 새로운 가상 머신을 생성하는 데 지속적으로 차단되었습니다. 연구진은 최소한의 프로젝트들이 개인 쿼터 허용량을 모두 소진하여 가장 작은 크기의 컴퓨터조차 프로비저닝할 수 없는 벽에 부딪혔음을 발견했습니다. 이들 프로젝트 중 약 14%는 연구 기간 내내 이러한 상태에 갇혀 있었습니다. 더욱 주목할 만한 점은, 전체 클러스터가 물리적 메모리의 70~80%만을 사용하고 있을 때조차 약 27%의 프로젝트가 새로운 머신을 추가하지 못해 차단되었다는 사실입니다. 병목 현상은 하드웨어의 부족이 아니라, 쿼터 시스템 자체의 경직된 규칙 때문이었습니다.
이러한 차단의 원인은 자원을 보유하는 데 비용이 들지 않을 때 사용자들이 어떻게 행동하는지에 달려 있습니다. 연구는 자원 사재기 패턴을 드러냈습니다. 팀이 쿼터를 받으면, 그들은 실제로 필요하기 훨씬 전부터 가상 머신을 프로비저닝하며 자신의 몫을 즉시 차지하는 경향이 있습니다. 이렇게 생성된 머신들은 미래의 프로젝트가 시작되기를 기다리는 동안 아무 일도 하지 않은 채 자리를 차지하며 쿼터를 소비합니다. 연구진은 가상 머신이 실제로 작업하는 시간과 아무것도 하지 않고 대기하는 시간을 비교함으로써 이를 측정했습니다. 그들은 프로세서가 활발하게 계산을 수행하는 시간을 '의미 있는 사용(meaningful use)'으로 정의하고, 단순히 메모리에 데이터를 담아두고 있는 시간은 제외했습니다. 결과는 극명했습니다. 전체 시스템에서 가상 머신들은 의미 있는 사용 시간보다 유휴 시간(idle time)을 두 배 이상 더 많이 보냈습니다. 약 절반의 머신은 생성된 당일에 바로 작동을 시작했지만, 상당수의 머신은 몇 주 또는 몇 달 동안 전혀 사용되지 않은 채 그대로 있었습니다.
이러한 행동은 악순환을 만듭니다. 사용자들은 자원을 반납했을 때 나중에 다시 돌려받을 수 있다는 확신을 가질 수 없기 때문에, 자원을 꽉 쥐고 놓지 않습니다. 그들은 오늘 가상 머신을 생성하고, 아무 작업 없이 실행 상태로 둔 채, 마감 기한이 왔을 때 사용할 수 있도록 몇 주 동안 그대로 둡니다. 이는 개별 팀에게는 합리적인 선택이지만, 시스템 전체에는 재앙입니다. 이는 한 팀이 사용하지 않는 컴퓨팅 파워 더미 위에 앉아 있는 동안, 다른 팀은 쿼터가 가득 찼다는 이유로 새로운 프로젝트를 시작하지 못함을 의미합니다. 연구진은 이것이 하드웨어의 실패나 수요의 부족이 아니라, 인센티브 구조의 실패라고 지적했습니다. 유휴 시간에 대한 비용이 없고, 예약 시스템을 통해 미래의 접근권을 보장받을 방법이 없다면, 사용자가 취할 수 있는 유일하게 안전한 전략은 사재기입니다.
연구는 해결책이 단순히 더 큰 기계를 만들거나 더 많은 쿼터를 배분하는 것이 아니라고 제안합니다. 그것은 아마도 더 많은 사재기를 유발할 것이기 때문입니다. 대신 관리자는 게임의 규칙을 바꿔야 합니다. 관리자들은 사용자가 특정 미래 시간에 자원을 예약할 수 있는 메커니즘을 도입하여, 현재 그들이 추구하는 보안을 제공하면서도 유휴 머신을 계속 붙들고 있게 만들지 않을 수 있습니다. 또한 머신이 너무 오랫동안 사용되지 않고 방치되어 있을 때 이를 감지하여 해당 공간을 다른 이들을 위해 자동으로 회수하는 시스템을 구현할 수도 있습니다. 데이터는 엄청난 양의 잠재적 컴퓨팅 파워가 고장 났기 때문이 아니라, 사람들이 잡고 버티도록 권장하는 규칙 속에서 게임을 하고 있기 때문에 낭비되고 있음을 보여줍니다. 연구진은 이러한 행동을 이해함으로써, 프라이빗 클라우드가 단순히 이론적으로만 공정한 것이 아니라 실제로도 효율적으로 작동하도록, 즉 연구를 위해 구축된 강력한 기계들이 실제로 연구를 위해 사용되도록 설계하기를 희망하고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.