CM2: a Cloud Monetary Cost Model for Document-Based NoSQL Databases

현대 디지털 세상에서 방대한 양의 정보는 문서 지향형 데이터베이스라고 알려진 유연하고 비전통적인 형식으로 저장됩니다. 오래된 시스템의 경직된 스프레드시트 같은 구조와 달리, 이러한 데이터베이스는 애플리케이션이 실제로 데이터를 사용하는 방식을 모방하여 정보를 더 유연하게 구성할 수 있게 해주며, 종종 관련된 정보를 하나의 독립된 단위로 묶어 관리합니다. 기업들이 이러한 시스템을 대형 기술 제공업체가 관리하는 클라우드로 이전함에 따라, 데이터 조직 방식은 단순한 기술적 선택을 넘어 경제적 선택이 됩니다. 컴퓨터가 데이터를 읽거나, 새로운 데이터를 쓰거나, 파일을 저장할 때마다 클라우드 제공업체는 비용을 부과합니다. 이러한 요금은 데이터의 크기, 액세스된 항목의 수, 요청의 복잡성에 따라 결정되며, 이는 작은 설계 결정 하나가 상당한 비용 상승으로 이어질 수 있는 복잡한 경제적 지형을 만들어냅니다.

수년 동안 이러한 시스템을 설계하는 전문가들은 데이터베이스의 속도가 얼마나 빠를지 또는 메모리를 얼마나 사용할지를 예측하는 모델에 의존해 왔습니다. 그러나 이러한 전통적인 도구들은 클라우드에서 실제로 지출되는 비용을 간과하는 경우가 많습니다. 이 도구들은 엔지니어에게 설계가 빠르다는 점은 알려줄 수 있지만, 그 속도가 감당할 수 없는 가격을 수반하는지는 말해주지 못합니다. 이러한 격차는 조직이 미래 비용을 추측하게 만들며, 성능 면에서는 효율적이지만 예산 측면에서는 재앙적인 아키텍처로 이어질 위험을 초래합니다. 문제는 클라우드 가격 책정이 단일 고정 요금이 아니라는 점입니다. 이는 스토리지, 특정 양의 데이터 읽기, 데이터 업데이트 작성, 그리고 정보를 빠르게 찾기 위한 인덱스를 유지하는 데 드는 비용이 뒤섞인 조각보와 같습니다. 데이터 설계 선택을 단일 달러 금액으로 변환할 방법이 없다면, 서로 다른 데이터베이스 구조를 비교하는 것은 한 자동차의 가격은 연비(mpg)로 표시되어 있고 다른 자동차의 가격은 엔진 마력으로 표시되어 있을 때 두 자동차의 비용을 비교하려는 것과 같습니다.

이를 해결하기 위해 볼로냐 대학교의 연구진 마테오 프랑카(Matteo Francia), 엔리코 갈리누치(Enrico Gallinucci), 마테오 골파렐리(Matteo Golfarelli), 알레산드라 루미니(Alessandra Lumini)는 CM2라고 불리는 새로운 도구를 개발했습니다. 이는 서버리스 환경에서 실행되는 문서 기반 NoSQL 데이터베이스를 위해 특별히 설계된 클라우드 금전적 비용 모델입니다. CM2는 속도나 기술적 복잡성에 집중하는 대신, 데이터베이스 설계자를 위한 금융 계산기 역할을 합니다. 이 모델은 제안된 데이터 조직 방식과 데이터베이스에 던져질 질문 목록을 입력받아 정확한 월간 달러 비용을 계산합니다. 이 모델은 단순히 추측하는 것이 아니라, 전체 비용을 데이터 및 인덱스 저장 비용, 데이터 읽기 비용, 그리고 데이터 쓰기 또는 업데이트 비용이라는 세 가지 뚜렷한 부분으로 세분화합니다. 또한 기가바이트당 스토리지 비용이나 전송되는 바이트당 데이터 비용과 같이 주요 클라우드 제공업체의 구체적인 가격 정책을 반영합니다.

연구진은 고객, 주문, 제품, 배송 세부 정보를 포함한 현실적인 온라인 상점 시나리오를 사용하여 이 모델을 테스트했습니다. 그들은 이 상점의 데이터를 구성하는 여러 가지 버전을 만들었습니다. 한 버전에서는 엄격한 도서관 카탈로그처럼 중복을 최소화하고 데이터를 매우 체계적으로 유지했습니다. 다른 버전에서는 정보를 여러 그룹에 복제하여 검색을 빠르게 만드는 방식으로, 마치 모든 자동차 안에 지도의 사본을 넣어두는 것과 유사하게 구성했습니다. 그런 다음 그들은 마이크로소프트 애저(Microsoft Azure)에서 제공하는 실제 클라우드 데이터베이스 서비스에서 수천 건의 쿼리를 시뮬레이션하여 다양한 설정에 대해 실행했습니다. 목표는 그들의 모델이 클라우드 제공업체가 보낼 실제 청구서를 예측할 수 있는지 확인하는 것이었습니다.

결과는 놀라울 정도로 정확했습니다. 연구진이 모델의 예측값과 클라우드 서비스에서 발생한 실제 비용을 비교했을 때, 액세스된 문서 수에 대해서는 오차가 종종 2% 미만이었고, 사용된 인덱스 항목 수에 대해서는 1% 미만이었습니다. 전체 스토리지 크기에 대한 모델의 오차는 5% 미만이었습니다. 더욱 중요한 것은, 모델이 최종적인 금전적 비용을 성공적으로 예측했다는 점입니다. 한 테스트 사례에서 모델은 월간 비용을 0.70달러로 추정했으나 실제 비용은 0.73달러였습니다. 수백만 건의 작업이 포함된 더 복잡한 시나리오에서도 모델은 어떤 데이터베이스 설계가 가장 저렴한지를 일관되게 식별해냈으며, 차이가 미세한 경우에도 옵션들의 순위를 정확하게 매겼습니다.

이 연구는 가장 효율적인 설계가 전적으로 시스템이 어떻게 사용되는지에 달려 있다는 사실도 밝혀냈습니다. 스토리지 비용을 절약하는 설계는 애플리케이션이 빈번하고 복잡한 검색을 요구하여 시스템이 대량의 데이터를 읽어야 할 경우 막대한 비용을 초래할 수 있습니다. 반대로, 검색 속도를 높이기 위해 데이터를 중복시키는 설계는 시스템이 읽기 위주이고 업데이트가 드문 경우에 가장 경제적인 선택이 될 수 있습니다. 모델은 어떤 경우에는 중복된 설계가 값비싼 읽기 작업을 줄여주기 때문에 더 저렴했고, 다른 경우에는 군더더기 없는 설계가 업데이트 비용을 최소화함으로써 승리한다는 것을 보여주었습니다. 이는 "최선의" 단일 방법이란 존재하지 않으며, 올바른 선택이란 애플리케이션의 특정 재무 및 운영 패턴과 일치하는 선택이라는 것을 증명합니다.

CM2는 비용을 측정하는 통일된 방법을 제공함으로써 엔지니어가 시스템을 구축하기도 전에 정보에 입각한 결정을 내릴 수 있도록 합니다. 이는 대화를 "이것이 작동할 것인가?"에서 "이것이 우리 예산 안에서 작동할 것인가?"로 전환시킵니다. 연구진은 설계 단계에서 금전적 차원을 무시하는 것이 기술적으로는 완벽하지만 재무적으로는 지속 불가능한 아키텍처로 이어질 수 있음을 보여주었습니다. 그들의 연구는 성능과 가격 사이의 균형을 맞추기 위한 실질적인 프레임워크를 제공하며, 우리의 디지털 세계를 움직이는 데이터베이스가 빠르고 유연할 뿐만 아니라 경제적이기까지 하도록 보장합니다.