Unified SLO Driven Observability across AWS and GCP using CloudWatch and Stack driver and ELK and Splunk with Error Budgets
본 논문은 AWS CloudWatch, GCP Cloud Monitoring, ELK, 그리고 Splunk를 공급자 독립적인 메타 모델 및 에러 버짓 거버넌스를 통해 통합하는 통일된 SLO 기반 관측성 프레임워크를 제안하고 평가하며, 이를 통해 멀티 클라우드 환경에서 탐지 시간, 복구 속도, SLO 안정성 및 운영 비용 절감 측면에서의 유의미한 개선을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 디지털 세상에서 대규모 조직들은 종종 아마존 웹 서비스(AWS)와 구글 클라우드 플랫폼(GCP)처럼 여러 클라우드 컴퓨팅 플랫폼에 걸쳐 자신들의 소프트웨어를 동시에 실행합니다. 이러한 전략은 유연성과 안전성을 제공하지만, 시스템이 여러 제공업체로 나뉘어 있을 때 전체 시스템이 제대로 작동하고 있는지 어떻게 알 수 있는가라는 복잡한 문제를 야기합니다. 이를 해결하기 위해 엔지니어들은 서비스 수준 목표(Service Level Objective)라고 불리는 개념에 의존하는데, 이는 서비스가 99.9%의 시간 동안 가용성을 유지해야 한다는 것과 같이 서비스가 얼마나 잘 수행되어야 하는지에 대한 일종의 약속입니다. 시스템이 이 약속을 지키지 못하면, 허용 가능한 실수들의 제한된 예비분인 에러 버젯(error budget)을 소모하게 됩니다. 만약 이 예산이 바닥나면, 추가적인 피해를 막기 위해 시스템은 새로운 변경 사항 적용을 중단해야 합니다. 문제는 각 클라우드 제공업체가 성능을 측정하는 데 고유한 언어와 도구를 사용하기 때문에, 전체적인 그림을 보거나 그 공유된 예산을 효과적으로 관리하기 어렵다는 점입니다.
아메리칸 대학교의 연구원 에테샴 주나이드(Ehtesham Junaid)는 이러한 파편화를 해결하기 위해 서로 다른 클라우드들을 하나의 실체로 취급하는 통합 시스템을 구축하며 이 문제에 도전했습니다. 이 연구는 아마존의 클라우드워치(CloudWatch)와 구글의 클라우드 모니터링(Cloud Monitoring)으로부터 오는 서로 다른 모니터링 신호들을 공통된 언어로 번역할 수 있는 중앙 계층을 만드는 데 집중했습니다. 이 계층은 또한 방대한 양의 로그와 성능 기록을 걸러내는 데 사용되는 ELK 및 스플렁크(Splunk)와 같은 강력한 데이터 분석 도구들과도 연결되었습니다. 목표는 단순히 더 많은 데이터를 수집하는 것이 아니라, 에러 버젯이 너무 빠르게 소모될 때 자동으로 안전 조치를 트리거할 수 있는 단일하고 일관된 신뢰성 뷰를 만드는 것이었습니다.
이 아이디어를 테스트하기 위해, 연구원은 동일한 소프트웨어 애플리케이션이 AWS와 구글 클라우드에서 동시에 실행되는 통제된 환경을 구축했습니다. 그들은 시스템이 어떻게 반응하는지 보기 위해 갑작스러운 트래픽 급증, 네트워크 장애, 부분적인 시스템 중단과 같은 실제 세계의 문제들을 시뮬레이션했습니다. 먼저, 각 클라우드 제공업체의 모니터링 도구가 독립적으로 작동하는 전통적인 방식을 사용하여 설정을 관찰했습니다. 그 다음, 모든 유입 데이터를 정규화하고 전체 멀티 클라우드 시스템을 위한 단일한 공유 에러 버젯을 계산하는 새로운 통합 프레임워크를 활성화했습니다. 이를 통해 시스템은 단일 부분이 아닌 전체 네트워크의 건강 상태를 기반으로 문제를 더 빠르게 감지하고 결정을 내릴 수 있었습니다.
결과는 통합된 접근 방식의 명확한 우위를 보여주었습니다. 결함이 도입되었을 때, 새로운 시스템은 평균 3.1분 만에 문제를 감지했는데, 이는 개별적인 사일로형 도구를 사용했을 때 걸린 7.8분에 비해 상당한 개선입니다. 이 60%의 탐지 시간 단축은 엔지니어들이 훨씬 더 빨리 문제에 대응할 수 있음을 의미했습니다. 또한, 정상 운영으로 복구되는 데 걸리는 시간도 거의 40% 감소했습니다. 통합 시스템은 또한 더 안정적이었으며, 시스템의 서로 다른 부분들이 상태를 보고하는 방식의 불일치를 줄였습니다. 데이터를 수집하고 처리하는 비용은 중앙 집중화로 인해 약간 증가했지만, 시스템을 운영하는 전반적인 비용은 18% 감소했습니다. 이러한 절감은 시스템 다운타임과 관련된 손실을 36%나 극적으로 줄임으로써 얻어진 것으로, 더 나은 가시성에 대한 투자가 비용이 많이 드는 중단을 예방함으로써 보답한다는 것을 증명했습니다.
이 연구는 멀티 클라우드 전반의 신뢰성을 관리하는 데 어려움이 있는 이유는 좋은 도구가 부족해서가 아니라, 공유된 거버넌스 구조가 부족하기 때문이라고 결론짓습니다. 제공업체에 종속되지 않는 단일한 방식으로 목표를 정의하고 실수에 대한 예산을 관리함으로써, 조직은 이전에는 불가능했던 수준의 통제력을 확보할 수 있습니다. 본 연구는 신뢰성이 개별적인 작업들의 집합이 아닌 하나의 통합된 개념으로 관리될 때, 시스템이 더 빠르게 수리되고, 더 안정적이며, 더 경제적으로 운영될 수 있음을 보여줍니다. 이 접근 방식은 높은 성능 표준을 유지하면서 멀티 클라우드의 복잡성을 헤쳐 나가야 하는 기업들에게 실질적인 토대를 제공합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.