💻 computer science

DriGitScale: Drift-Aware GitOps for Consistency-Aware Predictive Autoscaling in Kubernetes

DriGitScale은 예측, 리소스 및 구성 드리프트를 공동으로 평가하여 스케일링 결정을 일관성 관리 문제로 정식화함으로써, 다양한 워크로드 조건 전반에서 경쟁력 있는 반응성을 유지하면서도 불필요한 스케일링 동작을 줄이고 오토스케일링 안정성과 배포 일관성을 향상시키는 쿠버네티스용 드리프트 인지형 GitOps 프레임워크이다.

원저자: Ahmed Fathi AboElazm, Abdalla Sayed Yassin, Hanan Fahmy

게시일 2026-10-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ahmed Fathi AboElazm, Abdalla Sayed Yassin, Hanan Fahmy

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인터넷의 거대하고 보이지 않는 구조 속에서, 애플리케이션은 단일한 정적 기계 위에서 실행되지 않습니다. 대신, 수천 개의 작고 독립적인 소프트웨어 단위들이 서비스를 원활하게 유지하기 위해 끊임없이 시작되고, 멈추고, 이동하는 역동적인 클라우드 기반 환경 속에 존재합니다. 이러한 시스템을 관리하는 것은 연주자들이 매초 악기를 바꾸고 템포를 조절하는 거대한 오케스트라를 지휘하는 것과 같습니다. 이를 처리하기 위해 엔지니어들은 쿠버네티스(Kubernetes)라고 불리는 시스템을 사용하는데, 이는 지휘자 역할을 하며 시스템이 얼마나 바쁜지에 따라 실행 중인 소프트웨어 단위의 수를 자동으로 조정합니다. 트래픽이 급증하면 시스템은 더 많은 단위를 추가하고, 트래픽이 줄어들면 이를 제거합니다. 이러한 자동 조정을 오토스케일링(autoscaling)이라고 합니다. 수년 동안 목표는 수학적 모델을 사용하여 미래를 추측하고 자원을 미리 준비함으로써 이러한 트래픽 변화를 사전에 예측하는 것이었습니다. 그러나 새로운 접근 방식은 단순히 미래를 정확하게 예측하는 것만으로는 시스템의 안정성을 유지하기에 충분하지 않다고 제안합니다.

헬완 대학교(현재 이집트의 캐피털 대학교)의 연구진은 드리깃스케일(DriGitScale)이라는 새로운 시스템 관리 방식을 제안했습니다. 그들의 연구는 가장 정확한 예측이 원활한 운영을 위한 유일한 핵심이라는 오랜 믿음에 도전합니다. 연구진은 컴퓨터 모델이 트래픽 급증을 정확하게 예측하더라도, 실제 가용 자원이 계획과 일치하지 않거나 시스템이 갖춰야 할 공식 지침이 현실과 동떨어져 있다면 시스템이 여전히 불안정해질 수 있다는 것을 발견했습니다. 이를 해결하기 위해 연구팀은 오토스케일링을 단순한 추측 게임이 아닌 '일관성 검사'로 취급하는 프레임워크를 구축했습니다. 그들은 세 가지 서로 다른 요소, 즉 컴퓨터가 예측한 상황, 현재 실제로 일어나고 있는 상황, 그리고 시스템의 공식 지침이 규정하는 상황을 끊임없이 비교하는 시스템을 설계했습니다.

DriGitScale의 핵심 아이디어는 시스템의 서로 다른 관점들이 모두 일치할 때만 스케일링 결정을 내려야 한다는 것입니다. 과거에는 많은 시스템이 예측에 즉각적으로 반응하여, 예측치가 변화를 시사하는 즉시 자원을 추가하거나 제거했습니다. 이는 시스템이 작은 변동에 과잉 반응하여 자원을 너무 많이 추가했다가 너무 빨리 제거하는, '진동(oscillation)'이라 불리는 혼란스러운 순환을 초래하곤 했습니다. 새로운 방법은 '드리프트 인식(drift-aware)' 계층을 도입합니다. 시스템은 예측에 따라 행동하기 전에 '드리프트(drift)', 즉 예상된 것, 실제 상황, 그리고 계획된 것 사이의 간극을 확인합니다. 만약 이 간극이 너무 크다면, 시스템은 예측이 오해를 불러일으킬 수 있거나 환경이 너무 혼란스러워 빠른 변화를 신뢰하기 어렵다고 판단하여 대기합니다. 이는 에너지를 낭비하고 소프트웨어를 혼란스럽게 만드는 불필요한 조정을 방지합니다.

이 아이디어를 테스트하기 위해 연구진은 NASA와 위키피디아의 실제 데이터와 극도로 노이즈가 많고 예측 불가능하게 설계된 인공 데이터를 사용하여 실험을 진행했습니다. 그들은 이 새로운 방식을 오직 예측 정확도에만 의존하는 기존 시스템들과 비교했습니다. 결과는 명확한 차이를 보여주었습니다. 새로운 시스템이 활성화되었을 때, 시스템의 불필요한 변경 횟수가 극적으로 감소했습니다. 예를 들어, NASA 데이터를 사용한 테스트에서 드리프트 인식 검사를 켰을 때 시스템의 불안정성은 0.1315라는 높은 수준에서 0.0097까지 떨어졌습니다. 이는 시스템이 광적인 중복 조정을 멈추고 훨씬 더 차분하고 신뢰할 수 있는 리듬을 찾았음을 의미합니다. 흥미롭게도, 연구진은 예측 모델이 단순하고 성능이 낮더라도 이러한 안정성이 유지된다는 것을 발견했습니다. 이는 안정적인 시스템의 비결이 반드시 미래를 추측하는 데 있어 가장 복잡한 두뇌를 갖는 것이 아니라, 그 추측이 현재의 현실과 부합하는지 확인하는 신중한 검사 과정에 있다는 것을 시사합니다.

또한 이 프레임워크는 글쓰기에서 초안을 저장하는 방식과 유사하게, 버전 관리가 가능한 라이브러리에 시스템 지침을 저장하여 관리하는 방식인 깃옵스(GitOps)를 통합합니다. 이 설정에서는 실행 중인 소프트웨어 단위의 수에 대한 모든 변경 사항이 먼저 이 라이브러리에 공식 지침으로 작성되어야 합니다. 그 후 별도의 도구가 해당 지침을 읽어 실제 실행 중인 시스템을 그에 맞게 업데이트합니다. 이를 통해 실제 실행 중인 시스템이 공식 계획에서 벗어나지 않도록 보장합니다. 이러한 엄격한 기록 관리와 드리프트 검사 메커니즘을 결합함으로써, DriGitScale은 예측, 실제 성능, 그리고 공식 계획이 모두 일치하는지 끊임없이 검증하는 폐쇄 루프(closed loop)를 생성합니다. 만약 이들이 일치하지 않는다면, 시스템은 충동적으로 행동하는 대신 명확해질 때까지 기다립니다.

연구는 클라우드 시스템이 안정성을 유지하기 위해서는 예측의 정확도를 넘어선 것을 바라보아야 한다고 결론짓습니다. 연구진은 결정 사항을 전체 시스템의 일관성에 따라 검증함으로써, 실제 트래픽 급증에 충분히 빠르게 대응하면서도 스케일링 동작 횟수를 크게 줄일 수 있음을 입증했습니다. 그들은 특정 임계값에 설정된 적절한 수준의 민감도가 평온함을 유지하는 것과 빠르게 반응하는 것 사이의 최적의 균형을 제공한다는 것을 발견했습니다. 이 접근 방식은 기존의 예측 도구를 교체할 필요 없이, 오히려 노이즈를 걸러내는 판단 계층을 추가하는 방식입니다. 이 연구 결과는 신뢰할 수 있는 클라우드 컴퓨팅의 미래가 미래를 완벽하게 예측하는 데 있는 것이 아니라, 행동을 취하기 전에 현재의 순간을 명확하게 이해하는 데 있음을 시사합니다. 예측보다는 일관성에 집중함으로써, 시스템은 더욱 견고해지며, 더 적은 자원을 사용하고 끊임없는 불필요한 변화에서 오는 혼란을 피할 수 있게 됩니다.

기술 요약: DriGitScale – 일관성 인식을 위한 Kubernetes용 드리프트 인식 GitOps 기반 예측 오토스케일링

1. 문제 정의

예측 오토스케일링은 워크로드 예측 정확도를 개선하기 위해 머신러닝 및 딥러닝 기술(예: ARIMA, LSTM)을 통해 크게 발전해 왔으나, 기존 솔루션들은 주로 예측 성능 최적화에만 집중하고 있습니다. 이러한 초점은 스케일링 동작 중의 **시스템 수준의 일관성(system-level consistency)**을 간과하는 경우가 많습니다. 동적인 클라우드 네이티브 환경에서 높은 예측 정확도가 반드시 안정적인 오토스케일링 동작을 보장하는 것은 아닙니다. 예측된 워크로드, 실제 리소스 사용량, 그리고 배포된 구성 간의 불일치는 다음과 같은 문제를 야기할 수 있습니다:

진동하는 스케일링 동작(thrashing).
배포 불일치.
정확한 예측에도 불구하고 발생하는 운영 안정성 저하.

나아가, GitOps는 선언적 구성을 통해 의도된 상태(desired state)와 실제 상태(actual state) 사이의 일관성을 유지하는 패러다임을 제공하지만, 현재의 예측 오토스케일링 프레임워크는 GitOps 원칙을 스케일링 결정 루프에 직접적으로 통합하는 경우가 드뭅니다. 핵심적인 문제는 오토스케일링을 단순히 워크로드 예측 과제가 아니라, 예측 드리프트(prediction drift), 리소스 드리프트(resource drift), 그리고 구성 드리프트(configuration drift)를 포함하는 시스템 수준의 일관성 관리 문제로 보아야 한다는 점입니다.

2. 방법론: DriGitScale 프레임워크

DriGitScale은 Kubernetes를 위한 드리프트 인식, GitOps 기반의 자가 적응형(self-adaptive) 오토스케일링 모델로 제안되었습니다. 이 모델은 예측 정확도에만 의존하는 대신, 실행 시간의 일관성 조건을 검증하는 폐쇄 루프(closed-loop) 시스템으로 작동합니다.

핵심 구성 요소

데이터 수집 및 전처리:
- Prometheus와 같은 도구를 통해 Kubernetes 클러스터로부터 실시간 메트릭(예: CPU 사용률)을 수집합니다.
- 데이터를 정규화하고 슬라이딩 윈도우 메커니즘을 사용하여 고정 길이 시계열 시퀀스로 변환합니다.
예측 모델링:
- 본 프레임워크는 모델 불가지론적(model-agnostic)이며, Simple, Moving Average (MA), ARIMA, LSTM 등 다양한 예측 기법을 지원합니다.
- 미래 시점의 예측 CPU 사용량( $C_{pred}$ )을 생성합니다.
드리프트 인식 결정 엔진 (핵심 혁신):
단순히 $C_{pred}$ 에 따라 스케일링을 트리거하는 대신, 이 엔진은 세 가지 불일치 차원을 집계하여 통합된 **전체 드리프트 점수( $D_{total}$ )**를 계산합니다:
- 예측 드리프트 ( $D_{pred}$ ): 예측된 워크로드와 실제 워크로드 간의 절대적 차이 ( $|C_{pred} - C_{actual}|$ ).
- 리소스 드리프트 ( $D_{res}$ ): 요구되는 리소스(예측 기반)와 실제 할당된 레플리카 간의 편차 ( $|R_{required} - R_{actual}|$ ).
- 구성 드리프트 ( $D_{cfg}$ ): Git 저장소의 의도된 상태와 실제 클러스터 상태 간의 편차 ( $|R_{git} - R_{actual}|$ ).
전체 드리프트는 다음과 같이 계산됩니다:
$D_{total}(t) = \alpha D_{pred}(t) + \beta D_{res}(t) + \gamma D_{cfg}(t)$
여기서 $\alpha, \beta, \gamma$ 는 가중치 매개변수입니다. 스케일링 동작은 오직 $D_{total} > \theta$ (사전 정의된 임계값)인 경우에만 트리거됩니다. 이는 노이즈를 필터링하고 미세한 변동으로 인한 불필요한 스케일링 동작을 방지합니다.
GitOps 기반 액추에이션(Actuation):
- 스케일링 결정은 선언적 구성 업데이트(YAML 매니페스트)로 변환됩니다.
- 변경 사항은 버전 관리되는 Git 저장소("단일 진실 공급원")에 커밋됩니다.
- GitOps 도구(예: ArgoCD)는 클러스터 상태를 저장소와 동기화하여 실제 배포가 의도된 상태와 일치하도록 보장합니다.
연속 피드백 루프:
- 스케일링 후, 시스템은 워크로드, 리소스 사용량 및 배포 상태를 지속적으로 모니터링하여 드리프트를 재평가하고 변화하는 환경에 적응합니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 설명합니다:

DriGitScale 프레임워크: 예측, 리소스, 구성 드리프트를 폐쇄 루프 결정 프로세스에 통합한 새로운 자가 적응형 모델을 제시합니다.
통합 드리프트 공식화: 세 가지 서로 다른 유형의 드리프트를 단일 일관성 점수로 결합하여 적응형 의사결정을 가능하게 하는 수학적 공식을 제공합니다.
일관성 인식 스케일링 메커니즘: 예측 정확도뿐만 아니라 시스템 전반의 일관성이 훼손되었을 때만 스케일링 동작을 실행하는 검증 메커니즘을 제공합니다.
GitOps 통합: 의도된 상태와 배포된 상태 사이의 불일치를 줄이기 위해 GitOps 원칙을 오토스케일링 액추에이션 계층에 직접 통합했습니다.
종합적 평가: NASA 워크로드 트레이스, 급격한 변화가 있는 Wikipedia 워크로드 및 합성 데이터셋을 사용하여 안정성, 응답성 및 드리프트 동작을 검증했습니다.

4. 실험 결과

프레임워크는 평균 드리프트 점수, 추론 시간, 응답성, 결정/실제 안정성과 같은 지표를 사용하여 실제 및 합성 데이터셋을 대상으로 평가되었습니다.

모델 불가지론(Model Agnosticism): 프레임워크는 다양한 예측 모델(Simple, MA, ARIMA, LSTM)에 대해 안정적인 오토스케일링 동작을 유지했습니다. LSTM은 강력한 예측력을 보여주었으나, ARIMA 및 MA와 같은 경량 모델은 현저히 낮은 계산 오버헤드로 경쟁력 있는 응답성을 제공했습니다.
드리프트 인식의 영향 (Ablation Study):
- 드리프트 인식 필터링을 활성화하면 레플리카 변경 빈도(불안정성을 나타내는 Actual Stability 지표)가 크게 감소했습니다. 예를 들어, NASA 트레이스에서 드리프트 적용 전의 변경 빈도는 0.1315였으나, 적용 후에는 0.0097로 감소하여 시스템 안정성을 향상시켰습니다.
- Wikipedia 및 합성 데이터셋에서도 유사한 변경 빈도 감소가 관찰되었습니다.
- 이 메커니즘은 일시적인 변동(thrashing)은 효과적으로 필터링하면서도 중요한 워크로드 변화에는 민감하게 반응했습니다.
임계값 민감도: 응답성과 안정성 사이의 최적의 균형을 위해 0.05의 임계값( $\theta$ )이 식별되었습니다. 임계값이 너무 낮으면 과도한 스케일링 동작이 발생하고, 너무 높으면 필요한 반응이 지연되었습니다.
일반화 가능성: 프레임워크는 완만한(NASA), 급격한 변화가 있는(Wikipedia), 노이즈가 많고 혼란스러운(Synthetic) 워크로드 패턴 모두에서 견고함을 입증했습니다.

5. 의의 및 주장

본 논문은 오토스케일링을 순수한 예측 문제가 아닌 시스템 일관성 문제로 재정의해야 한다고 주장합니다. DriGitScale의 의의는 다음과 같습니다:

안정성과 예측 정확도의 분리: 시스템 일관성 검증을 통해 다양한 예측 모델을 사용하더라도 안정적인 스케일링 동작을 달성할 수 있음을 입증했습니다.
운영 노이즈 감소: 다차원 드리프트 체크를 통해 불필요한 스케일링 동작(thrashing)을 획기적으로 줄였습니다.
배포 신뢰성 향상: GitOps를 통합함으로써 "의도된 상태"와 "실제 상태"를 동기화하여, 기존 예측 오토스케일링 솔루션의 공백을 메웠습니다.

저자들은 정확한 워크로드 예측도 중요하지만, 예측 출력, 런타임 리소스 할당, 그리고 배포 구성 간의 일관성을 유지하는 것이 현대의 Kubernetes 환경에서 신뢰할 수 있는 자가 적응형 오토스케일링을 위한 핵심 요소라고 결론지었습니다. 또한 향후 연구로서 멀티 메트릭 스케일링(CPU 이상의 지표), 고급 모델(Transformer 등), 그리고 프로덕션 규모의 검증을 탐구할 것임을 언급하였습니다.