기술 요약: 다중 전문가 합의 메커니즘에 기반한 서버리스 환경을 위한 오토스케일링 접근 방식

문제 정의

서버리스 컴퓨팅은 자동 리소스 관리와 사용량 기반 과금 방식을 제공하지만, 돌발적인 워크로드(bursty workloads), 콜드 스타트(cold-start) 지연 시간, 복잡한 함수 간 의존성으로 인해 효과적인 오토스케일링을 구현하는 데 여전히 어려움이 있다. 기존의 방식들은 함수를 독립적으로 스케일링하거나 단일 예측 모델에 의존하는 경우가 많으며, 이는 견고성 저하, 비용 비효효율성, 그리고 구조적으로 중요한 병목 지점의 간과로 이어질 수 있다. 의존성 체인 내의 단일 함수에서 혼잡이 발생하면 실행 경로를 따라 전파되어 엔드 투 엔드(end-to-end) 지연 시간을 악화시키고 운영 비용을 증가시킨다. 또한, 공격적인 스케일 다운(scale-down) 조치는 콜드 스타트를 유발할 수 있으며, 단일 모델 예측기는 워크로드 변동성 하에서 안정성이 부족할 수 있다.

방법론

저자들은 병목 현상 식별, 단기 수요 예측, 그리고 비용 인식 제어를 하나의 엔드 투 엔드 파이프라인으로 통합한 의존성 인지형 오토스케일링 프레임워크를 제안한다. 이 시스템은 다음 구성 요소들을 통해 작동한다.

1. 의존성 인지형 병목 현상 식별

애플리케이션은 노드가 함수(클래스/파일)를 나타내고 엣지가 호출 관계를 나타내는 **유향 의존성 그래프(directed dependency graphs)**로 모델링된다.

• 그래프 구축: 팬인(fan-in) 및 팬아웃(fan-out) 지표를 사용하여 의존성 강도를 정량화하는 가중치 부여된 이분 그래프(weighted bipartite graph)를 구축한다.
• 병목 순위 산정: 프레임워크는 각 노드에 대해 **가중 차수 중심성(weighted degree centrality)**을 계산한다. 중심성이 높은 함수들은 워크로드 압력을 증폭시킬 가능성이 있는 구조적으로 영향력 있는 병목 지점으로 식별된다.
• 감시 집합(Watch Set): 상위 $k$개의 고영향 함수들로 구성된 "감시 집합"을 구축한다. 모니터링, 예측 및 스케일링 결정은 모든 함수를 동일하게 취급하는 대신 이 하위 집합에 우선순위를 두어 수행된다.

2. 다중 모델 수요 예측

식별된 병목 함수들에 대해, 근접 시점의 리소스 수요를 경량 다중 모델 앙상블을 사용하여 예측한다.

• 지도 학습 모델: 세 가지 상호 보완적인 신경망 아키텍처가 채택된다:
  • MLP (Multilayer Perceptron): 집계된 특징들의 비선형 관계를 포착한다.
  • LSTM (Long Short-Term Memory): 순차적 워크로드 데이터의 시간적 의존성을 모델링한다.
  • CNN (Convolutional Neural Network): 시계열 입력의 슬라이딩 윈도우로부터 국소적 패턴을 추출한다.
• 비지도 학습 베이스라인: 비교 평가를 위해 비지도 학습 방법(K-Means, SOM, PCA)이 구현되었으나, 감독 없이 안정적인 스케일링 결정을 생성하기에는 불충분함을 보여준다.

3. 베이지안 기반 합의 의사결정

단일 예측기의 편향을 완화하고 워크로드 드리프트(drift) 하에서 안정성을 개선하기 위해, 프레임워크는 베이지안 모델 평균화(BMA)에서 영감을 받은 성능 가중 확률적 앙상블을 사용한다.

• 가중치 부여: 모델 가중치는 검증 성능(정확도)으로부터 도출되며 소프트맥스(softmax) 변환을 통해 정규화된다.
• 집계: 최종 합의 예측은 개별 모델 출력의 가중 평균이다. 이는 단일 모델에 대한 의존도를 줄이고 극단적인 편차를 완화한다.

4. 비용 인식 및 콜드 스타트 인식 제어

컨트롤러는 실행 전 후보 스케일링 동작을 필터링하기 위해 비용 비교 메커니즘을 포함한다.

• 비용 모델링: 운영 비용은 기본 리소스 비용, 낭비 비용(과다 프로비저닝), 그리고 과부하 비용(과소 프로비저닝/SLA 위반)의 합으로 모델링된다.
• 콜드 스타트 인식: SLA 임계값을 초과하여 지연 시간을 증가시킬 것으로 예측되는(잠재적으로 콜드 스타트를 유발하는) 스케일 다운 동작은 더 높은 과부하 페널티를 부여받아, 공격적인 디프로비저닝을 억제한다.
• 의사결정 로직: 후보 스케일링 동작(스케일 업, 스케일 다운 또는 유지)은 현재 비용의 허용 오차 범위 내에서 예상 비용이 적절할 경우에만 수락되어, 성능 안정성과 함께 경제적 타당성을 보장한다.

주요 기여

본 논문은 다섯 가지 주요 기여를 명시한다:

1. 의존성 인지형 파이프라인: 구조적 분석, 예측, 비용 인식 액추에이션을 결합하여 독립적인 함수 스케일링을 넘어선 엔드 투 엔드 컨트롤러를 제공한다.
2. 그래프 기반 병목 현상 식별: 유향 의존성 그래프에서 차수 중심성을 사용하여 표적 제어를 위한 고영향 함수 감시 집합을 구축하는 방법을 제시한다.
3. 경량 다중 모델 예측: 낮은 추론 오버헤드를 유지하면서 다양한 워크로드 패턴을 포착하기 위해 상호 보완적인 MLP, LSTM, CNN 모델을 사용한다.
4. 베이지안 기반 합의: 성능에 따라 가중치가 부여된 확률적 앙상블 메커니즘을 통해 모델별 편향에 대한 견고성을 높이기 위해 검증 성능을 기반으로 예측을 융합한다.
5. 비용 및 콜드 스타트 통합: 비용 비교 단계를 통해 동작을 필터링함으로써 성능 안정성과 운영 효율성을 동시에 달 수 있는 스케일링 정책을 구현한다.

실험 결과

프레본은 실제 워크로드 트레이스와 소프트웨어 의존성 데이터셋을 사용하여 서버리스 호출 그래프를 시뮬레이션하고 프레임워크를 평가하였다.

• 지도 학습 vs 비지도 학습: 지도 학습 모델이 비지도 클러스터링보다 성능이 월등히 높았다. LSTM 모델이 가장 높은 정확도(99.06%)를 기록했으며, MLP(98.75%)와 CNN(98.50%)이 그 뒤를 이었다. 반면, 최상의 비지도 베이스라인인 K-Means와 t-SNE 조합은 정확도가 **49.5%**에 불과하여, 패턴 발견만으로는 오토스케일링 결정 로직을 신뢰성 있게 복구할 수 없음을 입증했다.
• 앙상블 성능: 제안된 성능 가중 앙상블은 정확도 0.9988(99.88%)을 달 기록하며, 대표적인 하이브리드 베이스라인(예: MLP-LSTM, CNN-LSTM) 및 전통적인 ML 모델을 능가했다. 또한 이러한 베이스라인들과 비교하여 더 낮은 평균 절대 오차(MAE)와 평균 제곱 오차(MSE)를 보여주었다.
• 비용 효율성: 예측형 컨트롤러는 반응형 임계값 기반 베이스라인과 비교하여 여러 플랫폼에서 총 인프라 비용을 절감했다:
  • AWS Lambda: \0.70 \rightarrow $0.47$
  • Google Cloud Run: \9.48 \rightarrow $6.36$
  • Azure Functions: \0.68 \rightarrow $0.45$
  • Generic Container: \6.01 \rightarrow $4.03$
  • 총 합산 절감액: 베이스라인 대비 $5.55 절감.

의의 및 주장

본 논문은 의존성 분석, 앙상블 기반 예측, 비용 인식 의사결정이라는, 흔히 별개로 다뤄지는 세 가지 핵심 차원을 통합한 실무적 시스템 레벨 설계에 그 주요 의의가 있다고 주장한다.

저자들은 다음과 같이 단언한다:

1. 구조적 인지의 중요성: 함수 간 의존성을 무시하면 최적화되지 않은 스케일링이 발생하며, 구조적으로 중요한 병목 지점을 우선시하는 것이 더 안정적이고 효율적인 제어를 가능하게 한다.
2. 앙상블의 견고성: 성능에 의해 가중치가 부여된 다중 전문가 합의 메커니즘은 단일 모델 예측기나 단일 구조의 하이브리드 아키텍처보다, 특히 워크로드 변동성 하에서 우수한 안정성과 정확도를 제공한다.
3. 경제적 타당성: 비용 모델에 콜드 스타트 인식을 통합함으로써, 프레임워크는 SLA 목표를 저해하지 않으면서도 상당한 비용 절감을 달 수 있으며, 이는 선제적인 의존성 인지형 스케일링이 반응형 방식보다 경제적으로 우월함을 증명한다.

연구는 오토스케일링 동작을 생성하는 데 있어 지도 학습 기반 예측이 비지도 클러스터링보다 실질적으로 우수하며, 제안된 프레임워크가 실제 서버리스 환경을 위한 견고하고 경제적으로 효율적인 솔루션을 제공한다고 결론짓는다.