기술 요약: 데이터센터 소프트웨어 업그레이드를 위한 비용 인식 지속 시간 예측

문제 정의

소프트웨어 업그레이드는 초대규모 데이터센터에서 서버 신뢰성을 유지하는 데 필수적이지만, 검색이나 스트리밍과 같은 표준 서비스 작업과 구별되는 고유한 스케줄링 과제를 제시합니다. 서비스 작업은 지연 시간과 처리량을 최적화하기 위해 서버 간에 유연하게 분배되는 반면, 소프트웨어 업그레이드는 고정된 요구 사항을 가진 특정 서버에 묶여 있습니다. 주요 목표는 엄격한 서비스 수준 목표 (SLO) 를 충족하는 것입니다: 예정된 업그레이드의 최소 95% 가 고정된 "업그레이드 창" 내에서 완료되어야 합니다.

현재 메타 (Meta) 와 같은 생산 환경의 스케줄러는 SLO 준수를 보장하기 위해 모든 업그레이드에 대해 고정된 최악의 경우 지속 시간을 가정하는 보수적인 접근 방식을 채택합니다. 이 전략은 데이터센터 전반에서 업그레이드 창 활용도가 평균 20~40% 에 불과할 정도로 상당한 비효율성을 초래합니다. 핵심 과제는 예측 정확도를 극대화하는 표준 머신러닝 목표와 SLO 를 충족하면서 처리량을 극대화하는 시스템 목표 사이의 불일치에 있습니다. 표준 예측기는 종종 대칭적 손실을 최소화하여 예측 오류의 비대칭적 비용을 고려하지 못합니다. 과소 예측은 SLO 미달 (취소 및 복구 워크플로우 발생) 의 위험을 초래하는 반면, 경미한 과대 예측은 허용 가능하며 안전을 위해 종종 선호됩니다.

방법론: Acela 프레임워크

저자들은 기존 업그레이드 스케줄러와 원활하게 통합되도록 설계된 비용 인식 지속 시간 예측 프레임워크인 Acela를 제안합니다. Acela 는 세 가지 주요 기술 혁신을 통해 문제를 해결합니다:

1. 양분 회귀를 통한 비대칭 비용 모델링

과소 예측이 과대 예측보다 더 큰 비용을 초래한다는 점을 인식하여, Acela 는 대칭적 L2 손실을 최소화하는 조건부 평균 예측을 넘어섭니다. 대신 **양분 경사 부스팅 트리 (QGBT)**를 사용하여 조건부 양분을 추정합니다.

• 메커니즘: 양분 매개변수 $\tau > 0.5$(예: 0.9) 를 선택함으로써, 모델은 지속 시간을 약간 과대 예측하도록 훈련됩니다.
• 손실 함수: 시스템은 $\tau > 0.5$일 때 과소 예측 ($y \ge \hat{y}$) 을 과대 예측 ($y < \hat{y}$) 보다 더 가중치 있게 패널티하는 양분 손실 함수를 최소화합니다. 이는 훈련 목표를 SLO 요구 사항과 직접적으로 정렬시킵니다.

2. 모델 선택을 위한 맞춤형 점수화

Acela 는 예측 정확도와 SLO 준수를 균형 있게 맞추기 위해 최적의 모델과 양분 매개변수를 선택하는 맞춤형 점수 함수를 도입합니다. 점수는 다음과 같이 정의됩니다:
$$\text{score} = \begin{cases} \text{MAE} & \text{if } \text{OPR} \ge \text{SLO} \\ (\alpha \cdot (1 - \text{OPR}) + 1) \cdot \text{MAE} & \text{if } \text{OPR} < \text{SLO} \end{cases}$$
여기서:

• MAE: 평균 절대 오차 (정확도 측정).
• OPR: 과대 예측률 (예측 지속 시간이 실제 지속 시간보다 긴 업그레이드의 비율).
• SLO: 목표 임계값 (95%).
• $\alpha$: 과소 예측에 대한 패널티 매개변수.

이 함수는 SLO 를 충족하는 모델 (OPR $\ge$ 95%) 을 우선시합니다. SLO 가 충족되면 과도한 과대 예측 (처리량 감소) 을 피하기 위해 MAE 를 최소화합니다. SLO 가 위험에 처하면 패널티가 급격히 증가합니다.

3. 훈련 세트 다양화 (지체자 완화)

훈련 데이터에는 하드웨어 고장이나 복구 워크플로우로 인해 극단적인 지속 시간을 가진 "지체자 (stragglers)"라는 이상치가 종종 포함됩니다. 이를 포함하면 모델이 극단적인 과대 예측으로 편향되어 효율성이 저하될 수 있습니다.

• 전략: Acela 는 99 백분위수와 99.9 백분위수의 업그레이드를 제외하는 잘라낸 버전을 생성하여 훈련 데이터 세트를 다양화합니다.
• 선택: 모델은 다양한 양분에 걸쳐 이러한 잘라낸 데이터 세트에서 훈련됩니다. 가장 우수한 성능을 보이는 모델 (가장 낮은 점수) 이 선택되어, 드문 고장에 의해 왜곡되지 않으면서 안전 마진을 유지하면서도 대부분의 경우에 대해 정확한 예측을 보장합니다.

통합

Acela 는 메타의 기존 스케줄러 위에 구현된 향상 계층입니다. 여기에는 데이터 수집 파이프라인 (DCP), 모델 훈련 및 선택 (MTS) 모듈, 예측 쿼리 서비스 (PQS) 가 포함됩니다. 스케줄러는 Acela 의 지속 시간 예측을 사용하여 우선순위 인식 결정을 내립니다: 우선순위가 동일한 경우 처리량을 증가시키기 위해 더 짧은 예측 지속 시간을 선호하고, 우선순위가 충돌하는 경우 더 높은 우선순위의 업그레이드를 먼저 실행합니다.

주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 대규모 특성 분석: 메타의 생산 데이터센터 규모에서 소프트웨어 업그레이드에 대한 최초의 심층 분석으로, 서비스 작업과 구별되는 고유한 과제를 식별합니다.
2. 문제 형식화: 예측 정확도가 SLO 준수 및 처리량보다 2 차적인 제약 최적화 문제로 소프트웨어 업그레이드 스케줄링을 프레임합니다.
3. 비대칭 비용 식별: 과소 예측이 과대 예측보다 훨씬 더 치명적인 업그레이드 시나리오의 고유한 비용 구조를 강조합니다.
4. 새로운 프레임워크 (Acela): 양분 회귀, 맞춤형 점수화, 지체자 제거를 활용하여 스케줄링 결과를 최적화하는 새로운 예측 프레임워크입니다.
5. 실제 배포: 수백만 건의 업그레이드를 검증한 생산 데이터센터에서 업그레이드 효율성을 향상시키기 위해 배포된 최초의 솔루션입니다.

평가 결과

저자들은 훈련을 위해 3 개월 동안 수집된 400 만 건 이상의 소프트웨어 업그레이드와 테스트를 위해 그 후 1 개월간의 실제 운영 (약 100 만 건의 업그레이드) 을 사용하여 Acela 를 평가했습니다.

생산 결과 (휴리스틱 기준 대비):

• 활용도: Acela 는 보수적인 휴리스틱 기준 대비 업그레이드 창 활용도를 1.25 배 향상시켰습니다.
• 처리량: 예정된 소프트웨어 업그레이드 수는 33% 증가했고, 완료된 업그레이드 수는 41% 증가했습니다.
• SLO 준수: 훨씬 더 많은 업그레이드를 처리했음에도 불구하고, Acela 는 취소율을 2.4 배 줄여 95% 완료 SLO 를 성공적으로 충족했습니다. 반면, 휴리스틱 기준은 평가 기간 동안 SLO 를 충족하지 못했습니다.

시뮬레이션 및 제거 연구:

• 손실 함수: 대칭적 손실 함수 (L2, L1, Huber) 를 사용한 모델은 평균 절대 오차 (MAE) 가 낮았지만 SLO 를 충족하지 못했습니다 (OPR $\approx$ 50%). Acela 의 양분 손실은 약간 더 높은 MAE 로 목표 OPR(95%) 을 달성하여, 이 도메인에서는 정확도만으로는 부족함을 입증했습니다.
• 지체자 제거: 훈련 세트에서 지체자를 제거하면 OPR 에 부정적인 영향을 주지 않으면서 예측 정확도 (MAE) 가 1.2 배 향상되어 데이터 다양화 전략의 효과성을 확인했습니다.
• 양분 민감도: 민감도 분석은 양분 매개변수 $\tau$를 0.9 에서 0.99 사이로 설정하는 것이 스케줄링 볼륨과 취소율 사이의 균형을 최적화함을 보여주었습니다.

중요성과 주장

본 논문은 이 작업을 소프트웨어 업그레이드에 대한 최초의 데이터센터 규모 연구이자 지속 시간 예측을 통해 업그레이드 효율성을 향상시키기 위한 최초의 배포 솔루션으로 위치시킵니다. 저자들은 그들의 접근 방식이 "예측 정확도 극대화"에서 "시스템 목표 최적화"(SLO 준수 및 처리량) 로 패러다임을 전환한다고 강조합니다. 오류의 비대칭적 비용과 데이터센터 업그레이드의 특정 운영 제약 (예: 고정 창, 버퍼 한계) 을 인정함으로써, Acela 는 신뢰성을 훼손하지 않고 대규모 인프라의 운영 효율성을 크게 향상시킬 수 있음을 보여줍니다.