기술 요약: SWIFT - 워크로드 트레이스에 대한 시공간 웨이브릿 통합 예측 프레임워크

1. 문제 정의

정확한 클라우드 워크로드 예측은 선제적인 리소스 관리(예: 스케일링 및 스케줄링)를 위해 필수적이지만, 실제 클라우드 트레이스의 특성으로 인해 상당한 어려움에 직면해 있습니다. 저자들은 두 가지 주요 장애물을 식별했습니다:

1. 복잡한 워크로드 패턴: 클라우드 워크로드는 매우 가변적이며, 다중 스케일 주기성(일간, 시간 단위)과 결합된 갑작스럽고 국지적인 버스트(burst)가 특징입니다. 또한, 마이크로서비스 의존성은 서로 다른 워크로드 트레이스 간의 동기화된 변동을 유발하는 강력한 공간적 결합(spatial coupling)을 생성합니다.
   • 기존 방법의 한계: 전통적인 푸리에 기반 방식(예: FFT)은 전역 기저 함수(global basis functions)를 사용하여 전체 시간 영역에 걸쳐 에너지를 집계합니다. 이는 **시간적 국부성(temporal locality)**의 손실을 초た하여, 특정 버스트가 언제 발생하는지 구분할 수 없게 만듭니다(이는 위상 지연 및 부적절한 대응으로 이어집니다). 반대로, 기존의 웨이브릿 기반 방식은 정교한 다중 스케일 패턴을 처리하는 데 어려움을 겪는 경직되고 고정된 분해 체계에 의존하며, 결합된 변수 간의 공간적 의존성을 모델링하지 못합니다.
2. 극한의 효율성 요구사항: 대규모 플랫폼(예: ByteDance)은 시간당 100,000개 이상의 동시 예측 작업을 처리해야 합니다. Transformer와 같은 고성능 모델은 $O(L^2)$의 이차 복잡도를 가져 추론 지연 및 메모리 고갈을 초래합니다. 한편, 표준 합성곱 신경망(CNN)은 종종 시간 영역에서만 작동하여 공간적 상관관계를 간과하며, 전통적인 웨이브릿 구현은 순차적이며 GPU에서 병렬화가 불가능합니다.

2. 방법론

저자들은 SWIFT(Spatio-temporal Wavelet Integrated Forecasting Framework)를 제안합니다. 이는 다해상도 웨이브릿 분석과 효율적인 합성곱 아키텍처를 시너지 효과를 내도록 설계된 순수 합성곱 프레임워크입니다. 이 프레임워크는 두 가지 핵심 모듈로 구성됩니다:

A. 학습 가능한 계단식 웨이브릿 경로 (LC-Wavelet)

이 모듈은 고정된 웨이브릿 기저와 순차적 처리의 한계를 해결합니다.

• 합성곱 재설계: 재귀적인 CPU 기반 알고리즘 대신, SWIFT는 이산 웨이브릿 변환(DWT)과 역 이산 웨이브릿 변환(IWT)을 병렬화 가능한 depth-wise 합성곱 연산으로 재구성합니다. 이를 통해 CPU-GPU 컨텍text 스위칭을 제거하고 GPU Tensor Core에서 네이티브로 실행할 수 있게 합니다.
• 계단식 특징 박리 (Cascaded Feature Peeling): 이 아키텍처는 한 레벨의 저주파 성분이 다음 레벨의 입력으로 재귀적으로 전달되는 깊은 계단식 구조를 채택합니다. 이를 통해 수용 영역(receptive field)의 지수적 확장을 만들어내며, 모델이 얕은 층에서는 고주파 확률적 버스트를 점진적으로 격리하는 동시에 깊은 층에서는 장기적인 추세를 보존할 수 있도록 합니다.
• 학습 가능한 계수 교정: 고정된 기저의 경직성을 극적으로 극복하기 위해, 모델은 각 분해 레벨에서 두 단계의 학습 가능한 메커니즘을 도입합니다:
  1. 형태학적 특징 교정: 학습 가능한 합성곱 층이 정적인 계수를 적응형 표현으로 변환하여, 아티팩트를 부드럽게 하고 특징을 실제 워크로드 형태에 맞게 정렬합니다.
  2. 적응형 스펙트럼 필터링: 채널별 스케일링 벡터가 주파수 성분을 동적으로 재가중하여, 확률적 노이즈를 억제하고 정보가 풍부한 주기적 신호를 증폭합니다.

B. 다변량 상호작용 모듈 (MIM)

이 모듈은 어텐션 메커니즘의 이차 복잡도를 발생시키지 않으면서 변수 간의 공간적 상관관계를 포착합니다.

• 2단계 설계: MIM은 순수하게 그룹화된 합성곱(grouped convolutions)을 통해 작동합니다.
  1. 변수 간 공간 상호작용: 변수 차원 간의 정보를 혼합하기 위해 그룹화된 $1 \times 1$ 합성곱(그룹 수 = 특징 차원)을 사용합니다. 이는 시스템 전체의 컨텍스트를 활용하여 특징 추출 전 노이즈가 많은 워크로드 상태를 안정화합니다.
  2. 변수 내 특징 상호작용: 각 변수의 특징 임베딩 내에서 밀도 있고 비선형적인 정보 교환을 가능하게 하기 위해 그룹화된 합성곱(그룹 수 = 변수 차원)을 사용합니다.
• 효율성: 공간 혼합과 특징 혼합을 분리함으로써, MIM은 $O(L)$의 선형 복잡도로 클라우드 시스템의 포괄적인 상태를 포착합니다.

3. 주요 기여

1. 학습 가능한 계단식 웨이브릿 경로: 경직된 고정 기저 웨이브릿 변환을 깊고 데이터 주도적이며 완전히 병렬화 가능한 합성곱 연산으로 변환하여, 정밀한 다중 스케일 특징 분리를 가능하게 하는 새로운 아키텍처를 제공합니다.
2. 다변량 상호작용 모듈 (MIM): 그룹화된 합성곱을 사용하여 변수 간 의존성과 변수 내 특징 상호작용을 포착하는 공간 모델링 구성 요소를 제공하며, 고립된 분해와 시스템 전체의 결합 사이의 간극을 메웁니다.
3. 하드웨어 친화적인 순수 합성곱 아키텍처: 재귀적인 CPU 호출을 GPU 네이티브 depth-wise 합성곱으로 대체하여, 데이터 전송 병목 현상을 제거하면서 선형 $O(L)$ 복잡도를 달s성합니다.

4. 실험 결과

저자들은 네 개의 실제 클라우드 워크로드 데이터셋(Ali2021, Ali2022, Fisher, Google)과 ETT 벤치마크에서 SWIFT를 평가했습니다.

• 정확도: SWIFT는 8개의 장기 예측 케이스 중 7개에서 최첨단(SOTA) 성능을 달성했습니다. 베이스라인과 비교하여 단기 예측(SMAPE)에서 최대 31.04%, 일반화 시나리오에서 최대 **20.05%**의 예측 오차를 줄였습니다.
• 효율성: SWIFT는 우수한 추론 속도를 입증하여, CNN 기반 베이스라인 대비 지연 시간을 79.74%, Transformer 기반 베이스라인 대비 66.82% 단축했습니다. 높은 처리량을 달성하면서 선형 복잡도를 유지했습니다.
• 일반화 능력: 제로샷 교차 데이터셋 실험(Ali2022에서 학습하고 미세 조정 없이 다른 데이터셋에서 테스트)에서 SWIFT는 SOTA 결과를 유지하며, 특정 도메인 통계에 과적합되지 않고 보편적인 다중 스케일 주기성을 포착하는 능력을 입증했습니다.
• 절제 연구 (Ablation Studies): LC-Wavelet 경로를 제거했을 때 가장 심각한 성능 저하가 발생하여, 이것이 핵심 백본임을 확인했습니다. MIM 모듈을 제거했을 때도 오차가 크게 증가하여 공간적 의존성 모델링의 필요성을 검증했습니다.

5. 의의 및 주장

본 논문은 SWIFT가 정밀한 패턴 포착과 배포 효율성 사이의 간극을 성공적으로 메웠다고 주장합니다. 경직된 푸리에/웨이브릿 체계를 학습 가능하고 병렬화 가능한 합성곱으로 대체함으로써, 이 프레임워크는 FFT의 "구분 불가능한 스펙트럼" 문제와 표준 CNN의 "공간적 무시" 문제를 해결합니다.

저자들은 SWIFT가 발생하기 전의 갑작스러운 워크로드 버스트에 대응할 수 있는 고정밀, 저지연 예측을 제공함으로써 **선제적 오토 스케일링(proactive auto-scaling)**을 가능하게 한다고 단언합니다. 클라우드 컴퓨팅을 넘어, 저자들은 이러한 기능이 엣지 컴퓨팅, 에너지 그리드, 물류 분야로 확장될 수 있다고 제안하지만, 향의 개선된 정확도가 안정성을 보장하는 것은 아니므로 미지의 이상 상황에 대비한 안전 장치(fail-safe)를 권장한다고 주의를 기울였습니다.