기술 요약: 지속 가능한 데이터 센터 운영을 위한 LLM 기반 예측적 의사결정

1. 문제 정의

AI 기반 워크로드, 특히 대규모 언어 모델(LLM)의 급격한 확장은 데이터 센터의 에너지 및 자원 소비를 심화시켰습니다. 현재 데이터 센터의 운영 파이프라인은 대개 작업 시간 및 자원 필요량에 대한 사용자의 추정치에 기반하여 자원(예: GPU)을 할당하는 휴리스틱 알고리즘에 의존합니다. 그러나 현대 컴퓨팅 시스템(대역폭, 메모리, 소프트웨어 스택 및 하드웨어 변동성 포함)의 복잡성으로 인해 실행 시간과 에너지 소비를 정확하게 예측하는 것은 본질적으로 어렵습니다. 결과적으로 사용자나 데이터 센터 모두 최적의 자원 요구 사항에 대한 정밀한 지식을 갖지 못하게 되어, 비효율성, 자원 낭비 및 환경적 발자국 증가를 초래합니다.

저자들은 두 부분으로 구성된 문제를 정의합니다:

1. 예측: 사용자가 제출한 소스 코드 $x$와 잠재적인 GPU 구성 $z$가 주어졌을 때, 실행 시간 $t$와 에너지 소비 $e$를 예측합니다. 이는 해당 데이터 센터의 인프라에 특화된 미지의 함수 $t = f(x, z)$ 및 $e = g(x, z)$로 모델링됩니다.
2. 의사결정: 한정된 GPU 인벤토리 제약 조건 하에서, 도착하는 작업에 GPU 자원을 순차적으로 할당하여 실행 시간, 대기 시간 및 에너지 비용의 가중 합을 최소화하는 정책 $\pi$를 개발합니다. 이 문제는 대기 큐의 존재와 다목적 최적화(multi-purpose optimization)의 균형을 맞추어야 하는 복잡성을 띠고 있으며, 이에 대한 해석적 해(analytical solution)는 존재하지 않습니다.

2. 방법론

A. LLM 기반 예측 모델

제안된 시스템의 핵심은 사전 학습된 대규모 언어 모델(LLM)을 사용하여 소스 코드를 처리하는 통합된 엔드 투 엔드(end-to-end) 예측 모델입니다.

• 아키텍처: 모델은 두 단계로 구성됩니다:
  1. 표현 추출(Representation Extraction): 사전 학습된 LLM(이하 $l_{\theta_1}$)이 소스 코드 $x$를 입력으로 받아 $d$ 차원의 벡터 표현을 출력합니다. LLM 파라미터 $\theta_1$은 고정됩니다.
  2. 프로빙(Probing): 경량화된 지도 학습 모델(이하 "프로브", $h_{\theta_2}$ 또는 $q_{\theta_2}$)이 추출된 표현과 GPU 구성 $z$를 입력으로 받아 대상 지표(시간 또는 에너지)를 예측합니다.
• 학습: 시스템은 다양한 GPU 구성에 걸친 소스 코드와 실제 실행 결과(시간 및 에너지)가 쌍을 이룬 데이터셋을 통해 학습됩니다. 주목할 점은, 사전 학습된 LLM이 이미 광범으로 한 코드에 대한 문맥적 이해를 갖추고 있기 때문에 약 500개의 소스 코드 예시라는 매우 적은 데이터셋만으로도 학습이 가능하다는 것입니다.
• 전통적 방법 대비 장점:
  • 일반화(Generalization): 특정 모델 유형(예: CNN 전용)에 특화된 수작업 특징(예: 레이어 깊이, 패스 횟수)에 의존하는 기존 방식과 달리, LLM 접근 방식은 다양한 작업 유형 및 복합 작업(예: CNN 이후 LSTM 수행)에 대해 일반화될 수 있습니다.
  • 데이터 효율성: 사전 학습된 LLM이 강력한 특징 추출기 역할을 하여 방대한 학습 데이터의 필요성을 줄여줍니다.
  • 유연성: 동일한 표현을 사용하여 서로 다른 프로브를 학습시킴으로써 다양한 예측 대상(시간, 에너지, 그리고 잠재적으로 물/탄소 지표)에 대응할 수 있습니다 있습니다.

B. 순차적 의사결정 알고리즘

자원 할당을 최적화하기 위해 저자들은 LLM 모델의 예측을 활용하는 두 가지 데이터 기반 알고리즘을 제안합니다:

1. 탐욕 알고리즘(Greedy Algorithm): 선입선출(first-come-first-served) 규칙에 따라 작업을 할당하며, 현재 작업에 대해 예상 목적 함수 값($\alpha \hat{t} + \beta w + \gamma \hat{e}$)을 최소화하는 GPU 유형을 선택합니다.
2. 가치 기반 알고리즘(Value-Based Algorithm): 다중 배낭 문제(multiple knapsack problem)에서 영감을 받은 이 알고리즘은 전체 대기 큐를 고려합니다. 이 알고리즘은 단순히 도착 순서를 따르는 대신, 전체 대기 시간과 에너지 비용을 줄이는 데 기여하는 "가치"를 기준으로 작업을 할당합니다.

C. 분포 외(OOD) 작업 처리

저자들은 기능적으로 동일한 코드가 서로 다른 엔지니어에 의해 작성될 경우 서로 다른 LLM 표현을 생성하여 예측 오류를 일으킬 수 있는 불일치 가능성을 식별했습니다. 이를 완화하기 위해 확장된 파이프라인을 제안합니다:

• Align-LLM: 새로운 작업의 표현이 학습 클러스터에서 크게 벗어나는 경우, 보조적인 "Align-LLM"이 로컬 코드베이스의 유사한 작업 스타일과 일치하도록 소스 코드를 재작성합니다. 이는 입력 표현을 학습 분포와 정렬시켜, 코드의 기능은 변경하지 않으면서 예측 정확도를 향상시킵니다.

3. 주요 기여

방법론적 기여

• LLM 기반 다목적 예측 모델: 원시 소스 코드를 입력으로 받아 실행 시간과 에너지 소비를 추정하는 최초의 포괄적인 엔드 투 엔드 솔루션입니다. 이는 작업별로 특화된 수작업 특징(handcrafted features)의 필요성을 제거합니다.
• 완전 자동화된 예측 스케줄링 시스템: 모든 사용자 제출 작업 유형을 처리하고 즉각적인 추정치를 제공할 수 있는 통합 프레임워크로, 기존의 경직된 예측 모델의 한계를 극복합니다.
• 순차적 의사결정: 표준적인 해석적 해가 존재하지 않는 대기 큐가 있는 복잡한 다목적 자원 할당 문제를 해결하는 데이터 기반 알고리즘을 제시합니다.

애플리케이션 레벨 기여

• 실제 배포 가능성: 파이프라인이 1초 이내에 실행되어 실시간의 비용 효율적인 스케줄링을 가능하게 합니다. 또한 제한된 학습 데이터 환경에서도 효과적입니다.
• 다목적 지속 가능성: 본 프레임워크는 필요한 데이터가 있다면 탄소 배출량, 물 사용량 등 다양한 지속 가능성 지표를 예측할 수 있도록 설계된 확장성을 갖추고 있습니다.

4. 실험 결과

저자들은 2개월간의 운영 데이터(2024년 7월 1일 – 2024년 9월 1일)를 활용한 데이터 센터와의 협업을 통해 접근 방식을 검증했습니다.

• 성능 지표: 데이터 센터의 베이스라인인 "Simple Rule"(가장 강력한 GPU를 선호하는 선입선출 방식)과 비교했을 때, 제안된 **가치 기반 알고리즘(Value-based algorithm)**은 다음과 같은 성과를 달 나타냈습니다:
  • 총 에너지 소비(TEC) 32% 감소
  • 총 대기 시간(TWT) 30% 감소
  • 지연된 작업 수 24% 감소
• 비교: 가치 기반 알고리즘은 즉각적인 작업만을 고려하는 탐욕 알고리즘보다 대기 큐의 전역 상태(global state)를 고려함으로써 훨씬 더 우수한 성능을 보였습니다.
• 강건성: Align-LLM을 포함한 확장된 파이프라인은 코딩 스타일 변동으로 인한 예측 오류를 성공적으로 완화하여, 분포 외(OOD) 작업을 학습 분포에 가깝게 유도하고 예측 정확도를 높였습니다.

5. 의의 및 주장

본 논문은 이 연구가 지속 가능성 목표를 달 달성하기 위해 현대적인 데이터 센터 운영을 현대화하는 데 있어 실질적이고 확장 가능한 솔루션을 제공한다고 주장합니다. LLM의 문맥적 이해와 일반화 능력을 활용함으로써, 제안된 시스템은 기존의 경직된 휴리스틱 및 물리 기반 예측 방법의 한계를 극복합니다.

저자들은 다음과 같은 점을 강조합니다:

• 인프라의 진보: 보다 효율적이고 환경 친화적인 AI 인프라를 위한 경로를 제공합니다.
• 이론과 실제의 연결: LLM이 최소한의 데이터 요구 사항만으로 실시간 운영 의사결정 루프에 효과적으로 통합될 수 있음을 입증합니다.
• 확장성: 모델의 통합된 특성 덕 인해 예측 아키텍처를 완전히 재설계하지 않고도 다양한 작업 유형과 미래의 지속 가능성 지표에 적응할 수 있습니다.

본 연구는 LLM 기반 예측 모델링과 순차적 의사결정을 결합하는 것이 AI 기반 워크로드의 환경적 영향을 크게 줄이는 동시에 운영 효율성을 개선할 수 있는 실행 가능한 전략임을 결론짓습니다.