Temperature-Aware Scheduling of LLM Inference in Large-Scale Geo-Distributed Edge Data Centers with Distributed Optimization

논문 요약: 대규모 지리 분산 엣지 데이터센터에서의 온도를 고려한 LLM 추론 스케줄링

1. 문제 정의 (Problem Statement)

• LLM 추론의 환경적 영향: 최근 대규모 언어 모델 (LLM) 의 사용량이 급증하면서, 데이터센터의 에너지 소비, 탄소 배출, 물 소비가 심각한 환경 문제로 대두되고 있습니다. 특히, 많은 연구가 LLM 학습 (Training) 에 집중해 왔으나, 실제 추론 (Inference) 단계가 학습보다 연간 계산 자원을 약 25 배 더 소모하며, 탄소 발자국은 학습의 1,400 배에 달할 수 있습니다.
• 냉각 시스템의 비효율성: 데이터센터의 냉각 시스템은 전체 에너지 사용의 30~50% 를 차지합니다. 기존 연구들은 냉각 효율을 위치와 무관한 고정 값으로 가정하는 경향이 있었습니다. 그러나 실제 냉각 효율은 **주변 온도 (Ambient Temperature)**에 크게 의존하며, 지리적으로 분산된 엣지 데이터센터 간에는 온도 차이가 큽니다.
• 기존 접근법의 한계: 기존 워크로드 스케줄링 기법들은 주로 에너지 효율이나 지연 시간 (Latency) 만을 최적화하거나, 단일 목적 함수에 집중하는 경향이 있어, 탄소, 물 소비, 비용, 그리고 추론 지연 시간 (TTFT) 을 동시에 고려하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 호주 전역에 분산된 엣지 데이터센터를 대상으로 온도 인식형 (Temperature-Aware) 분산 최적화 기법을 제안합니다.

• 통합 최적화 목표: 다음 네 가지 지표를 동시에 최적화하는 것을 목표로 합니다.
  1. 에너지 비용 (Energy Costs)
  2. 탄소 배출량 (Carbon Emissions)
  3. 첫 번째 토큰 도착 시간 (Time-to-First Token, TTFT)
  4. 물 소비량 (Water Consumption)
• 정량적 모델링:
  • 에너지 모델: IT 장비의 전력 소비, 기계적 냉각 시스템 (CRAC 등) 의 소비, 전력 조정 장치의 소비를 포함하여 총 에너지 소비를 계산합니다. 냉각 효율 (COP) 은 주변 온도에 따라 가변적으로 모델링됩니다.
  • 물 소비 모델: 증발 (Evaporative), 블로우다운 (Blowdown), 그리고 전력 생산 및 처리 과정에서의 간접 물 소비를 모두 고려합니다.
  • 탄소 배출 모델: 전력망의 탄소 강도 (Carbon Intensity) 와 물 처리 과정에서의 탄소 배출을 합산합니다.
  • LLM 추론 모델: 모델 파라미터와 키 - 값 (KV) 캐시를 고려한 메모리 풋프린트와 대역폭을 기반으로 TTFT 를 계산합니다.
• 분산 최적화 알고리즘:
  • ADMM (Alternating Direction Method of Multipliers): 중앙 집중식 처리의 병목 현상을 피하고, 지리적으로 분산된 데이터센터 간 협업을 가능하게 하기 위해 ADMM 기반의 분산 최적화 알고리즘을 적용합니다. 이를 통해 각 데이터센터는 로컬 정보를 유지하면서 전역적인 최적 해를 도출합니다.

3. 주요 기여 (Key Contributions)

1. 온도 인식형 분산 최적화 프레임워크: 호주 내 지리 분산 엣지 데이터센터 환경에 특화된, 온도를 고려한 LLM 추론 워크로드 스케줄링 접근법을 제시했습니다.
2. 다목적 최적화 공식화: 단일 지표가 아닌 에너지 비용, 탄소, 물 소비, TTFT 를 동시에 최적화하는 LLM 추론 스케줄링 문제를 수학적으로 공식화했습니다.
3. 정교한 환경 영향 모델: 이질적인 LLM 호스팅 데이터센터의 온도 차이를 반영하여 탄소, 물, 에너지 비용을 정밀하게 모델링했습니다.
4. 성능 검증: 기존 방법론 (Helix, Splitwise 등) 과의 비교를 통해 제안된 방법의 우수성을 입증했습니다.

4. 실험 결과 (Results)

호주 내 20 개 데이터센터와 200 개의 컴퓨팅 노드를 가진 시뮬레이션 환경에서 실험이 수행되었습니다.

• 비교 대상: 혼합 정수 선형 프로그래밍 기반 (Helix), 큐 기반 (Splitwise) 방법론과 비교했습니다.
• 성능 향상:
  • 제안된 Opt-Balance 방법은 Helix 보다 모든 측정 지표 (TTFT, 탄소 비용, 전력 비용, 물 소비) 에서 우수한 성능을 보였습니다.
  • Splitwise 와 비교했을 때, TTFT 는 경쟁력 있게 유지하면서 탄소 배출, 에너지 비용, 물 소비를 모두 감소시켰습니다.
  • 단일 목적 함수 최적화 (Opt-Carbon, Opt-Water 등) 도 기존 방법들보다 우수했으나, Opt-Balance 는 여러 지표 간의 균형을 이루며 가장 포괄적인 개선을 보여주었습니다.
• 핵심 발견: 주변 온도를 고려하여 워크로드를 분산시키는 것이 냉각 에너지 소비를 줄이고 전반적인 비용 효율성을 높이는 데 결정적인 역할을 함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 의 환경적 지속 가능성 문제를 해결하기 위한 중요한 전환점을 제시합니다. 단순히 하드웨어 효율을 높이는 것을 넘어, 지리적 위치와 시간대별 온도 변화를 활용하여 워크로드를 지능적으로 분배함으로써, 데이터센터의 냉각 에너지 수요를 획기적으로 줄일 수 있음을 증명했습니다.

특히, 분산 최적화 (ADMM) 를 통해 중앙 집중식 제어의 한계를 극복하고, 대규모 엣지 환경에서도 탄소 배출과 물 소비를 줄이면서 사용자 경험 (TTFT) 을 저해하지 않는 실용적인 솔루션을 제시했다는 점에서 의의가 큽니다. 이는 기후 변화 대응과 LLM 기술의 지속 가능한 확장을 동시에 달성하기 위한 핵심 전략으로 평가됩니다.