기술 요약: LLM 추론을 위한 그린 인식 라우팅 (GAR)

1. 문제 제기

대규모 언어 모델 (LLM) 의 대규모 배포는 이질적인 모델 풀 전반에 걸쳐 응답 품질, 꼬리 지연 시간 (tail latency), 그리고 계산 비용을 균형 있게 조절하는 라우팅 아키텍처를 필요로 합니다. 기존 라우팅 프레임워크는 정확도와 지연 시간을 최적화하는 데 중점을 두며 (종종 금전적 비용을 부차적으로 취급), 환경적 영향을 크게 간과합니다. 이는 다음과 같은 이유로 중요한 격차입니다:

• 그리드 탄소 강도 변동성: 재생 에너지 가용성과 화석 연료 의존도로 인해 지역과 시기에 따라 탄소 강도가 최대 10 배까지 크게 변동합니다.
• 모델 이질성: 에너지 소비량은 아키텍처 선택, 매개변수 확장, 토큰 생성 패턴에 따라 극적으로 달라집니다.
• 목표 불일치: 금전적 비용이나 지연 시간만을 최적화하는 것은 여러 모델이 동등한 정확도를 제공할지라도, 트래픽을 고탄소 기간이나 탄소 집약적 지역으로 체계적으로 유도할 수 있습니다.

현재 시스템은 탄소 배출을 주로 사후 측정 및 보고를 통해 처리하며, 탄소 최소화를 공식적인 서비스 수준 보장 (SLO) 과 함께 주요 최적화 목표로 삼는 실시간 요청 단위 라우팅 결정은 결여되어 있습니다.

2. 방법론: 그린 인식 라우팅 (GAR)

본 논문은 명시적인 정확도 하한선과 p95 지연 시간 서비스 수준 목표 (SLO) 를 만족시키면서 요청 단위 CO2 배출을 최소화하도록 설계된 제약 다목적 최적화 프레임워크인 GAR을 소개합니다.

2.1 문제 공식화

시간 $t$에 도착하는 쿼리 $x$에 대해, 라우터는 모델 풀 $\mathcal{M}$을 관리합니다. 추론 전에 시스템은 다음에 대한 경량 예측을 생성합니다:

• 정확도 ($\hat{p}_m$): 정답일 확률.
• 지연 시간 ($\hat{\ell}_{m,p95}$): 추정된 p95 응답 시간.
• 배출량 ($\hat{c}_m$): 추정된 CO2 로, $energy(m, tokens) \times grid\_intensity(t, region)$으로 계산됩니다.

프레임워크는 데이터셋별 정확도 하한선 $\tau_d(x)$와 p95 지연 시간 목표 $L$을 만족하는 모든 모델을 포함하는 실행 가능 집합 $F(x, t)$을 정의합니다. 이 집합 내에서 라우터는 예측된 배출량을 최소화하는 모델을 선택합니다. 견고성을 보장하기 위해 탄소 및 지연 시간 예측치에 안전 마진을 적용합니다.

2.2 롤링 탄소 예산

스트리밍 워크로드의 경우, GAR 는 최근 $W$개 요청에 대한 실현된 배출량의 슬라이딩 윈도우를 유지합니다. 이는 평균 배출량이 요청 단위 예산 $B$ 내에 유지되도록 하여 장기적인 탄소 부채 축적을 방지하면서도 단기적인 유연성을 허용합니다.

2.3 알고리즘 및 정책

본 논문은 이 프레임워크를 운영화하기 위한 여러 전략을 제안합니다:

• GAR-PD (온라인 원 - 쌍대): Shalev-Shwartz & Singer(2007) 에서 영감을 받아 탄소 인식 라우팅을 온라인 라그랑주 문제로 취급하는 알고리즘입니다. 제약 조건 충족과 환경 최적화 사이의 균형을 맞추기 위해 쌍대 변수 $\lambda_t$(그림자 가격) 를 사용합니다. 선택 목표는 품질 손실, 지연 시간, 탄소 배출량의 가중합을 최소화하며, 실현된 배출량의 롤링 윈도우 합에 기반하여 동적으로 업데이트됩니다.
• GAR-Fixed: 요청 단위 탄소 상한선을 강제로 적용합니다. 상한선이 실행 가능 집합을 비어 있게 만들 경우, 사용 가능한 최저 탄소 모델로 대체합니다.
• GAR-$\epsilon$: 실행 가능 집합 내 최고 성능 모델의 정확도 허용 오차 $\epsilon$ 내에서 정확도를 유지하면서 탄소를 최소화합니다.
• GAR-Target: 이진 탐색을 통해 데이터셋별 목표 정확도 하한선을 설정하여 원하는 거시 정확도 수준에 맞추고, 이러한 목표를 충족하는 최저 탄소 모델로 라우팅합니다.

2.4 구현 세부 사항

이 프레임워크는 역사적 데이터에 기반하여 훈련된 경량 사전 라우팅 추정기에 의존합니다 (정확도는 로지스틱 회귀, 지연 시간은 양분위수 회귀, 탄소는 선형 모델을 사용). 이러한 예측기는 병렬로 실행되어 쿼리당 1 밀리초 미만에 완료되므로, 추가 추론 패스 없이 실시간 의사 결정을 가능하게 합니다.

3. 주요 기여

1. 공식화: 본 논문은 탄소 인식 라우팅을 제약 다목적 최적화 문제로 공식화하여, 공식적인 품질 보장을 갖춘 LLM 서빙에서 요청 단위 CO2 최소화를 위한 최초의 원칙적 프레임워크를 제공합니다.
2. 알고리즘 개발: 롤링 탄소 예산을 위한 실용적인 온라인 원 - 쌍대 라우팅 알고리즘인 GAR-PD와 다양한 배포 시나리오를 위한 휴리스틱 변형 (GAR-Fixed, GAR-$\epsilon$, GAR-Target) 을 개발했습니다.
3. 적응형 최적화: 저자들은 정확도 저하를 제한하면서 높은 실행 가능성 범위를 달성하는 적응형 제약 최적화 기법을 확립하여, 사용자 경험을 훼손하지 않고 상당한 배출량 감소를 가능하게 했습니다.
4. 실증적 검증: 이질적인 LLM 풀 (7B~70B) 을 사용한 표준 NLP 벤치마크 (MMLU, HellaSwag, GSM8K, WinoGrande, SQuAD, ARC) 에 대한 포괄적인 실험을 통해 프레임워크의 효과성을 입증했습니다.

4. 실험 결과

평가에서는 GAR 를 규칙 기반 베이스라인 (가장 큰/작은 LLM), 정확도 최적화 베이스라인 (AccMax), 그리고 오라클 상한선과 비교했습니다.

• 성능 트레이드오프: GAR-PD 는 0.737의 거시 정확도와 0.712 g CO2/요청을 달성했습니다.
  • 가장 큰 LLM(0.741 정확도, 2.750 g/요청) 과 비교할 때, GAR-PD 는 동등한 정확도를 유지하면서 배출량을 74% 감소시켰습니다.
  • 가장 작은 LLM(0.592 정확도, 0.476 g/요청) 과 비교할 때, GAR-PD 는 modest 한 탄소 증가로 정확도를 15 퍼센트 포인트 향상시켰습니다.
  • GAR-PD 는 최적 해 (Oracle-Feasible) 의 최소 **97%**를 달성합니다.
• Ablation 연구: 구성 요소를 제거하면 성능이 크게 저하됩니다:
  • 탄소 추정기를 제거하면 배출량이 152% 증가합니다 (1.794 g/요청).
  • 실행 가능성 게이트를 제거하면 정확도가 9.5 포인트 하락하고 CO2 는 23% 상승합니다.
  • 지연 시간 추정기를 제거하면 평균 지연 시간이 147% 급증하여 SLO 를 위반합니다.
• 파레토 최적성: GAR-PD 는 정확도-CO2 트레이드오프 프론티어에서 강력한 위치를 차지하며, 실용성을 유지하면서 파레토 프론티어를 밀접하게 추적합니다.

5. 중요성과 주장

본 논문은 GAR 가 지속 가능한 LLM 추론을 위한 실용적이고 이론적으로 기반을 둔 접근법을 제공한다고 주장합니다. 탄소를 사후 고려 사항이 아닌 주요 최적화 목표로 취급함으로써, 이 프레임워크는 서비스 품질이나 신뢰성을 희생하지 않고 AI 인프라의 탄소 발자국을 크게 줄일 수 있음을 입증합니다.

저자들은 이 연구를 기초 연구로 위치 짓습니다. 그들은 명시적으로 한계를 인정하며, 탄소 강도 모델링이 공개적으로 이용 가능한 그리드 데이터에 의존하는데 이는 실시간 조건보다 몇 시간 늦을 수 있으며, 현재 프레임워크는 금전적 비용 고려사항을 제외한다고 명시합니다. 향후 연구로는 실시간 탄소 API 통합, 프레임워크를 학습 시간 시나리오로 확장, 그리고 동적 모델 앙상블 관리 조사를 제안합니다.