Adaptive constrained reinforcement learning for energy-aware scheduling under changing load

기술 요약: 에너지 인지형 스케줄링을 위한 적응형 제약 조건 강화 학습

문제 정의
에너지 인지형 스케줄러는 두 가지 상충하는 목표, 즉 에너지 소비 최소화와 응답성 유지(지연 시간 목표 또는 SLO 준수) 사이에서 균형을 잡아야 합니다. 최근 문헌의 지배적인 접근 방식은 이러한 목표들을 하나의 가중치 보상(예: 에너지와 지연 시간 페널티의 가중 합)으로 스칼라화하여 이 트레이드오프를 학습하기 위해 강화 학습(RL)을 사용합니다.

저자들은 이러한 스칼라화된 접근 방식의 결정적인 구조적 결함인 **운영 지점 드리프트(operating-point drift)**를 식별했습니다. 고정된 보상 가중치는 특정 트레이드오프에 대응하지만, 그 결과로 나타나는 운영 지점(에너지 대 지연 시간의 실제 균형)은 워크로드가 변화함에 따라 안정적이지 않고 이동합니다.

• 경부하(Light load) 시: 고정된 가중치는 종종 프로세서를 필요 이상으로 빠르게 구동시켜, 지연 시간 예산이 과도하게 남게 되어 에너지를 낭비하게 만듭니다.
• 중부하(Heavy load) 시: 동일한 가중치는 충분한 속도를 제공하지 못해, 시스템이 지연 시간 목표치를 조용히 초과하게 만들고 위반 사례를 누적시킵니다.
  결과적으로, 변화하는 부하 범위 전반에 걸쳐 특정 위반 목표를 유지할 수 있는 단일 고정 가중치는 존재하지 않습니다.

방법론: CLASP
본 논문은 지연 시간 위반율을 보상의 구성 요소가 아닌 명시적인 제약 조건으로 취급하는 스케줄러인 CLASP(Constrained Lagrangian Adaptive Scheduling Policy)를 소개합니다. 이 방법은 제약 조건이 있는 강화 학습을 스케줄링에 적용할 때 발생하는 두 가지 주요 과제, 즉 dual variable 업데이트의 민감도와 워크로드의 비정상성(non-stationarity) 문제를 해결합니다.

1. 제약 조건 공식화: 문제는 제약 조건이 있는 마르코프 결정 과정(CMDP)으로 모델링됩니다. 목표는 장기적인 위반율이 목표치 $\epsilon$(예: 5%) 미만으로 유지된다는 제약 조건 하에서 기대 전력을 최소화하는 것입니다.
2. 적응형 Dual 제어 (PID): 라그랑주 승수(위반에 대한 "가격")를 업데이트하기 위해 표준 경사 상승법(gradient ascent)을 사용하는 대신, CLASP는 비례-적분-미분(PID) 제어기를 채택합니다. 이 제어기는 관찰된 위반율과 목표치 사이의 오차를 바탕으로 가격 $\lambda$를 조정합니다. 이는 dual variable을 안정화하여 단순한 업데이트에서 흔히 발생하는 진동을 방지하고, 가격이 현재 부하에 필요한 값으로 정착할 수 있게 합니다.
3. 가격 컨디셔닝(Price Conditioning): 비정상적인 워크로드를 처리하기 위해, 학습된 정책은 현재의 제약 조건 압박(가격 $\lambda$)과 부하 추정치에 따라 조건화(conditioned)됩니다. 상태 공간은 현재 가격의 이산화된 빈(bin)으로 확장됩니다. 이를 통해 단일 정책이 가격 신호에 따라 자신의 행동(예: 더 보수적이거나 공격적으로 변함)을 조정할 수 있게 하며, 결과적으로 다양한 부하 상황에서 요구되는 전체 운영 지점 범위를 포괄할 수 있습니다.

주요 기여

• 드리프트 식별: 저자들은 스칼라화된 스케줄러의 운영 지점 드리프트를 정량화하여, 테스트된 가중치 탐색 범위 내에서 어떤 고정 가중치도 경부하에서 근포화 상태에 이르기까지 5% 위반 목표를 유지할 수 없음을 입증했습니다.
• 안정적인 Dual 업데이트: 라그랑주 승수를 위한 PID 제어기의 통합은 진동을 성공적으로 억제하고 가격이 현재 부하에 필요한 수준으로 수렴하도록 합니다.
• 정책 컨디셔닝: 가격에 따라 정책을 조건화하는 것이 단일 정책이 재학습 없이 다양한 부하에 대해 올바르게 작동하는 데 필수적임을 입증했습니다.

결과
실험은 조절 가능한 속도(DVFS 모델링)와 포아송 분포를 따르는 작업 도착을 가진 시뮬레이션된 단일 서버 환경에서 수행되었습니다.

• 목표 추적: CLASP는 1.5에서 3.0 jobs/step 사이의 도착 부하에 대해 5% 위반 목표를 성공적으로 추적했습니다. 포화에 가까운 부하(load 3.5)에서도 CLASP는 약 6.9%로 완만하게 성능이 저하된 반면, 고정 가중치 정책은 크게 드리프트되었습니다(예: 균형 잡힌 가중치는 위반율이 3%에서 31%로 급증).
• 에너지 효율성: "최고 속도로 실행(run-fastest)"하는 베이스라인(항상 규정을 준수하지만 에너지 효율은 낮음)과 비교했을 때, CLASP는 평균적으로 약 50% 적은 모델링 전력을 사용했습니다. 경부하에서는 최대 70%, 중부하에서는 약 20%의 절감 효과를 보였습니다.
• 비정상성 적응: 급격한 워크로드 변화가 있는 실험에서, PID 제어기는 온라인으로 가격을 조정하여 짧은 과도기를 거친 후 위반율을 다시 목표치로 되돌려 놓았습니다.
• 절제 연구(Ablation Studies): PID 제어기를 제거(가격 고정)하면 저부하에서는 과도하게 보수적인 동작을 보이고 고부하에서는 제약 위반이 발생했습니다. 가격 컨디셔닝을 제거하면 정책이 다양한 가격 수준에 적응하지 못해 심각한 드리프트가 발생했습니다. 두 구성 요소 모두가 필수적임이 확인되었습니다.

의의 및 주장
본 논문은 에너지 인-에이웨어 스케줄러를 학습하는 데 있어 핵심적인 어려움은 좋은 트레이드오프를 찾는 것이 아니라, 조건이 변함에 따라 선택한 트레이드오프를 안정적으로 유지하는 것이라고 주장합니다.

• 프레임워크의 전환: 이 연구는 "가중치를 튜닝하는 것"(취약한 트레이드오프를 인코딩함)에서 "결과를 추적하는 것"(제한된 위반율)으로의 패러다임 전환을 제안합니다.
• 제어 가능성: 서비스 목표를 명시적인 제약 조건으로 만들고 피드백 제어를 통해 그 가격을 조절함으로써, 운영 지점은 창발적이고 드리프트하는 양이 아니라 제어 가능한 양이 됩니다.
• 일반화 가능성: 저자들은 네트워크 어드미션 컨트롤이나 엣지 디바이스 전력 관리와 같이, 변화하는 조건 하에서 학습된 정책이 서비스 목표를 준수해야 하는 모든 곳에 이 패턴(스칼라화된 보상을 피드백 제어되는 가격을 사용하는 제약 조건 기반 공식으로 대체하는 것)이 적용될 수 있다고 제안합니다.

한계점
저자들은 결과가 단일 서버, 이산 시간 시뮬레이션 및 테이블형 Q-러닝 에이전트를 기반으로 했다는 점을 언급했습니다. 전력 값은 하드웨어에서 측정된 것이 아니라 모델링된 것입니다. 본 연구는 제약 메커니즘을 분리하여 다루었으므로, 향-후 하드웨어 테스트베드에서 이 접근 방식을 검증하고 딥 RL, 이기종 작업 및 다중 서버 환경으로 확장하는 연구가 필요합니다.