Learning to Score: Tuning Cluster Schedulers through Reinforcement Learning

이 논문은 클러스터 스케줄러의 점수 함수 가중치를 강화학습으로 자동 조정하여 다양한 워크로드와 클러스터 환경에서 작업의 종단간 성능을 평균 33% 향상시키는 방법을 제안합니다.

핵심

이 논문은 **"거대한 데이터 센터의 교통 체증을 해결하는 똑똑한 AI 조종사"**에 대한 이야기입니다.

한마디로 요약하자면, **"어떤 일을 어디에 시킬지 정하는 규칙의 중요도 (가중치) 를 AI 가 스스로 학습해서, 기존에 사람이 수동으로 설정하던 방식보다 훨씬 효율적으로 만들어냈다"**는 것입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 상황: 거대한 물류 창고와 택배 기사들

생각해 보세요. 거대한 물류 센터 (클러스터) 가 있고, 수천 개의 택배 (작업/Job) 가 쏟아져 들어옵니다. 이 센터에는 다양한 트럭 (노드/서버) 들이 있습니다. 어떤 트럭은 크고 빠르고 (고성능 서버), 어떤 트럭은 작고 느립니다 (에지 디바이스).

이때 **스케줄러 (Schedular)**는 "어떤 택배를 어떤 트럭에 실을지" 결정하는 교통 통제관입니다.

2. 문제점: "한 가지 규칙으로 모두 재단하다"

지금까지의 교통 통제관들은 택배를 배정할 때 몇 가지 규칙을 따랐습니다.

• 규칙 A: 트럭이 비어있는 곳으로 보내기 (빈 공간 활용)
• 규칙 B: 트럭이 가득 찬 곳으로 보내기 (공간 절약)
• 규칙 C: 택배와 트럭이 같은 지역에 있는지 확인 (거리 단축)

여기서 문제가 생깁니다.
기존 방식은 이 모든 규칙에 **동일한 점수 (가중치)**를 매겼습니다. 마치 "비어있는 곳도 중요하고, 가득 찬 곳도 중요하고, 거리도 중요하니까 모두 100 점!"이라고 하는 것과 같습니다.

하지만 상황에 따라 중요도는 달라야 합니다.

• **비상구급차 (긴급 작업)**가 오면 '거리'가 가장 중요하고, '빈 공간'은 덜 중요할 수 있습니다.
• **대량 화물 (배치 작업)**이 오면 '공간 절약'이 가장 중요할 수 있습니다.

그런데 통제관 (스케줄러) 이 이 차이를 모르고 똑같은 기준으로 판단하니, 트럭이 비효율적으로 배정되어 전체 배송 속도가 느려지고 트럭이 비어있는 시간도 길어집니다.

3. 해결책: "경험을 배우는 AI 조종사 (강화 학습)"

이 논문은 이 문제를 해결하기 위해 **강화 학습 (Reinforcement Learning)**이라는 AI 기술을 도입했습니다.

• 기존 방식 (사람이 설정): 전문가가 "이번 달에는 '거리' 점수를 80 점으로, '빈 공간' 점수를 20 점으로 해라"라고 수동으로 설정합니다. 하지만 매번 상황이 바뀌는데 일일이 다 맞춰주기엔 너무 어렵고 비쌉니다.
• 새로운 방식 (AI 가 학습): AI 조종사를 훈련시킵니다.
  1. AI 는 다양한 상황 (서버 종류, 택배 종류) 을 경험합니다.
  2. 매번 규칙의 점수를 조금씩 바꿔가며 (예: 거리 점수를 90 점으로, 빈 공간 점수를 10 점으로) 택배를 배정해 봅니다.
  3. 결과가 좋으면 (배송이 빨라지면) "잘했다!"라고 칭찬 (보상) 하고, 나쁘면 "다시 해봐"라고 합니다.
  4. 이 과정을 반복하며 AI 는 "어떤 상황에서는 어떤 규칙이 가장 중요한지" 스스로 깨닫게 됩니다.

4. 이 연구의 핵심 기술 (세 가지 비밀 무기)

이 AI 가 잘 학습할 수 있도록 세 가지 특별한 기술을 썼습니다.

1. 비율 개선 보상 (Percentage Improvement Reward):

   • 단순히 "좋다/나쁘다"가 아니라, "기존 방식보다 얼마나 더 좋아졌는지"를 기준으로 점수를 줍니다.
   • 비유: "오늘 배달이 어제보다 10 분 빨라졌으면 점수 10 점!"이라고 해서, AI 가 항상 더 나은 방법을 찾게 유도합니다.

2. 프레임 스택킹 (Frame Stacking):

   • AI 가 과거의 실패와 성공 경험을 기억하게 합니다.
   • 비유: 체스 선수가 "어제 이 수를 썼다가 졌지, 그래서 오늘은 저 수를 써야겠다"라고 과거의 몇 판을 기억하며 다음 수를 두는 것과 같습니다.

3. 정보 제한 (Limiting Domain Information):

   • AI 가 특정 상황에만 맞춰서 학습하는 것 (과적합) 을 막기 위해, 너무 구체적인 정보 (예: "이 서버는 3 번 노드다") 는 숨기고, 큰 그림 (예: "이 서버는 고성능이다") 만 보게 합니다.
   • 비유: "서울의 A 번 도로만 알고 있는 운전사"가 아니라, "고속도로를 잘 달리는 운전사"로 키우기 위해, 구체적인 도로 이름보다는 '교통 흐름' 같은 원리만 가르치는 것입니다. 이렇게 하면 새로운 도시 (새로운 서버 환경) 에 가도 잘 운전할 수 있습니다.

5. 결과: 얼마나 좋아졌을까?

실험 결과, 이 AI 방식을 적용한 스케줄러는 다음과 같은 성과를 냈습니다.

• 고정된 규칙 (기존 방식) 대비 33% 더 빠르고 효율적이었습니다.
• 기존에 가장 잘하던 자동화 방법 대비 12% 더 성능이 좋았습니다.

6. 결론

이 연구는 **"하나의 규칙으로 모든 상황을 해결하려는 옛날 방식"**을 버리고, **"상황을 보고 스스로 적응하는 똑똑한 AI"**를 도입함으로써, 데이터 센터의 자원 낭비를 줄이고 작업 처리 속도를 획기적으로 높일 수 있음을 증명했습니다.

마치 매번 교통 상황을 보고 신호등 시간을 자동으로 조절하는 똑똑한 교통 시스템이 생겼다고 생각하시면 됩니다. 이제 더 이상 사람이 일일이 신호등 시간을 조절할 필요가 없게 된 셈입니다.

기술 요약

논문 요약: 강화 학습을 통한 클러스터 스케줄러 점수 가중치 학습

1. 문제 정의 (Problem)

대규모 클러스터 환경에서 들어오는 작업 (Job) 을 노드에 효율적으로 할당하는 것은 클러스터 활용률과 작업 성능을 극대화하는 핵심 요소입니다. 현대 클러스터 오케스트레이션 시스템 (예: Kubernetes) 은 일반적으로 **필터링 (Filtering)**과 **점수 매기기 (Scoring)**의 2 단계 프로세스를 사용합니다.

• 필터링: 하드 제약 조건 (리소스 용량, 네트워크 토폴로지 등) 을 만족하는 노드를 선별합니다.
• 점수 매기기: 선별된 노드들에 대해 다양한 점수 함수 (Scoring Functions) 를 적용하여 가중 합산 점수를 계산하고, 가장 높은 점수를 받은 노드에 작업을 할당합니다.

주요 문제점:

• 균등 가중치 (One-size-fits-all): 기존 시스템은 일반적으로 각 점수 함수의 가중치를 동일하게 설정하거나, 수동으로 고정된 가중치를 사용합니다. 이는 다양한 워크로드 특성과 클러스터 구성을 고려하지 못해 최적의 배포를 방해합니다.
• 수동 튜닝의 한계: 가중치를 최적화하려면 전문가의 지식과 막대한 계산 비용이 필요하며, 블랙박스 최적화 기법 (랜덤 서치, 베이지안 최적화 등) 은 고차원 문제와 평가 비용으로 인해 수렴 속도가 느리고 일반화 능력이 부족합니다.

2. 제안된 방법론 (Methodology)

이 논문은 작업 스케줄러의 점수 함수 가중치를 자동으로 학습하기 위해 강화 학습 (Reinforcement Learning, RL) 기반 접근법을 제안합니다. 이 접근법은 다음 세 가지 핵심 아이디어에 기반합니다.

A. 강화 학습 문제 형식화

• 상태 (State):
  • 정적: 클러스터 구성 (머신 유형, 수), 워크로드 특성 등.
  • 동적: 지금까지 탐색한 '가중치 - 보상' 쌍의 인코딩 정보.
• 행동 (Action): 각 점수 함수에 할당할 가중치 벡터.
• 보상 (Reward): 정의된 메트릭 (실행 시간, 대기 시간 등) 에 대한 백분율 개선률 (Percentage Improvement Reward).
  • 단일 실험 내에서 초기 기본 설정 대비 가장 큰 개선률을 보인 시점에 보상을 부여하여, 다단계 파라미터 튜닝 목표를 달성하도록 유도합니다.

B. 핵심 기술 요소

1. 백분율 개선 보상 (Percentage Improvement Reward): 초기 메트릭 값에 의존하지 않고 개선율 자체를 최적화하여 실험 간 정규화를 가능하게 하고 탐색을 장려합니다.
2. 프레임 스택킹 (Frame Stacking): 과거의 탐색 이력 (행동과 보상 쌍) 을 상태에 명시적으로 포함시켜, 에이전트가 장기적인 최적화 맥락을 이해하도록 합니다. (또는 순환 신경망 (RNN) 을 활용한 정책 사용)
3. 도메인 정보 제한 (Limiting Domain Information): 과적합 (Overfitting) 을 방지하고 보지 못한 환경에 대한 일반화 성능을 높이기 위해, 상태 입력에 포함되는 정적 도메인 정보 (클러스터/워크로드 상세 정보) 를 제한하거나 단순화합니다.

C. 구현 프레임워크

• SAC (Soft Actor-Critic): 엔트로피 정규화를 통해 탐색 (Exploration) 과 활용 (Exploitation) 의 균형을 잘 맞추고 국소 최적점에 빠지지 않도록 설계된 최신 RL 알고리즘을 사용합니다.
• Gym Wrapper: FaaS (Function as a Service) 벤치마크 시뮬레이터 (faas-sim) 를 RL 환경으로 감싸서 상호작용을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. RL 기반 형식화: 점수 함수 가중치 튜닝 문제를 다단계 강화 학습 문제로 성공적으로 형식화했습니다.
2. 새로운 RL 전략: 백분율 개선 보상, 프레임 스택킹, 도메인 정보 제한을 결합하여 과적합을 줄이고 일반화 성능을 높이는 새로운 RL 아키텍처를 제안했습니다.
3. 광범위한 평가: 이질적인 FaaS 시스템에서 다양한 클러스터 설정과 워크로드에 대해 가중치 튜닝을 수행하고, 기존 기법 대비 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

저자는 Skippy 스케줄러와 faas-sim 시뮬레이터를 사용하여 다양한 이질적인 하드웨어 (Cloud CPU/GPU, Edge devices 등) 와 네트워크 토폴로지 환경에서 실험을 수행했습니다.

• 비교 대상: 고정 가중치 (Fixed), 랜덤 서치 (RS), 베이지안 최적화 (BO), 트리 구조 파라젠 추정기 (TPE).
• 성능 향상:
  • 고정 가중치 대비: 평균 33% 성능 향상.
  • 최고 성능 베이스라인 (BO/TPE 등) 대비: 평균 12% 성능 향상.
• 일반화 능력 (Generalization):
  • 학습에 사용되지 않은 새로운 클러스터 구성 (예: Edge GPU, Hybrid Balanced 등) 과 워크로드에서도 기존 베이스라인을 능가하는 성능을 보여주었습니다.
  • RL 에이전트는 환경에 따라 점수 함수의 중요도 (가중치) 를 동적으로 조정하는 것을 학습했습니다 (예: 일부 실험에서는 'Locality' 가중치를 높게 설정하는 등).

5. 의의 및 결론 (Significance)

• 실용성: 기존 스케줄링 인프라를 대체하지 않고, 기존 알고리즘의 파라미터 (가중치) 만을 동적으로 튜닝하므로 도입 장벽이 낮습니다.
• 자동화 및 적응성: 수동 튜닝의 필요성을 없애고, 워크로드와 클러스터 환경의 변화에 실시간으로 적응하여 최적의 할당 전략을 제공합니다.
• 일반화: 학습된 정책이 훈련 데이터와 다른 unseen 환경에서도 효과적으로 작동함을 입증하여, 다양한 클라우드 및 엣지 컴퓨팅 환경에 적용 가능한 강력한 솔루션임을 보였습니다.

이 연구는 복잡한 클러스터 스케줄링 문제를 해결하기 위해 강화 학습을 효과적으로 적용한 사례로, 특히 다단계 파라미터 최적화와 일반화 문제 해결에 있어 중요한 통찰을 제공합니다.