OrchestrRL: Dynamic Compute and Network Orchestration for Disaggregated RL

이 논문은 RL 의 분해된 생성 및 학습 단계에서 발생하는 컴퓨팅 불균형과 동적 네트워크 트래픽 문제를 해결하기 위해, 적응형 컴퓨팅 스케줄러와 온디맨드 대역폭 재구성이 가능한 광-전기 RFabric 을 도입하여 처리량을 1.42 배까지 향상시킨 'OrchestrRL' 시스템을 제안합니다.

핵심

1. 배경: AI 학습은 왜 어려울까요?

AI 가 글을 쓰거나 문제를 풀기 위해 학습할 때, 두 가지 큰 일을 반복합니다.

1. 생성 (Generation): AI 가 아직 답을 모르는 상태에서 여러 가지 가능성을 생각해 내는 일 (예: "이런 답은 어떨까?").
2. 학습 (Training): 그 생각들을 검토하고, 틀린 것은 고쳐서 AI 의 지식을 업데이트하는 일.

기존 방식은 이 두 일을 서로 다른 팀 (컴퓨터 그룹) 에게 맡겼습니다. 하지만 여기서 두 가지 큰 문제가 생깁니다.

• 문제 1: 불균형한 작업량 (생성 팀의 지옥)
  • 비유: 한 식당에서 요리사 (생성 팀) 가 주문을 받습니다. 어떤 손님은 간단한 수프를 시키고, 어떤 손님은 3 시간 걸리는 스테이크를 시킵니다.
  • 현실: AI 가 짧은 문장을 만들 때는 금방 끝내지만, 긴 문장을 만들 때는 시간이 아주 오래 걸립니다. 그런데 모든 요리사가 같은 속도로 일하도록 고정해 두면, 긴 문장을 만드는 요리사만 남아서 전체 식당이 멈춰버립니다.
• 문제 2: 꽉 막힌 도로 (네트워크 문제)
  • 비유: 요리사들이 서로 재료를 주고받거나, 사장님 (학습 팀) 에게 보고할 때 사용하는 도로입니다.
  • 현실: 이 도로는 항상 똑같은 형태로 되어 있습니다. 하지만 때로는 모든 요리사가 한꺼번에 재료를 주고받아야 할 때 (학습 단계) 도로가 꽉 막히고, 때로는 각자 조용히 일할 때 (생성 단계) 도로는 텅 비게 됩니다. 고정된 도로는 이런 변화를 따라가지 못해 비효율적입니다.

---

2. 해결책: OrchestrRL(오케스트라-RL) 이란?

이 시스템은 컴퓨터 (연주자) 와 네트워크 (도로) 를 동시에 지휘하는 '지휘자' 역할을 합니다.

① 컴퓨터 지휘: "상황에 따라 팀을 바꿔라!" (Adaptive Compute)

기존에는 "무조건 8 명씩 짝을 지어 일해"라고 고정해 두었습니다. 하지만 OrchestrRL 은 실시간으로 상황을 봅니다.

• 비유:
  • 초반 (짧은 문장): "여러분, 8 명씩 짝을 지어 한 번에 많은 양을 빠르게 처리합시다!" (병렬 처리를 늘림)
  • 후반 (긴 문장): "아, 긴 문장이 남았네요. 8 명을 2 명씩 작은 팀으로 나누어 하나하나 정성껏 처리합시다!" (병렬 처리를 줄임)
  • 지체자 구제: 어떤 요리사가 너무 느리게 일하면, 그 옆의 여유 있는 요리사가 그 일을 도와주거나 다른 일을 맡깁니다.
• 효과: AI 가 문장을 만드는 시간을 최소화해서, 전체 학습 속도가 빨라집니다.

② 네트워크 지휘: "필요할 때 도로를 재배치하라!" (RFabric)

이 시스템은 빛 (Optical) 과 전기 (Electrical) 를 섞어 만든 똑똑한 도로를 사용합니다.

• 비유:
  • 학습 단계 (대량 이동): 모든 요리사가 사장님과 긴밀하게 소통해야 할 때, **고속도로 (광케이블)**를 바로 연결해서 대량의 데이터를 쏘아보냅니다.
  • 생성 단계 (개별 작업): 각 요리사가 혼자 일할 때는 일반 도로만 사용합니다.
  • 데이터 동기화: 학습된 지식을 공유할 때는, 일시적으로 도로를 재배치해서 나무 모양의 구조로 만들어 데이터를 한 번에 뿌려줍니다.
• 핵심: 도로를 재배치하는 데 시간이 걸리지만, **아무도 일하지 않는 '휴식 시간' (Slack)**을 찾아서 그 시간에 도로를 바꿉니다. 그래서 실제 작업 속도는 느려지지 않습니다.

---

3. 결과: 얼마나 빨라졌나요?

이 시스템을 실험해 보니 놀라운 결과가 나왔습니다.

• 속도: 기존 방식보다 최대 1.42 배 더 빠른 속도로 AI 를 학습시킬 수 있었습니다. (비유: 1 시간 걸리던 일을 40 분 만에 끝낸 것)
• 비용: 같은 성능을 내더라도, 비싼 도로 장비를 덜 써도 되어 비용 효율이 1.5 배~2 배 더 좋아졌습니다.

4. 한 줄 요약

OrchestrRL은 AI 학습 과정에서 "일하는 사람 (컴퓨터) 의 속도가 다르고, 서로 주고받는 말 (데이터) 의 양이 제각각"이라는 문제를 해결하기 위해, 상황에 따라 팀 구성을 바꾸고, 필요할 때만 도로를 재배치하는 똑똑한 지휘 시스템입니다.

이 덕분에 AI 는 더 적은 비용으로, 더 빠르게 똑똑해질 수 있게 되었습니다.

기술 요약

OrchestrRL: 분해된 강화학습 (Disaggregated RL) 을 위한 동적 컴퓨팅 및 네트워크 오케스트레이션

이 논문은 대규모 언어 모델 (LLM) 의 후속 학습 (Post-training) 에 널리 사용되는 분해된 강화학습 (Disaggregated RL) 아키텍처의 성능 병목 현상을 해결하기 위해 제안된 OrchestrRL 시스템을 소개합니다. OrchestrRL 은 컴퓨팅 자원 (GPU) 의 할당과 네트워크 토폴로지를 동적으로 조정하여 RL 워크플로우의 전반적인 처리량 (Throughput) 을 극대화하고 비용을 절감합니다.

---

1. 문제 정의 (Problem)

분해된 RL 아키텍처는 샘플 생성 (Generation/Roll-out) 과 모델 학습 (Training) 단계를 별도의 GPU 클러스터에서 비동기적으로 실행하여 확장성을 높입니다. 그러나 기존 시스템은 두 가지 주요 비효율성에 직면해 있습니다.

1. 생성 단계의 병목 현상 (Generation Bottleneck):

   • 동적 워크로드 변화: 생성 단계는 단일 스텝 내에서도 초기에는 짧은 생성이 많다가, 후반부에는 긴 꼬리 (Long-tail) 를 가진 몇 개의 응답이 남는 등 워크로드가 급격히 변합니다. 또한 학습이 진행됨에 따라 응답 길이 분포 자체가 변화합니다.
   • 고정된 병렬화 전략: 기존 시스템은 정적 (Static) 이거나 수동 튜닝된 병렬화 설정 (TP, DP 등) 을 사용합니다. 이는 초기 단계에는 효율적일 수 있으나, 워크로드가 변하면 비효율적이 되어 특정 GPU 들이 지연 (Straggler) 을 유발하고 전체 스텝 완료 시간 (Makespan) 을 증가시킵니다.
   • 부하 불균형: 예측 불가능한 출력 길이와 KV-cache 수요 차이로 인해 일부 GPU 는 과부하가 걸리고 다른 GPU 는 유휴 상태가 됩니다.

2. 네트워크 패브릭의 불일치 (Network Fabric Mismatch):

   • 다양한 트래픽 패턴: 학습 단계는 대규모 집단 통신 (All-reduce, All-to-all 등) 이 필요하고, 생성 단계는 이진 분할 (Bipartite) 이나 국소적 통신 패턴을 보입니다. 또한 두 단계 간의 주기적인 가중치 동기화는 매우 버스트 (Bursty) 한 트래픽을 발생시킵니다.
   • 정적 네트워크의 한계: 기존의 정적 패브릭 (예: Fat-Tree) 은 최악의 경우 트래픽을 처리하도록 설계되어 비용이 많이 들고, 다양한 단계별 통신 패턴에 맞춰 대역폭을 유연하게 할당하지 못해 혼잡이 발생합니다.

---

2. 방법론 (Methodology)

OrchestrRL 은 컴퓨팅과 네트워크를 통합적으로 최적화하는 동적 오케스트레이션 시스템입니다.

A. 동적 컴퓨팅 오케스트레이션 (Adaptive Compute Orchestration)

생성 단계의 병목 현상을 해결하기 위해 두 가지 수준의 메커니즘을 사용합니다:

1. 사전 계획형 프로액티브 플래닝 (Proactive Planning):
   • 각 생성 스텝 내에서 남은 워크로드 (대기 중인 요청들의 길이 분포) 를 예측합니다.
   • ARIMA 모델을 사용하여 남은 요청의 길이를 예측하고, 이를 기반으로 **남은 작업의 완료 시간 (Makespan) 을 최소화하는 최적의 병렬화 구성 (TP, EP, AFD 등)**을 주기적으로 계산합니다.
   • 재구성 비용 (모델 가중치 재할당, KV-cache 이동 등) 이 예상 이득보다 작을 때만 구성을 변경합니다.
2. 반응형 리액티브 밸런싱 (Reactive Balancing):
   • 예측 불가능한 출력 길이로 인한 단기적 불균형을 해결합니다.
   • 각 워커의 혼잡도 (Queue 길이, KV-cache 여유분, 디코딩 속도) 를 기반으로 **로드 인덱스 (Load Index)**를 계산합니다.
   • 혼잡한 워커에서 여유 있는 워커로 요청을 경량화하여 마이그레이션하여 지연 (Stragglers) 을 줄입니다.

B. 동적 네트워크 오케스트레이션 (RFabric)

워크로드의 시공간적 특성에 맞춰 네트워크 토폴로지를 재구성하는 하이브리드 광전 (Optical-Electrical) 패브릭인 RFabric을 도입합니다.

• 구조:
  • 접근 계층 (Access Layer): 서버와 ToR(Top-of-Rack) 스위치 간은 고정된 전기적 (EPS) 연결을 유지하여 지연 민감 트래픽을 처리합니다.
  • 집합 및 코어 계층 (Aggregation & Core Layers): ToR 위층과 PoD 간 연결에는 **가변 광회로 스위치 (OCS)**를 사용합니다.
• 단계별 토폴로지 재구성:
  • 학습 (Train): 고대역폭 집단 통신을 지원하기 위해 PoD 내부 및 PoD 간에 고분할 (High-bisection) 메쉬 토폴로지를 구성합니다.
  • 생성 (Gen): 국소적 통신 패턴에 맞춰 PoD 내부를 격리하고, PoD 간 연결은 최소화하여 불필요한 코어 대역폭 할당을 방지합니다.
  • 가중치 동기화 (Weight Sync): 대용량 데이터 전송을 위해 트리 (Tree) 형태의 브로드캐스트 토폴로지를 일시적으로 구성합니다.
• 슬랙 (Slack) 인식 오케스트레이션:
  • 통신이 없는 "여유 시간 (Slack)"을 감지하여 OCS 재구성을 수행합니다. 생성 단계의 지연 민감 구간에서는 재구성을 피하고, 학습 단계나 동기화 구간에서는 재구성을 수행하여 성능 저하를 방지합니다.

---

3. 주요 기여 (Key Contributions)

1. 분해된 RL 워크로드의 체계적 분석: 생성 단계의 동적 워크로드 변화와 정적 네트워크 간의 불일치가 성능에 미치는 영향을 정량화했습니다.
2. OrchestrRL 시스템 제안:
   • 적응형 컴퓨팅 스케줄러: 동적 병렬화 전환과 온라인 부하 재분배를 통해 스텝 완료 시간을 단축합니다.
   • RFabric: 단계별 통신 패턴에 맞춰 온디맨드로 토폴로지를 구성하는 계층적 하이브리드 광전 패브릭을 설계했습니다.
3. 광범위한 평가:
   • 64 개의 NVIDIA H800 GPU 테스트베드에서 컴퓨팅 스케줄러를 평가했습니다.
   • 대규모 시뮬레이터 (RLSim) 를 통해 RFabric 의 성능과 비용 효율성을 검증했습니다.

---

4. 실험 결과 (Results)

A. 테스트베드 평가 (64 H800 GPU)

• 처리량 향상: OrchestrRL 은 기존 정적 베이스라인 (veRL-TO, veRL-LO 등) 대비 최대 1.42 배의 엔드투엔드 처리량 향상을 달성했습니다.
• 성능 기여도 분석:
  • 사전 계획형 프로액티브 플래닝만 적용 시 1.24 배 향상.
  • 반응형 리액티브 밸런싱만 적용 시 1.18 배 향상.
  • 두 기법을 결합했을 때 최대 성능 (1.42 배) 을 보였습니다.
• 케이스 스터디: 긴 꼬리 (Long-tail) 요청이 발생하는 시점에 병렬화 전략을 동적으로 변경 (예: TP=2 에서 TP=8 로 전환) 하여 전체 스텝 완료 시간을 단축했습니다.

B. 대규모 시뮬레이션 (RLSim)

• 성능: RFabric 은 이상적인 비차단 (Non-blocking) Fat-Tree 네트워크와 유사한 성능을 유지하면서도, 기존 광학 기반 설계 (MixNet, TopoOpt 등) 보다 우수한 성능을 보였습니다.
• 비용 효율성:
  • RFabric 은 정적 Fat-Tree 대비 1.53 배~2.06 배의 비용 효율성 (Performance-Cost Efficiency) 향상을 달성했습니다.
  • 성능 - 비용 파레토 프론티어 (Pareto Frontier) 상에서 다른 모든 대안보다 우월한 위치를 차지했습니다.
• 단계별 성능: 학습, 생성, 가중치 동기화 모든 단계에서 RFabric 이 최적의 대역폭을 제공하여 전체 RL 루프 시간을 단축했습니다.

---

5. 의의 및 결론 (Significance)

OrchestrRL 은 분해된 RL 시스템의 핵심 병목 현상인 동적 워크로드 처리와 네트워크 자원 할당 문제를 통합적으로 해결한 최초의 시스템입니다.

• 시스템 설계의 패러다임 전환: 단순히 하드웨어를 늘리는 것이 아니라, 워크로드의 변화에 맞춰 컴퓨팅 전략과 네트워크 토폴로지를 실시간으로 재구성하는 동적 오케스트레이션의 중요성을 입증했습니다.
• 비용 절감: 고가의 네트워크 장비 (비차단 Fat-Tree) 를 사용하지 않고도, OCS 를 활용한 동적 재구성을 통해 동등하거나 더 나은 성능을 달성함으로써 대규모 LLM 학습 인프라의 TCO(총 소유 비용) 를 크게 절감할 수 있음을 보였습니다.
• 확장성: MoE(Mixture-of-Experts) 모델과 같은 차세대 아키텍처에서도 유연하게 적용 가능한 확장 가능한 솔루션을 제시했습니다.

결론적으로, OrchestrRL 은 차세대 대규모 언어 모델 학습 인프라의 표준 아키텍처로 자리 잡을 수 있는 강력한 기반을 제공합니다.