🤖 AI

Not Every Sync Is Safe: Calibrated DiLoCo Scheduling for Shared AI Infrastructure

이 논문은 버스트 예측(burst forecasting)과 엄격한 매치된 무작위 베이스라인(matched-random baselines)을 통합하는 것이 기존의 예측 없는 정책들과 비교하여 공유 AI 인프라에서의 SLO 위반을 어떻게 크게 줄일 수 있는지를 입증하는 보정된 스케줄링 프레임워크인 Workload-Aware DiLoCo(WA-DiLoCo)를 소개한다.

원저자: Maxwell Twelftree, David Lemphers, An-chi He, Yue Yang

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maxwell Twelftree, David Lemphers, An-chi He, Yue Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 바쁜 레스토랑 주방(AI 플릿/Fleet)을 운영하고 있다고 상상해 보세요. 이곳에서는 두 가지 매우 다른 활동이 동시에 일어나고 있습니다:

준비 팀 (학습/Training): 한 그룹의 셰프들이 거대하고 복잡한 레시피를 작업하고 있습니다. 그들은 요리의 맛을 보고, 향신료를 조절한 다음, 모든 사람이 레시피 카드를 업데이트할 수 있도록 헤드 셰프에게 변경 사항을 외쳐야 합니다. 이 외침은 "동기화(sync)"되는 순간에 일어납니다.
웨이터들 (서빙/Serving): 동시에 웨이터들은 완성된 음식을 가져가기 위해 주방으로 달려옵로 오고 있습니다. 이 고객들은 매우 참을성이 없습니다. 만약 음식이 너무 늦게 나오면 화를 냅니다(이것이 SLO 위반입니다).

문제점: "외치는 소리"가 "주문"을 방해한다

기존 방식에서는 셰프들이 정해진 타이머(예: 5분마다)에 맞춰 헤드 셰프에게 업데이트를 외쳤습니다. 주방에서 무슨 일이 일어나고 있든 상관없이 말이죠.

이 논문은 DiLoCo라고 불리는 새로운 방법을 소개합니다. 셰프들이 매 5분마다 외치는 대신, 한동안 조용히 각자 작업하다가 한꺼번에 외치는 방식입니다. 이는 시간을 절약해 줍니다.

하지만 여기 함정이 있습니다: 셰프들이 마침내 외칠 때(즉, "아우터 머지/Outer Merge"), 약 8초 정도의 시간이 걸립니다. 이 8초 동안 주방은 혼란에 빠집니다. 웨이터들은 음식을 가져갈 수 없고, 전화기는 계속 울려대며, 고객들은 화가 납니다.

핵적인 질문은 이것입니다: 언제 외치는 것이 안전할까?

만약 주문이 몰려드는 와중에 외친다면, 서비스 운영을 망치게 됩니다.
만약 주방이 한산할 때 외친다면, 아무도 눈치채지 못할 것입니다.

이전 연구들의 실수

이전 연구들은 최적의 외침 타이밍을 알아내려고 노력했습니다. 그들은 자신들의 "스마트한" 스케줄을 고정된 시간에 외치는 "멍청한" 스케줄과 비교했습니다. 그리고는 "우리 스마트 스케줄이 20% 더 낫다!"라고 주장했습니다.

저자들은 말합니다: "잠깐만요. 그것은 공정한 테스트가 아닙니다."

하루에 세 번의 외침이라는 예산이 있다고 가정해 봅시다.

멍청한 스케줄: 오전 9시, 오후 1시, 오후 5시에 외칩니다. (이 과정에서 피크 타임과 맞닥뜨릴 수도 있습니다.)
"스마트한" 스케줄: 피크 타임을 피하려고 노력합니다.
"매치드 랜덤(Matched Random)" (이 논문의 새로운 대조군): 이것은 이 논문의 비밀 병기입니다. 똑같은 세 번의 외침 예산을 사용하되, 이를 무작위 시간대에 배치합니다.

논문은 만약 당신의 "스치한" 스케줄이 동일한 횟수의 외침을 가진 무작위 스케줄보다 나은 성과를 내지 못한다면, 당신의 "스마트함"은 실제로 아무것도 하고 있는 게 아니라고 주장합니다. 당신은 그저 운이 좋았거나, 무작위 스케줄이 우연히 피크 타임을 피했을 뿐일 수도 있기 때문입니다.

해결책: "조율된(Calibrated)" 스케줄링

저자들은 WA-DiLoCo(Workload-Aware DiLoCo)라고 불리는 시스템을 구축했습니다. 이것은 두 가지를 살펴보고 언제 외칠지 결정하는 주방 매니저라고 생각하면 됩니다:

셰프들이 얼마나 많은 **진전(progress)**을 이루었는가? (공유할 새로운 향신료가 충분히 모였는가?)
웨이터들이 얼마나 바쁜가? (현재 주방이 급박한 상황인가?)

매니저는 점수를 사용합니다. 주방이 바쁘면 점수가 내려가고, 매니저는 "잠깐, 아직 외치지 마세요"라고 말합니다. 반대로 주방이 한산하면 점수가 올라가고, 매니저는 "자, 이제 외치세요!"라고 말합니다.

"캘리브레이션(Calibration)" 프로토콜 (현실 점검)

저자들은 이 매니저가 실제로 작동한다는 것을 증명하기 위해 엄격한 규칙(프로토콜)을 도입했습니다. 그들은 단순히 "잘 된다"라고 말하지 않습니다. 세 단계로 증명합니다:

스트레스 테스트: 예측 가능한 가짜 혼란이 있는 주방을 시뮬레이션합니다. 매니저는 여기서 잘 작동합니다.
실제 주방 재현: 매니저의 스케줄을 가져와서 실제 AI 시스템(vLLM)의 실제 고객 데이터에 대해 다시 재생(replay)합니다.
- 결과: 안정적이고 바쁜 주방에서, 매니저는 고정 타이머보다는 잘하지만, 무작위 타이밍도 거의 비슷한 성과를 냅니다. 매니저가 아직 특별하다는 것을 증명하지 못했습니다.
- 결과: 돌발적인(bursty) 주방(주문이 갑작스럽고 예측 불가능한 파도처럼 밀려오는 곳)에서, 매니저는 빛을 발합니다. 주문의 패턴을 파악함으로써, 매니저는 "외침"을 주문의 파도 사이의 조용한 틈새에 숨길 수 있습니다.
예측: 매니저는 다음 주문의 파도를 예측하는 수정구슬(EWMA 예측)을 갖게 됩니다. 이 수정구슬을 통해 매니저는 혼란을 더 잘 피할 수 있습니다.

결과 (쉬운 설명)

수정구슬이 없을 때: 매니저는 훌륭하지만, 가끔 무작위 스케줄이 운 좋게 비슷한 성과를 냅니다.
수정구절이 있을 때: 매니저는 무작위 스케줄을 유의미하게 압도합니다.
- 테스트에서 "화난 고객" 비율(SLO 위반)이 **6.54%**에서 **5.09%**로 감소했습니다.
- 이는 가장 바쁜 순간에 주방이 방해받지 않았기 때문에 고객이 화를 내는 경우가 줄어들었음을 의미합니다.

핵심 교훈

이 논문의 주요 결론은 단순히 "우리는 더 나은 스케줄러를 만들었다"가 아닙니다. 그것은 우리가 어떻게 증명하느냐에 관한 것입니다.

새로운 AI 시스템이 더 빠르거나 고객에게 더 낫다고 주장하기 전에, 반드시 다음을 수행해야 합니다:

고정 타이머가 아닌, 무작위 스케줄과 비교하십시오 (동일한 자원을 사용해야 합니다).
가짜 시뮬레이션이 아닌, 실제 고객 데이터로 테스트하십시오.
당신의 시스템이 실제로 "바쁜 시간대"를 더 잘 피한다는 것을 보여주십시오.

만약 실제 테스트에서 무작위 스케줄을 이기지 못한다면, 당신은 문제를 해결한 것이 아니라 그저 운이 좋았던 것뿐입니다. 이 논문은 적절한 "조율(calibration)"과 약간의 예측이 있다면, 셰프들의 속도를 늦추지 않으면서도 주방을 더 원활하게 운영할 수 있다는 것을 증명합니다.

기술 요약: 모든 동기화가 안전한 것은 아니다: 공유 AI 인프라를 위한 보정된 DiLoCo 스케줄링

문제 정의

파편화된 산업용 AI 플릿(fleet)에서 학습이 지연 시간에 민감한 서빙(예: vLLM 사이드카)과 하드웨어를 공유하는 경우, 기존의 DiLoCo 스타일 학습은 중요한 프로덕션 과제에 직면합니다: 언제 동기화하는 것이 안전한가?

DiLoCo는 러너 아일랜드(learner islands)가 가끔씩 수행되는 외부 동기화 전에 로컬 최적화 단계를 수행하도록 허용하여 통신을 줄이지만, 기존의 스케줄링 연구들은 종종 '타이밍'의 가치를 '예산(budget)'의 가치와 분리하여 고립시키는 데 실패합니다. 대부분의 평가는 워크로드 인식 정책을 고정 주기 베이스라인(예: 256 또는 512 스텝마다)과 비교합니다. 그러나 고정 주기 베이스라인은 단순히 더 적게 동기화하거나 우연히 다른 시점에 동기화할 뿐, 진정한 워크로드 인식을 입증하는 것이 아닐 수 있습니다.

핵심 문제는 외부 병합(outer merge)이 고정된 기간(예: 8초) 동안 호스트, 네트워크 및 체크포인트 리소스를 소비한다는 점입니다. 이 윈도우가 지연 시간에 민감한 요청과 겹치면 SLO(서비스 수준 목표) 위반을 초래합니다. 질문은 단순히 얼마나 자주 동기화할 것인가가 아니라, 어떤 특정 윈도우를 선택하여 고비용 기간을 피할 것인가, 그리고 특정 정책이 동일한 동기화 예산을 가진 무작위 배치(random placement)보다 확실히 우위를 점할 수 있는가 하는 것입니다.

방법론

1. 보정 프로토콜 (The Calibration Protocol)

저자들은 동기화 정책이 서빙 SLO를 개선한다는 주장을 정당화하기 위해 엄격한 평가 프로토콜을 제안합니다. 이 프로토콜은 매치된 무작로 지연(Matched Random Deferral) 제어 모델을 도입합니다:

개념: 평가 대상 정책의 정확한 동기화 예산(병합 횟수)을 상속받되, 실행 가능한 시간 코리더(time corridor) 내에서 병합 위치를 무작위로 배치하는 비배포형(non-deployable) 제어 모델입니다.
목적: 이는 동기화 빈도와 윈도우 배치를 분리합니다. 만약 워크로드 인식 정책이 동일한 예산을 가진 무작위 배치보다 성능이 뛰어나지 못하다면, 해당 정책은 "배치 이득(placement gain)"을 입증하지 못한 것입니다.
관문: SLO 개선에 대한 주장은 보정된 체제(calibrated regime)에서 매치된 무작위 엔벨로프(matched-random envelope)를 이겨냈을 때만 유효합니다.

2. 워크로드 인식 DiLoCo (WA-DiLoCo)

본 논문은 이 프로토콜을 경량화된 점수 기반 컨트롤러인 WA-DiLoCo로 구현합니다:

입력값: 러너의 진행 상태(손실 감소, 토큰 기여도, 신선도/staleness) 및 플릿 압력(네트워크, 서빙, 체크포인트).
점수 산정: 각 러너에 대해 진행도는 양(+)의 가중치를, 압력은 음(-)의 가중치를 두어 선형 점수 $s_i$ 를 계산합니다. 타겟 설정에서는 서빙 압력이 가장 높은 가중치를 가집니다.
의사결정 로직: 코디네이터는 마지막 병합 이후의 간격이 $H_{min}$ (128 스텝)을 초과하고 평균 점수가 임계값을 넘거나, 간격이 $H_{max}$ (512 스텝)에 도달하면 동기화를 수행합니다. 이는 병합이 제한된 코리더 내에 머물도록 보장합니다.

3. 보정된 오버랩 및 예측 (Calibrated Overlap and Forecasting)

버스트(bursty) 워크로드의 경우, 저자들은 일반적인 압력 메트릭보다 사이드카 요청과의 직접적인 오버랩을 더 정밀한 비용 신호로 식으로 식별합니다.

오프라인 보정된-WA (Offline Calibrated-WA): 전체 버스트 트레이스를 관찰하고 오버랩이 가장 적은 실행 가능한 윈도우를 재선택하는 오라클(oracle)입니다. 이는 가능한 최상의 이론적 상한선을 설정합니다.
온라인 예측 (Online Forecasting): 이를 배포 가능하게 만들기 위해, 저자들은 컨트롤러에 요청률에 대한 1단계 지수 가중 이동 평균(EWMA) 예측을 추가합니다. 이를 통해 컨트롤러는 병합을 실행하기 전, 예상되는 오버랩을 기준으로 후보 윈도우를 점수화할 수 있습니다.

주요 기여

보정된 평가 프로토콜: 본 논문은 기존 문헌에서 고정 주기 베이스라인이 예산과 배치를 혼동한다는 점을 지적합니다. 이 프로토콜은 SLO 개선을 주장하기 전에 실제 사이드카 효과 크기 전이(real-sidecar effect-size transfer), 무동기화 부하 일치(no-sync load match), 그리고 매치된 무작위 엔벨로프를 보고할 것을 요구합니다.
매치된 무작위 지연 제어: 평가된 스케줄러의 병합 예산을 상속받되 배치를 무작위화하는 제어 모델을 도입합니다. 이는 엄격한 베이스라인 역할을 하며, 스케줄러가 이 무작위 배치보다 우수하지 못하다면 예산만 조절했을 뿐 워크로드를 제어한 것은 아닙니다.
경계가 있는 보정된 스케줄링 공식화: 저자들은 동기화를 $min/max-H$ 코리더 내에서의 실행 가능한 배치로 공식화합니다. 저자들은 보정된 오버랩 모델 하에서 오프라인 보정된 스케줄링이 매치된 예산 클래스 내에서 근사 최적(near-optimal)임을 증명하며, 온라인 변형은 예측 오차에 따라 점진적으로 성능이 저하됨을 보여줍니다.
광범위한 실제 사이드카 환경 연구: 실제 vLLM 사이드카 재생(replay) 데이터를 사용하여 일반, 압력 과다, 지속적 동기화 과다, 버스트, 비주기적 서빙 레짐(regime)에 대해 정책을 평가합니다.

결과

실험 결과, 스케줄링의 효용성은 워크로드 레짐에 따라 크게 달라짐을 보여줍니다:

일반/압력 과다 레짐: 일반적인 사이드카 트레이스에서 합성된 압력 효과는 실제 지연 시간으로 전이되지 않았습니다(p95 비율 $\approx$ 1.0). 압력 과다 레짐에서는 모든 정책이 포화 상태였으며, 어떤 정책도 우위를 점하지 못했습니다.
지속적 동기화 과다 레짐: WA-DiLoCo는 고정 간격 및 압력 게이트 베이스라인보다 우수한 성능을 보였습니다. 그러나 통계적으로 매치된 무작위 지연 제어와 동일한 성능을 보였습니다 ( $p=0.56$ ). 이는 안정적인 부하 상황에서는 단순한 무작위 배치가 충분할 수 있으며, 강력한 우위 주장을 하기 어렵다는 것을 나타냅니다.
버스트 레짐: 이곳이 보정의 가치가 드러나는 지점입니다.
- 오프라인 보정된-WA: 동기화 초과 SLO 위반을 **4.45%**로 줄였으며, 이는 매치된 무작위 지연(6.26%)과 WA-DiLoCo(6.92%)를 유의미하게 앞질렀습니다.
- 온라인 예측기: EWMA가 추가된 온라인 컨트롤러는 실제 vLLM 사이드카 재생에서 SLO 위반을 매치된 무작위 방식(6.54%)에서 **5.09%**로 감소시켰습니다 ( $p=0.021$ ). 이는 1.46 퍼센트 포인트의 배치 이득을 의미하며, 테스트된 처리량 기준 사이드카당 10분당 약 60개의 요청을 줄이는 효과를 나타냅니다.

의의 및 주장

이 논문의 주요 의의는 알고리즘 자체보다는 방법론에 있습니다. 저자들은 모든 동기화가 안전한 것은 아니며, SLO 개선을 주장하려면 더 높은 수준의 증거가 필요하다고 주장합니다.

프로토콜 우선: 저자들은 "배포 가능한 교훈"이 프로토콜 그 자체라고 주장합니다. 연구자들은 SLO 개선을 주장하기 전에 반드시 실제 사이드카 효과 크기 전이, 무동기화 부하 일치, 그리고 매치된 무작위 엔벨로프를 보고해야 합니다.
배포 가능성에 대한 신중한 주장: 본 논문은 현재의 온라인 컨트롤러에 대해 겸허한 입장을 취합니다. 오프라인 오라클은 버스트 트레이스에 활용 가능한 구조가 존재함을 증명하지만, 온라인 컨트롤러(예측 기능 제외)는 매치된 무작위 방식보다 유의미하게 우수하지 않았습니다. 성공적인 배포 주장은 특정 비주기적 트레이스 패밀리에서 예측이 추가된 변형 모델에 국한됩니다.
한계점: 저자들은 이것이 실시간 프로덕션 배포가 아닌 스트레스 테스트를 위한 재생 연구임을 명시합니다. 8초의 병합 기간은 구성에 따라 달라지며, 온라인 컨트롤러는 보정된 스케줄링 아이디어의 "불완전한 구현"으로서, 향후 공정성(fairness)과 기아 현상(starvation) 방지를 위한 가중치 및 가드레일 튜닝이 필요합니다.

결론적으로, 본 논문은 DiLoCo가 통신을 줄여주기는 하지만, 남은 동기화 이벤트의 스케줄링은 공유 플릿 내에서 매우 중요한 제어 문제임을 보여줍니다. 매치된 무작위 베이스라인과 보정 프로토콜을 도입함으로써, 저자들은 워크로드 인식 스케줄링이 워크로드에 (버스트와 같은) 활용 가능한 구조가 있고 컨트롤러가 그 구조를 정확히 예측하거나 관찰할 수 있을 때만 측정 가능한 SLO 이득을 제공한다는 것을 입명합니다.