기술 요약: GF-DiT: Diffusion Transformer 서빙을 위한 병렬성 스케줄링

문제 정의

Diffusion Transformer(DiT)는 현대 생성형 AI의 지배적인 아키텍처가 되었으나, 기존 서빙 시스템은 이들의 이질적인 워크로드를 효율적으로 처리하는 데 어려움을 겪고 있습니다. 현재의 시스템(예: vLLM-Omni, SGLang Diffusion)은 **정적 병렬성(static parallelism)**에 의존하며, 각 요청에 대해 고정된 GPU 구성(예: 특정 시퀀스 병렬도)을 전체 수명 동안 할당합니다. 이러한 방식은 다음과 같은 세 가지 핵심적인 이질성 문제를 해결하지 못합니다:

1. 요청 이질성(Request Heterogeneity): 출력 해상도, 비디오 지속 시간, 디노이징 단계 수가 크게 달라지며, 이로 인해 계산 수요에서 수 차수의 차이가 발생합니다.
2. 단계 이질성(Stage Heterogeneity): DiT 파이프라인의 서로 다른 단계(인코더, 디노이징, 디코더)는 근본적으로 다른 스케일링 동작을 보입니다. 예를 들어, 디노이징은 큰 시퀀스 병렬 그룹의 이점을 얻는 반면, 인코더와 디코더는 종종 가볍고 단일 랭크(single-rank) 효율적입니다.
3. 시스템 이질성(System Heterogeneity): 워크로드 역학(도착률, 큐 상태)과 서비스 목표(지연 시간 vs 처리량 vs SLO)는 시간이 지남에 따라 변화합니다. 수락 시점에 최적이었던 구성이 상황이 진화함에 따라 비효율적으로 변할 수 있습니다.

정적 병렬성은 긴 실행 요청이 짧은 요청을 지연시키는 Head-of-Line(HoL) 블로킹 현상과, 가벼운 단계가 GPU 자원을 낭비하거나 큰 디노이징 작업에 자원이 부족하게 할당되는 낮은 자원 활용도를 초래합니다. 핵심 문제는 기존 시스템이 병렬성을 고정된 배포 결정으로 취급할 뿐, 동적인 스케줄링 가능한 자원으로 취급하지 않는다는 점입니다.

방법론

본 논문은 GPU 병렬성을 제1급 스케줄링 가능 자원으로 취급하는 정책 프로그래밍 가능 런타임인 GF-DiT를 제안합니다. 이 시스템은 워크로드 요구 사항과 서비스 목표에 따라 실행 중인 요청의 병렬성을 동적으로 조정합니다. GF-DiT는 세 가지 핵심 기술적 기둥을 기반으로 구축되었습니다:

1. 비동기 실행 및 재스케줄링 가능한 궤적 태스크(Reschedulable Trajectory Tasks)

GF-DiT는 DiT 요청을 궤적 태스크(인코딩, 개별 디노이징 단계, 디코딩)의 그래프로 분해합니다.

• 재스케줄링 경계: 토큰 생성이 미세한 경계를 제공하는 자기회귀(autoregressive) LLM과 달리, DiT 요청은 단계 및 디노이징 단계 경계에서 자연스러운 스케줄링 지점을 노출합니다. 한 단계를 완료하면 의미론적으로 완전한 잠재 상태(latent state)가 생성되므로, 런타임이 안전하게 자원을 재할당할 수 있습니다.
• 예측 가능성: DiT 실행 구조는 실행 시작 전(해상도, 단계, 궤적이 알려진 경우)에 상당히 결정적입니다. 이를 통해 런타임은 실행 비용과 미래의 자원 수요를 정확하게 추정할 수 있어, 추측 없이 온라인 적응을 가능하게 합니다.
• 비동기 모델: 런타임은 제어 평면(스케줄링, 의존성 추적)과 실행 평면(GPU 워커)을 분리합니다. 디스패치 완료는 장치 완료와 분리되어, CPU 측의 스케줄링 및 마이그레이션 계획이 GPU 실행과 겹쳐서(overlap) 수행될 수 있도록 합니다.

2. 그룹 프리 컬렉티브(Group-Free Collectives, GFC)

동적 병렬성을 실용적으로 만들기 위해, 시스템은 전통적인 통신 라이브러리의 높은 오버헤드 없이 실행 그룹을 신속하게 생성하고 재구성할 수 있어야 합니다.

• 과제: 기존 라이브러리(예: NCCL)는 각 하위 그룹을 위해 process_group 객체를 구축해야 합니다. 이는 호스트 측의 조정 및 초기화 비용(수백 밀리초)과 상당한 메모리 오버헤드를 수반하며, 이는 미세한 온라인 재구성에 부적합합니다.
• 해결책: GFC는 명시적인 커뮤니케이터 구축을 제거합니다.
  • 월드 레벨 설정: 서버 시작 시 단일 월드 레벨 통신 설정을 수행하여 대칭적 통신 버퍼를 할당합니다.
  • 논리적 기술자(Logical Descriptors): 동적 하위 그룹은 무거운 커뮤니케이터 객체 대신 가벼운 논리적 기술자(랭크 ID 및 순서)로 표현됩니다.
  • 쌍방향 일관적 순서(Pairwise-Consistent Ordering): 중첩되는 그룹 간의 정확성을 보장하기 위해, GFC는 어떤 랭크 쌍이라도 컬렉티브 인스턴스를 동일한 순서로 관찰하도록 강제합니다. 이는 랭크 엣지(edge)에 부착된 더블 버퍼링 신호 메커니즘을 사용하여 조합적 상태 폭발을 피하면서 동기화 토큰을 관리합니다.
  • 스테이징(Staging): 데이터 이동은 스테이징 버퍼를 통해 처리되며, 이를 통해 런타드은 메시지 크기에 따라 로컬 복사와 원격 전송을 파이프라이닝하고 최적의 백엔드(CUDA 커널, 복사 엔진, TMA)를 선택할 수 있습니다.

3. 정책 프로그래밍 가능 런타임

GF-DiT는 스케줄링 정책이 태스크 순서, 배치, 병렬성을 공동으로 제어할 수 있는 통합 인터페이스를 제공합니다.

• 정책 인터페이스: 정책은 준비된 태스크, 자원 가용성, 비용 추정치를 관찰한 후, 태스크와 실행 레이아웃(논리적 그룹 + 병렬 사양)을 지정하는 디스패치 결정을 반환합니다.
• 유연성: 이를 통해 하위 런타임이나 모델 로직을 다시 작성하지 않고도 다양한 전략(예: FCFS, SRTF, EDF)을 구현하고 평가할 수 있습니다.
• 시뮬레이션: 시뮬레이터는 동일한 태스크 그래프와 정책 인터페이스를 사용하되, GPU 실행을 비용 모델 예측으로 대체하여 오프라인 정책 탐색 및 선택을 가능하게 합니다.

주요 기여

1. 새로운 추상화: 본 논문은 GPU 병렬성을 제1급 스케줄링 가능 자원으로 취급하는 개념을 도입하여, 정적 배포에서 동적 런타임 관리로 패러다임을 전환합니다.
2. GF-DiT 런타임: 비동기 실행 및 재스케줄링 가능한 궤적 태스크를 통해 온라인 GPU 재할당을 가능하게 하는 정책 프로그래밍 가능 시스템을 제공합니다.
3. 그룹 프리 컬렉티브(Group-Free Collectives): 동적 그룹 형성 오버헤드를 수백 밀리초에서 약 60 µs로 줄여 탄력적 병렬성을 실용적으로 만드는 가벼운 통신 추상화를 제공합니다.
4. 구현 및 평가: vLLM-Omni에서의 풀 구현을 통해 고정 파이프라인 실행 대비 상당한 성능 향상을 입증했습니다.

결과

H20 및 A100 GPU 환경에서 이미지(Qwen-Image) 및 비디오(Wan2.2) 확산 워크로드를 대상으로 평가한 결과, GF-DiT는 정적 병렬성 베이스라인 대비 상당한 개선을 보여주었습니다:

• 처리량(Throughput): 최대 6.01배 향상되었습니다.
• 지연 시간(Latency): 평균 지연 시간을 최대 95% 감소시켰습니다.
• SLO 위반: SLO 위반율을 최대 90% 감소시켰습니다.
• 통신 오버헤드: 통신 그룹 설정 오버헤드를 778 ms에서 약 60 µs로 단축했습니다.
• 정책 효과성: EDF(Earliest Deadline First) 정책이 가장 높은 SLO 달성도를 기록했으며(예: 급증하는 비디오 워크로드에서 7.5%에서 88.8%로 개선), **SRTF(Shortest Remaining Trajectory First)**는 특정 시나리오에서 평균 지연 시간을 최소화했습니다. 이 결과는 단일 정적 구성이 최적이 아니며, 동적 적응이 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 현재 DiT 서빙 시스템의 병렬성이 갖는 정적 특성이 근본적인 병목 현상이라고 주장합니다. 병렬성을 스케줄링 가능한 자원으로 취급함으로써, GF-DiT는 워크로드 역학 및 서비스 목표에 실시간으로 대응할 수 있게 합니다.

저자들은 GF-DiT가 탄력적 병렬성(elastic parallelism)을 실용화한다고 주장합니다. 그 의의는 새로운 병렬 커널을 제안하는 것이 아니라, 기존의 실행 레이아웃을 동적으로 선택하고 재구성할 수 있는 **프로그래밍 가능한 기질(programmable substrate)**을 제공하는 데 있습니다. 이는 "요청을 스케줄링하는 것"에서 "병렬성을 스케줄링하는 것"으로의 전환을 가능하게 하며, GPU 자원이 가장 큰 이득을 주는 곳으로 지속적으로 흐르게 하여 처리량, 지연 시간 및 SLO 달성도를 동시에 개선합니다. 이 연구는 향리 생성형 AI 서빙 시스템이 런타임 관리형 병렬성을 핵심적인 시스템 추상화로 수용해야 함을 시사합니다.