기술 요약: HADIS – 쿼리 인지형 확산 모델 서빙을 위한 하이브리드 아키텍처

1. 문제 정의

텍스트-투-이미지(T2I) 확산 모델 서빙은 응답 품질, 처리량, 그리고 지연 시간 서비스 수준 목표(SLO) 사이의 균형을 맞추는 데 있어 근본적인 긴장 상태에 직면해 있습니다. 기존의 쿼리 인지형 캐스케이드 시스템(예: DiffServe)은 모든 쿼리를 먼저 경량 모델로 통과시킨 후, 판별기(discriminator)를 사용하여 저품질 출력을 헤비급 모델로 재라우팅합니다. 이 방식은 확산 모델 특유의 두 가지 결정적인 비효율성을 야기합니다:

1. 어려운 쿼리에 대한 계산 낭비: 어려운 쿼리로 예측된 경우를 포함한 모든 쿼리가 품질을 평가받기 전까지 반드시 경량 단계를 거쳐야 합니다. 확산 과정(diffusion trajectories)은 신뢰할 수 있는 중간 품질 신호를 제공하지 않으므로, 어려운 쿼리는 필연적으로 헤비급 모델을 필요로 하며, 이로 인해 초기 경량 패스는 매몰 비용이 됩니다.
2. 상태 재사용 불가능: LLM에서 스펙큘레이티브 디코딩(speculative decoding)이 토큰 재사용을 허용하는 것과 달리, 확산 모델은 모델 간 상태 전이가 불가능합니다. 아키텍처의 이질성(예: UNet vs. DiT)과 디노이징 과정의 특성상, 거부된 경량 출력으로부터 중간 상태를 재사용할 수 없습니다. 거부된 쿼리는 헤비급 모델이 처음부터 다시 생성하게 만들어, 두 단계의 전체 비용을 모두 발생시킵니다.

또한, 기존 시스템들은 워크로드 역학에 관계없이 모델 쌍(경량/헤비급)을 고정하는 경우가 많습니다. 그러나 경험적 분석에 따르면 최적의 모델 쌍은 지연 시간 예산과 현재 쿼리 부하 모두에 따라 크게 변하며, 정적 구성은 최적의 성능을 내지 못합니다.

2. 방법론

HADIS(Hybrid Architecture for Diffusion Model Serving)는 하이브리드 캐스케이드 아키텍처와 결합된 런타임 최적화를 통해 이러한 과제를 해결합니다.

2.1 하이브리드 캐스케이드 아키텍처

HADIS는 계산 낭비를 최소화하고 품질을 극대화하기 위해 두 가지 상호 보완적인 메커니즘을 결적으로 결합합니다:

• 사전 생성 라우터(Pre-Generation Router): 경량 규칙 기반 프롬프트 분석기가 생성 전 단계에서 쿼리의 난이도를 추정합니다. "어렵다"고 예측된 쿼리는 경량 모델을 완전히 건너뛰고 헤비급 모델로 직접 전달됩니다.
• 사후 생성 판별기(Post-Generation Discriminator): CLIP 기반 이미지 평가기가 경량 모델의 출력을 평가합니다. 품질이 불충분한 경우("false-easy" 케이스), 해당 쿼리는 헤비급 모델로 재라우팅됩니다.

이 설계는 어려운 쿼리가 불필요한 경량 추론을 피하도록 보장하는 동시에, 라우터에 의해 잘못 분류된 쉬운 쿼리가 저품질 결과로 반환되기 전에 포착되도록 보장합니다.

2.2 경험적 통찰: 두 모델의 충분성

본 시스템은 핵심적인 경험적 관찰에 기반합니다: 두 모델 캐스케이드가 더 깊은 캐스케이드의 파레토 최적(Pareto frontier)을 포착한다는 점입니다. 프로파일링 실험 결과, 캐스케이드에 세 번째 단계를 추가하는 것은 잘 튜닝된 2단계 캐스케이드에 비해 품질 개선 효과가 미미한 반면, 시스템 오버헤드(추가 추론 패스, 대기열, 라우팅 결정 등)를 유발한다는 것을 입증했습니다. 따라서 HADIS는 탐색 공간을 모델 쌍으로 제한하여 최적화 문제의 복잡성을 대폭 줄였습니다.

2.3 시스템 설계 및 최적ization

HADIS 시스템은 컨트롤러(Controller), 쿼리 라우터(Query Router), 그리고 **워커(Workers)**로 구성됩니다.

• 오프라인 프로파일링: 시스템은 후보 모델 풀을 가지치기하고, 난이도($\theta$)와 품질($\tau$) 임계값의 그리드 전반에 걸쳐 모든 유효한 두 모델 쌍을 프로파일링합니다. 이를 통해 압축된 파레토 최적 구성 룩업 테이블을 생성합니다.
• 온라인 리소스 관리: 런타임 시, **리소스 매니저(Resource Manager)**가 주기적으로 혼합 정수 선형 계획법(MILP)을 실행합니다. MILP는 다음 사항들을 공동으로 최적화합니다:
  1. 모델 쌍 선택: 룩업 테이블에서 최적의 경량/헤비급 쌍을 선택합니다.
  2. 임계값 튜닝: 라우터의 난이도 임계값과 판별기의 품질 임계값을 조정합니다.
  3. 리소스 할당: SLO를 준수하면서 수요를 충족하기 위해 각 모델의 워커 수와 배치 크기를 결정합니다.

MILP는 수요를 추정하기 위해 지수 가중 이동 평균(EWMA)을 사용하며, SLO 준수를 보장하기 위해 큐잉 지연(queuing delays)을 포함합니다.

3. 주요 기여

1. HADIS 시스템: 사전 생성 라우팅과 사후 생성 검증을 통합하고, 런타임에 모델 쌍을 동적으로 선택하며, 온라인 MILP를 통해 구성을 공동 최적화하는 확산 모델 서빙 시스템입니다.
2. 파레토 프런티어 축소: 두 모델 캐스케이드가 더 깊은 캐스케이드의 파레토 프런티어를 달성하기에 충분하다는 것을 경험적으로 입증하여, 실시간 적응을 위한 최적화 가능한 공간을 마련했습니다.
3. 형식적 분석: 완만한 정확도 조건 하에서, 하이브리드 아키텍처가 동일한 기대 비용에서 "라우터 전용" 또는 "판별기 전용" 대안보다 엄격하게 우월함을 보여주는 이론적 증명을 제공합니다. 이 분석은 하이브리드 접근 방식이 불완전한 라우팅에도 강건한 ROC 공간 내의 실행 가능 영역을 정의합니다.
4. 포괄적 평가: 실제 트레이스를 활용한 16-GPU 클러스터에서의 평가를 통해, 기존의 최첨단 베이스라인 대비 유의미한 개선을 입증했습니다.

4. 실험 결과

NVIDIA L40S 기반 16-GPU 클러스터에서 실제 Azure Functions 트레이스와 ImageNet-1K 프롬프트를 사용하여 평가한 결과:

• 응답 품질: HADIS는 베이스라인 대비 응답 품질(FID로 측정)을 최대 35% 향상시켰습니다. 평균적으로 DiffServe, Proteus, INFaaS와 같은 시스템보다 FID를 7~23% 감소시켰습니다.
• SLO 위반: HADIS는 베이스라인 대비 SLO 위반을 2.7배에서 45배까지 줄였습니다. 구체적으로 DiffServe보다 2.7배, Proteos보다 4.2배, INFaaS보다 8배 더 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • 하이브리드 vs. 단일 구성 요소: 하이브리드 설계는 지연 시간-품질 스펙트럼 전반에서 라우터 전용 및 판별기 전용 설계보다 뛰어난 성능을 보였습니다.
  • 동적 쌍 선택: 모델 쌍을 고정하는 시스템(DiffServe 등)은 HADIS의 동적 선택 방식에 비해 더 높은 SLO 위반과 낮은 품질을 기록했습니다.
  • 리소스 할당: 온라인 MILP 방식은 부하 변동 시 품질 저하와 위반 스파이크를 겪는 캐싱된 계획 전략보다 훨씬 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 어려운 쿼리가 경량 단계를 강제로 거쳐야 하는 캐스케이드 서빙의 근본적인 비효율성을 HADIS가 해결한다고 주장합니다. 사전 생성 바이패스와 사후 생성 포착을 결적으로 결합함으로써, HADIS는 단일 구성 요소 시스템에서 나타나는 "최악의 상황(worst of both worlds)"을 제거합니다.

저자들은 모델 쌍, 라우팅 임계값, 그리고 GPU 할당을 공동으로 최적화하는 능력이 핵심이라고 강조합니다. 이전 연구들처럼 단일 차원만을 고정하는 것은 하위 최적(suboptimal)의 성능을 초래합니다. 본 논문은 하이브리드 아키텍처가 판별기가 충분히 정확하다면 불완전한 라우팅 정확도에 대해서도 강건하며, 두 모델 캐스케이드 가정이 평가된 모델 풀에서 경험적으로 성립하므로 최적화 공간을 다룰 수 있게 만든다고 주장합니다.

이 연구는 단순한 변형 선택이나 단순한 캐스케이드를 넘어, 워크로드 역학과 쿼리별 난이도 모두에 적응하는 시스템으로 나아가는 생성형 AI 추론의 필수적인 진화로 자리매김하고 있습니다.