기술 요약: StarSD: One-for-Many 방식의 추측적 디코딩 (Speculative Decoding)

1. 문제 정의

대규모 언어 모델(LLM) 추론 시스템은 특히 공유 가속기 클러스터에서 동시 요청을 처리할 때 지연 시간(latency), 처리량(throughput), 하드웨어 효율성 측면에서 상당한 압박을 받습니다. 주요 병목 현상은 각 토큰마다 순차적인 순전파(forward pass)가 필요한 자기회귀적(autoregressive) 디코딩입니다. **추측적 디코딩(Speculative decoding)**은 경량 초안 모델($M_q$)을 통한 토큰 제안과 타겟 모델($M_p$)을 통한 검증을 분리하는 무손실 가속 기술로 부상했습니다.

그러나 기존의 추측적 디코딩 프레임워크는 주로 $M_q$와 $M_p$가 단일 가속기(예: GPU)에 함께 위치하는 중앙 집중식 실행 모드를 가정합니다. 이러한 설계는 현대적인 프로덕션 환경에서 다음과 같은 결정적인 한계에 직면합니다:

• 메모리 제약: LLM이 확장됨에 따라 타겟 모델, 초안 모델, 그리고 키-값(KV) 캐시의 결합된 메모리 점유량이 단일 가속기(예: 24GB 용량의 RTX 4090)의 용량을 초과하여, 긴 컨텍스트 서빙을 제한하게 됩니다.
• 엣지 배포: 자원이 제한된 엣지 장치(모바일 폰, Jetson 등)는 두 모델을 동시에 호스팅하는 것이 실질적으로 불가능합니다.
• 분리(Disaggregation) 시의 비효율성: $M_q$와 $M_p$를 서로 다른 가속기로 단순히 분리하는 것은 새로운 비효율성을 초al합니다. 표준적인 "초안 생성 후 검증(draft-then-verify)" 워크플로우에서는 타겟 모델이 토큰을 검증하는 동안 초안 가속기가 유휴 상태(idle)가 됩니다. 이러한 교대 실행은 **유휴 간극(idle gaps)**을 생성하며, 이는 버스트형 계산(bursty computation)을 유발하여 초안 모델이 안정적이고 높은 처리량을 유지하는 것을 방해하고, 결과적으로 토큰당 지연 시간과 변동성을 증가시킵니다.

2. 방법론: StarSD 프레임워크

저자들은 분산 환경을 위해 설계된 one-for-many 추측적 디코딩 프레임워크인 StarSD를 제안합니다. StarSD는 단일 초안 모델 인스턴스를 사용하여 스타 토폴로지(star topology)를 통해 분산된 노드 전반에 걸쳐 여러 타겟 모델 인스턴스를 동시에 서비스합니다.

핵심 설계 원칙

1. 보존적 실행(Work-Conserving Execution): StarSD는 초안 생성과 검증을 분리합니다. 초안 인스턴스($M_q$)는 글로벌 요청 버퍼($Q_{in}$)와 출력 응답 버퍼($Q_{out}$)를 유지합니다. $M_q$는 비차단 루프(non-blocking loop)로 작동하며, $N$개의 활성 타겟 인스턴스($M_p^{(i)}$)로부터 오는 대기 중인 요청을 지속적으로 서비스합니다. 이를 통해 $M_q$가 작업이 있는 한 계속 작동하도록 보장하며, 검증 및 통신 지연 시간을 여러 타겟에 효과적으로 분산(amortize)시킵니다.
2. 타겟별 상태 격리(Per-Target State Isolation): 동시성 환경에서도 정확성을 유지하기 위해, StarSD는 핸드셰이크 과정에서 설정된 고유 태그와 전용 통신 포트를 사용하여 세션별 상태(KV 캐시 및 메타데이터 포함)를 격리합니다. 이는 교차 세션 간섭을 방지하고 각 특정 접두사(prefix)에 대한 수락 확률 계산이 유효하도록 보장합니다.
3. 비동기 멀티플렉싱(Asynchronous Multiplexing): 이 프레임워크는 여러 타겟으로부터 오는 비동기 반환을 멀티플렉싱합니다. 하나의 타겟에 대한 검증 및 통신 단계를 다른 타겟들의 초안 생성 단계와 중첩시킴으로써, StarSD는 단일 쌍(single-pair) 분산 디코딩에서 발생하는 유휴 간극을 제거합니다.

시스템 모델 및 분석

저자들은 성능을 특성화하기 위해 **진전도(progress, 기대 수락 토큰 수)**와 **시간(time, 반복 지속 시간)**을 구분하는 분석적 시스템 모델을 개발했습니다.

• 반복 시간 ($T_\gamma$): $T_\gamma = N \cdot S(d) + T_{idle}$로 정의됩니다. 여기서 $S(d)$는 $N$개 요청에 대한 서비스 시간이며, $T_{idle}$은 검증 지연으로 인해 발생하는 대기 시간입니다.
• 부하 레짐(Load Regimes):
  • 저부하(Under-loaded): 타겟 수 $N$이 적을 때, $T_{idle} > 0$입니다. 초안 서버는 검증 결과를 기다리는 동안 유휴 간극을 경험합니다.
  • 완전 부하(Fully-loaded): $N$이 충분히 커서 $N-1$개의 다른 타겟에 대한 서비스 시간이 현재 타겟의 반환 시간을 커버할 때, $T_{idle}$은 사라집니다. 초안 서버는 작업 보존적(work-conserving)이 되어 활용도를 극대화합니다.
• 처리량 트레이드오프: 모델은 더 많은 타겟을 추가해도 초안 서버의 서비스 용량이 증가하지 않고 큐잉 지연(queueing delay)만 유발하는 포화 지점($N_{full}$)을 식별합니다. 그러나 이 지점을 넘어서더라도, 타겟당 처리량이 단독 실행(standalone) 베이스라인 아래로 떨어지지 않는 한 시스템 전체의 처리량은 더 높게 유지됩니다.

3. 주요 기여

1. 프레임워크 제안: StarSD는 비동기 검증 반환이 존재하는 상황에서도 작업 보존적 초안 실행을 가능하게 하면서 타겟별 상태를 격리하는 최초의 one-for-many 분산 추측적 디코딩 프레임워크입니다.
2. 분석 모델: 저자들은 부하 레짐, 스케일링 동작, 그리고 반복 진전도와 반복 시간 사이의 트레이드오프를 특성화하는 시스템 모델을 제공합니다.
3. 실증적 검증: 다양한 구성(내부 머신 멀티 GPU, 외부 머신 멀티 GPU, 그리고 Computer-Jetson과 같은 엣지 서버 설정)에 걸친 광범위한 실험을 통해 StarSD가 모델 가중치나 출력 분포를 수정하지 않고도 유연한 자원 할당을 지원하며 배포를 단순화함을 입증했습니다.

4. 실험 결과

본 논문은 EAGLE을 초안 백엔드로, Vicuna-7B를 타겟으로 사용하여 다양한 환경에서 StarSD를 평가했습니다:

• 처리량 스케일링: 저부하 레짐(작은 $N$)에서, 유휴 간극이 상쇄됨에 따라 $N$이 커질수록 시스템 처리량이 크게 증가합니다. 완전 부하 레짐(큰 $N$)에서는 시스템 처리량이 최대치 근처에서 포화되는 반면, 타겟당 처리량은 안정화됩니다.
• 지연 시간 및 안정성: StarSD는 버스트형 실행에 비해 토큰당 계산 시간과 지연 시간의 변동성을 크게 줄입니다. 실험 결과, 유휴 간극을 제거함으로써 초안 모델을 유리하고 안정적인 정상 상태(steady-state) 운용 체제로 유지할 수 있음을 보여주었습니다.
• 분산 오버헤드: 분산 배포는 통신 오버헤드(직렬화, 네트워크 지연)를 발생시키지만, 지속적인 초안 실행과 더 높은 메모리 패킹 효율성(하나의 가속기당 더 많은 타겟 인스턴스 수용 가능)으로부터 얻는 이득이 이러한 비용을 상쇄합니다.
• 하드웨어 불가지론(Hardware Agnostiveness): 이 프레임워크는 이기종 하드웨어(RTX 4090, A100, Jetson) 전반에서 효과적으로 작동하여 이식성을 증명했습니다.

5. 의의 및 주장

저자들은 StarSD가 현대적인 클라우드 및 엣지 추론 인프라에 추측적 디코딩을 도입하는 실용적이고 확장 가능한 접근 방식이라고 주장합니다.

• 자원 효율성: 초안 생성을 검증과 분리함으로써, StarSD는 초안 모델을 하나의 서비스로서 공유할 수 있게 하여 더 세밀한 메모리 패킹을 가능하게 합니다. 이를 통해 동일한 메모리 예산 내에서 가속기가 더 많은 타겟 인스턴스나 더 긴 컨텍스트 길이를 호스팅할 수 있게 하여, LLM 서빙의 "메모리 벽(memory wall)" 문제를 해결합니다.
• 확장성: 이 프레임워크는 포화될 때까지 타겟 인스턴스 수에 따라 시스템 처리량을 선형적으로 확장할 수 있게 하여, 고동시성 서빙 시나리오에 적합합니다.
• 실용성: StarSD는 모델 가중치나 생성 의미론(semantics)을 변경하지 않고도 이러한 이득을 달 Achieve하며, 분산된 환경의 기존 추측적 디코딩 파이프라인에 즉시 적용 가능한 개선책이 됩니다.

결론적으로, StarSD는 중앙 집중식 초안 서비스를 도입하여 신뢰 지점(trust point)이 될 수 있다는 점(엄격한 격리 및 보안 조치 필요)을 언급하면서도, 유휴 간극을 제거하고 하드웨어 활용도를 높이는 능력이 차세대 LLM 서빙 시스템의 유망한 솔루션임을 강조합니다.