기술 요약: 확률적 워크로드 하의 Attention–FFN 분리형 LLM 서빙을 위한 분석적 프로비저닝

문제 정의

대규모 언어 모델 (LLM) 서빙은 모델 크기가 확장됨에 따라 효율성 측면에서 중대한 도전에 직면해 있습니다. **Attention–FFN 분리 (AFD)**는 메모리 바운드인 Attention 레이어 (상태 유지, KV 캐시 우세) 와 연산 바운드인 FFN 레이어 (상태 비유지) 를 분리하는 유망한 아키텍처로 부상했으나, 최적의 리소스 프로비저닝 비율을 결정하는 것은 여전히 미해결 문제입니다.

AFD 토폴로지 (여기서 $r$개의 Attention 인스턴스가 1 개의 FFN 인스턴스에 입력을 제공하는 $r$A–1F 로 표기) 에서 시스템 성능은 비율 $r$에 매우 민감합니다.

• $r$이 너무 작으면 FFN 서버가 입력 부족으로 인해 연산 리소스가 유휴 상태가 됩니다.
• $r$이 너무 크면 Attention 인스턴스들이 공유된 FFN 서버를 기다리며 블로킹되어 단계 수준의 블로킹과 파이프라인 버블이 발생합니다.

기존 시스템들은 일반적으로 워크로드의 확률성을 무시하는 경험적 탐색이나 단순한 결정론적 근사를 통해 $r$을 결정합니다. 핵심적인 어려움은 Attention 워크로드의 동적 특성에 있습니다. 배치 크기에만 의존하는 FFN 연산과 달리, Attention 지연 시간은 KV 캐시가 성장하고 무작위 프롬프트 및 디코드 길이를 가진 요청들이 보충됨에 따라 지속적으로 변화합니다. 또한, 여러 Attention 워커의 동기화된 실행은 가장 느린 워커에 의해 지배되는 '스트래글러 (straggler)' 효과를 초래하여 분석적으로 모델링하기 어려운 동기화 장벽을 형성합니다.

방법론

저자들은 확률적 워크로드 하에서 최적의 A/F 비율 ($r^*$) 에 대한 폐형 (closed-form) 프로비저닝 규칙을 유도하기 위해 엄밀한 확률론적 프레임워크를 개발했습니다. 이 방법론은 두 가지 주요 무작위성 원천을 다룹니다:

1. 슬롯별 워크로드 진화: 저자들은 슬롯별 토큰 부하를 **이산 시간 갱신 - 보상 분석 (discrete-time renewal-reward analysis)**을 사용하여 모델링합니다. 프로비저닝을 지배하는 단일 워크로드 통계량인 $\theta$ (슬롯당 기대 정상 상태 토큰 부하) 를 식별합니다. 이 통계량은 무작위 디코드 단계에서 더 긴 요청이 더 빈번하게 샘플링되는 '길이 편향 (length-biasing)' 효과를 고려합니다. 중요하게도, $\theta$와 그 분산 $\nu^2$은 특정 분포 계열을 가정하지 않고 요청 추적 데이터 (traces) 에서 비모수적으로 추정할 수 있습니다.
2. 워커 간 동기화: $r$개의 워커 중 가장 느린 워커를 기다리는 시스템의 장벽 효과를 해결하기 위해, 저자들은 **가우스 순서 통계량 보정 (Gaussian order-statistic correction)**을 적용합니다. $r$개 워커에 대한 총 부하를 i.i.d. 확률 변수들의 합으로 모델링하고, $r$개의 표준 정규 변수 중 최대값의 기대값 ($\kappa_r$) 을 사용하여 최대 부하를 근사화합니다.

이 분석은 두 가지 프로비저닝 규칙을 도출합니다:

• 평균장 규칙 (Mean-Field Rule, $r^*_{mf}$): 동기화 장벽을 무시하고 (완벽한 부하 분산 가정) 유도된 폐형 해법입니다. 이 규칙은 Attention 병목, 통신 병목, FFN 병목이라는 세 가지 영역으로 분해됩니다.
• 장벽 인지 정제 (Barrier-Aware Refinement, $r^*_G$): 동기화 오버헤드 항 ($\sqrt{B}\nu\kappa_r$) 을 사이클 시간 근사에 포함시킨 정제된 최적화입니다. 이는 1 차원 분석적 최적화와 이산 탐색을 결합하여 해결됩니다.

주요 기여

1. 확률론적 워크로드 모델: 이 논문은 연속적 배치를 갖춘 AFD 서빙의 확률적 동역학을 포착하는 분석적 프레임워크를 정립합니다. 임의의 프롬프트 및 디코드 길이 분포 하에서 유효한 프로비저닝 지배 통계량으로 $\theta$를 식별하고, 추적 데이터로부터 $\theta$ 및 $\nu^2$에 대한 비모수 추정기를 제공합니다.
2. 폐형 프로비저닝 규칙: 저자들은 Attention, 통신, FFN 병목을 명시적으로 균형 잡는 평균장 최적 비율을 유도합니다. 또한 스트래글러 워커가 도입하는 동기화 오버헤드를 정량화하는 장벽 인지 정제를 제공하며, 이 오버헤드가 $r$에 따라 하위 로그적으로 증가함을 보여줍니다.
3. 추적 데이터 보정 검증: 팀은 실제 세계 추적 데이터와 하드웨어 매개변수 (특히 Huawei Ascend 910C NPU) 로 보정된 AFD 시뮬레이터를 개발했습니다. 다양한 워크로드와 하드웨어 구성에 걸쳐 프레임워크를 검증했습니다.

결과

실험적 검증은 시스템 동작을 예측하는 데 높은 정확도를 보여줍니다:

• 최적 비율 정확도: 예측된 최적 비율 ($r^*_{mf} \approx 9.3$) 은 시뮬레이션 최적 비율과 매우 잘 일치합니다. 이론적 처리량 곡선은 모든 테스트된 구성 ($r \in \{1, 2, 4, 8, 16, 24, 32\}$) 에서 시뮬레이션 결과를 잘 추적합니다.
• 오차 한계: 예측된 최적 비율은 시뮬레이션 최적 값과 10% 이내에서 일치합니다.
• 스트래글러 영향: 큰 $r$에서 평균장 모델과 시뮬레이션 간 처리량 예측에 최대 약 15% 의 잔차 격차가 관찰되었습니다. 장벽 인지 분석은 이 불일치를 설명하며, 이는 $r=24$에서 약 11% 에 달하는 동기화 오버헤드 때문이라고 귀결합니다.
• 매개변수 민감도: 절단 연구 (ablation studies) 는 최적 $r^*$가 더 큰 마이크로배치 크기 ($B$) 와 더 긴 전체 컨텍스트 길이 (prefill $\mu_P$ 및 decode $\mu_D$ 모두) 에 따라 증가함을 보여줍니다. 이러한 요소들은 Attention 측의 연산 압력을 증가시키기 때문입니다.

중요성 및 주장

이 논문은 경험적 탐색을 넘어 AFD 시스템 프로비저닝을 위한 최초의 원칙적 분석적 기반을 제공한다고 주장합니다. 확률적 워크로드 구조가 프로비저닝을 어떻게 결정하는지에 대한 간결하고 보정 가능한 설명을 제공함으로써, 이 프레임워크는 시스템 설계자가 다음을 가능하게 합니다:

• 광범위한 시스템 구축이나 시행착오 없이 최적의 A/F 비율을 결정합니다.
• 현실적인 확률적 워크로드 하에서 메모리 확장 (Attention) 과 연산 확장 (FFN) 간의 트레이드오프를 이해합니다.
• 분리형 아키텍처에서 동기화 장벽의 비용을 정량화합니다.

저자들은 AFD 구현이 성숙해짐에 따라 실제 시스템 검증은 향후 과제로 남겨두었으나, 생산 환경과 유사한 분포의 추적 데이터를 사용한 현재 시뮬레이션 기반 검증이 이론에 대한 강력한 경험적 확인을 제공한다고 지적합니다. 이 작업은 분리형 LLM 서빙이라는 신흥 분야에 대한 기초적인 기여를 나타내는 프리프린트 (arXiv:2601.21351v2) 로 제시되었습니다.