xLLM Technical Report

이 논문은 다양한 AI 가속기를 위한 고성능 엔터프라이즈급 LLM 추론을 위해 지능형 스케줄링, PD/EPD 분해, KV 캐시 관리 및 엔진 수준의 최적화를 결합한 새로운 xLLM 프레임워크를 제안하고, 이를 통해 기존 솔루션 대비 획기적인 처리량과 자원 효율성을 입증합니다.

핵심

xLLM: AI 의 속도를 높이는 '초고속 도로'와 '지능형 교통관제센터'

이 기술 보고서는 xLLM이라는 새로운 시스템을 소개합니다. 쉽게 말해, 거대한 인공지능 (AI) 이 말을 할 때 (생성할 때) 걸리는 시간을 줄이고, 더 많은 사람을 한 번에 처리할 수 있게 해주는 초고성능 엔진입니다.

기존의 AI 서비스들은 비싼 컴퓨터 (하드웨어) 를 많이 써도 효율이 낮거나, 사람이 몰리면 서비스가 느려지는 문제가 있었습니다. xLLM 은 이 문제를 해결하기 위해 **서비스 관리 (Service)**와 **실제 계산 엔진 (Engine)**을 분리하여 각각을 최적화했습니다.

창의적인 비유로 설명해 드리겠습니다.

---

1. 전체 구조: '지능형 교통관제센터'와 '초고속 도로'

xLLM 은 두 가지 핵심 부품으로 이루어져 있습니다.

• xLLM-Service (지능형 교통관제센터):

  • 역할: 수많은 차량 (사용자 요청) 이 어디로 가야 할지, 어떤 차선으로 들어갈지 지시하는 관제탑입니다.
  • 특징:
    • 혼합 교통 통제: 급하게 가야 하는 '구급차 (온라인 채팅)'와 천천히 가도 되는 '화물차 (오프라인 문서 분석)'를 같은 도로에 섞어 운영하되, 구급차가 먼저 지나가도록 지시합니다.
    • 동적 차선 변경: 차가 많을 때는 '가속 차선 (Prefill)'을 늘리고, 차가 적을 때는 '정속 주행 차선 (Decode)'을 늘려 도로를 비워둡니다.
    • 멀티미디어 처리: 사진과 글을 동시에 처리해야 할 때, 사진 분석 담당과 글쓰기 담당을 따로 배정해 병목 현상을 없앱니다.

• xLLM-Engine (초고속 도로 엔진):

  • 역할: 실제로 차량이 달리는 도로와 엔진입니다.
  • 특징:
    • 중첩 주행: 엔진이 다음 작업을 준비하는 동안, 현재 작업이 동시에 진행되도록 하여 '공백 시간'을 없앱니다.
    • 효율적인 주차장 (메모리 관리): AI 가 기억해야 할 정보 (KV Cache) 를 꽉 찬 주차장에 차를 주차하듯, 논리적으로는 한 줄로 보이지만 물리적으로는 빈 공간마다 나누어 주차하여 공간을 최대한 활용합니다.

---

2. 주요 혁신 기술 3 가지 (비유로 이해하기)

① "구급차와 화물차의 완벽한 공존" (온라인/오프라인 통합 스케줄링)

• 기존 방식: 구급차가 오면 화물차를 모두 도로에서 내보내고, 구급차가 지나가면 다시 화물차를 태워야 해서 시간이 낭비되었습니다.
• xLLM 방식: 동시 주행을 허용합니다. 구급차 (사용자 채팅) 가 급하면 화물차 (배경 작업) 를 잠시 멈추게 하고, 구급차가 지나가면 다시 화물차를 달립니다.
• 효과: 도로 (컴퓨터 자원) 가 비어 있는 시간을 없애고, 구급차의 도착 시간 (대기 시간) 도 보장합니다.

② "상황에 따라 변하는 차선" (동적 PD 분리)

• 기존 방식: '가속 차선 (Prefill, 문장 시작)'과 '정속 차선 (Decode, 문장 이어가기)'의 비율을 고정해 두었습니다. 사람이 몰려서 가속이 필요할 때 정속 차선이 비어있으면 낭비였습니다.
• xLLM 방식: 실시간 교통량을 보고 차선을 바꿉니다. 문장을 시작하는 요청이 많으면 가속 차선을 늘리고, 문장을 이어가는 요청이 많으면 정속 차선을 늘립니다.
• 효과: 컴퓨터 칩이 쉬는 시간 (공백) 을 극도로 줄여, 같은 하드웨어로 2 배 이상 많은 사람을 처리할 수 있습니다.

③ "논리적으로 한 줄, 물리적으로 여러 곳" (xTensor 메모리 관리)

• 기존 방식: 긴 문장을 처리하려면 미리 아주 큰 주차장 (메모리) 을 확보해 둬야 했습니다. 짧은 문장도 큰 공간을 차지해 비효율적이었습니다.
• xLLM 방식: 가상 주소를 사용합니다. 사용자에게는 "메모리가 한 줄로 이어져 있다"고 보여주고, 실제로는 빈 공간이 있는 곳마다 조각조각 나누어 주차합니다.
• 효과: 메모리 낭비를 막아 더 긴 대화 (긴 문맥) 를 처리할 수 있게 되었고, 메모리 부족으로 인한 오류도 줄였습니다.

---

3. 실제 성과: 얼마나 빨라졌나요?

이 기술은 이미 **JD.com(징둥닷컴)**이라는 거대한 중국 이커머스 기업에서 실제 서비스 (AI 챗봇, 추천 시스템 등) 에 적용되었습니다.

• 속도: 기존 시스템 (MindIE, vLLM) 보다 최대 2.2 배 더 많은 요청을 처리합니다.
• 비유: 기존에 1 시간 걸리던 작업을 30 분 만에 끝내고, 동시에 두 배의 고객을 응대할 수 있게 된 것입니다.
• 신뢰성: 서버가 고장 나거나 네트워크가 끊겨도, 다른 서버로 즉시 이동하여 서비스를 멈추지 않게 합니다.

4. 결론: 왜 중요한가요?

xLLM 은 단순히 AI 를 더 빠르게 만드는 것을 넘어, AI 를 더 저렴하고 안정적으로 사용할 수 있게 해줍니다. 마치 교통 체증을 해결하는 스마트 교통 시스템처럼, AI 시대의 '데이터 교통 체증'을 해결하여 기업들이 더 많은 사용자에게 더 좋은 AI 서비스를 제공할 수 있는 기반을 마련했습니다.

이 기술은 오픈소스로 공개되어, 전 세계 개발자들이 더 빠르고 효율적인 AI 시스템을 만들 수 있도록 돕고 있습니다.

기술 요약

xLLM 기술 보고서 요약

1. 개요 및 배경 (Problem)

최근 대규모 언어 모델 (LLM) 과 멀티모달 모델의 급격한 발전으로 인해 기업 환경에서의 고품질 추론 서비스 수요가 폭발적으로 증가하고 있습니다. 그러나 기존 주요 추론 프레임워크 (vLLM, TensorRT-LLM 등) 는 기업 수준의 대규모 서비스 환경에서 다음과 같은 핵심적인 한계에 직면해 있습니다.

• 혼합 및 동적 워크로드 처리의 어려움: 온라인 (실시간) 과 오프라인 (배치) 작업이 혼재된 환경에서, 온라인 서비스의 엄격한 SLO(서비스 수준 목표) 를 유지하면서 오프라인 작업의 처리량을 극대화하는 스케줄링이 어렵습니다.
• 고정된 PD(Pre-fill/Decode) 분리 아키텍처의 비효율성: 기존 PD 분리 방식은 정적인 리소스 할당을 가정하여, 실제 트래픽의 급변 (입출력 길이 변동 등) 에 적응하지 못해 AI 가속기 활용도가 낮아지고 SLO 위반 위험이 증가합니다.
• 멀티모달 추론 지원 부족: 이미지, 텍스트 등 다양한 입력을 처리하는 멀티모달 모델의 경우, 인코딩 (Encode) 단계와 프리필/디코드 단계를 효율적으로 병렬화하고 자원을 할당하는 전략이 부재합니다.
• 하드웨어 및 알고리즘 병목: 현대 AI 가속기의 연산 능력을 완전히 활용하지 못하며, MoE(Mixture of Experts) 구조에서의 부하 불균형, 긴 컨텍스트 윈도우에 따른 KV Cache 관리 문제, 그리고 예측 불가능한 요청으로 인한 DP(Data Parallelism) 부하 불균형 등이 성능을 저해합니다.

2. 방법론 및 아키텍처 (Methodology)

xLLM 은 서비스 (Service) 와 엔진 (Engine) 을 분리한 디커플링 아키텍처를 도입하여 위 문제들을 해결합니다.

2.1 xLLM-Service (지능형 서비스 계층)

클러스터 리소스 관리와 요청 스케줄링을 담당하며, 다음과 같은 혁신적인 정책을 제공합니다.

• 온라인/오프라인 공동 배치 (Co-location) 스케줄링: 온라인 요청은 엄격한 SLO 를 보장하기 위해 선점 (Preemptive) 방식으로 처리하고, 오프라인 요청은 여유 자원을 활용하여 '최선 노력 (Best-effort)' 방식으로 처리합니다. 온라인 트래픽이 급증할 때 오프라인 작업을 선점하여 SLO 를 준수하면서도 전체 클러스터 활용도를 극대화합니다.
• 동적 PD 분리 (Dynamic PD Disaggregation): 정적인 PD 비율 할당이 아닌, 실시간 TTFT(Time to First Token) 및 TPOT(Time Per Output Token) 지표를 모니터링하여 프리필 (Prefill) 인스턴스와 디코드 (Decode) 인스턴스의 역할을 동적으로 전환합니다. 상태 없는 (Stateless) 인스턴스 풀을 통해 역할 전환 시 재시작 오버헤드를 제거합니다.
• 하이브리드 EPD 분리 (Hybrid EPD Disaggregation): 멀티모달 요청을 위해 인코딩 (Encode)-프리필 (Prefill)-디코드 (Decode) 3 단계 분리를 지원합니다. 요청 특성에 따라 EP-D, ED-P, E-P-D 등 최적의 분리 전략을 자동 선택하여 병렬 처리 효율을 높입니다.
• 글로벌 KV Cache 관리 및 장애 복구: 분산 스토리지 아키텍처를 통해 KV Cache 를 전역적으로 관리하고, 노드 장애 발생 시 KV 재계산 또는 마이그레이션 비용을 평가하여 최적의 복구 전략을 자동으로 결정합니다.

2.2 xLLM-Engine (고성능 추론 엔진)

하드웨어와 알고리즘을 공동 최적화하여 연산 효율을 극대화합니다.

• 다중 레이어 파이프라인 실행 엔진:
  • 프레임워크 계층: CPU 스케줄링과 AI 가속기 연산을 비동기적으로 오버랩하여 '계산 버블 (idle time)'을 제거합니다.
  • 모델 그래프 계층: 마이크로 배치 (Micro-batch) 를 활용한 듀얼 스트림 (Dual-stream) 병렬화를 통해 연산과 통신 (All-to-All) 을 중첩합니다.
  • 오퍼레이터 계층: 행렬 연산 유닛과 벡터 연산 유닛 간의 세밀한 오버랩을 통해 하드웨어 활용도를 극대화합니다.
• 적응형 그래프 모드 (Adaptive Graph Mode): 동적인 입력 길이와 배치 크기에 맞춰 그래프를 부분적으로 파라미터화하거나, 복잡한 동적 모양을 가진 모듈은 Eager 모드로 실행하는 등 유연성을 확보하면서도 커널 런치 오버헤드를 대폭 줄입니다.
• xTensor 메모리 관리: "논리적으로 연속적이고 물리적으로 이산적 (Logically contiguous, physically discrete)"인 KV Cache 저장 구조를 도입하여, 메모리 할당 충돌을 해결하고 높은 메모리 활용도와 연산 효율을 동시에 달성합니다.
• 알고리즘 최적화:
  • 최적화된 Speculative Decoding: 비동기 처리와 MLA(Multi-head Latent Attention) 구조 최적화를 통해 토큰 생성 속도를 향상시킵니다.
  • 동적 EP/DP 부하 균형: MoE 모델의 전문가 (Expert) 부하와 데이터 병렬 (DP) 그룹 간의 부하 불균형을 실시간 통계와 마이그레이션 전략으로 해결합니다.
• 생성형 추천 최적화: 호스트 (CPU) 와 디바이스 (NPU) 간 연산을 오버랩하여 Beam Search 기반 추천 작업의 성능을 대폭 개선합니다.

3. 주요 기여 (Key Contributions)

1. 서비스-엔진 디커플링 아키텍처: 기업급 대규모 서비스의 유연성과 고성능을 동시에 만족시키는 새로운 프레임워크 설계.
2. 지능형 스케줄링 정책: 온라인/오프라인 공동 배치, 동적 PD/EPD 분리, 글로벌 KV Cache 라우팅을 통한 리소스 활용도 극대화.
3. 하드웨어-소프트웨어 공동 설계: CPU/AI 가속기 오버랩, 듀얼 스트림 파이프라인, 적응형 그래프 모드, xTensor 메모리 관리 등을 통한 하드웨어 효율성 극대화.
4. 실제 비즈니스 적용 및 오픈소스: JD.com 의 핵심 비즈니스 (챗봇, 마케팅 추천, 고객 서비스 등) 에 성공적으로 배포되었으며, GitHub 를 통해 오픈소스로 공개되었습니다.

4. 평가 결과 (Results)

JD.com 의 실제 환경 및 다양한 벤치마크 (ShareGPT, Azure Code 등) 에서 MindIE 및 vLLM-Ascend와 비교 평가되었습니다.

• 처리량 (Throughput) 향상:
  • Qwen 시리즈 모델 기준: MindIE 대비 최대 1.7 배, vLLM-Ascend 대비 최대 2.2 배의 처리량 향상.
  • DeepSeek 시리즈 모델 기준: MindIE 대비 평균 1.7 배 향상.
  • Ascend 910C 하드웨어 환경에서도 성능이 지속적으로 개선됨을 확인.
• 비즈니스 시나리오 성능:
  • JingYan (쇼핑 챗봇): Qwen3-8B 기준 vLLM-Ascend 대비 1.6 배, MindIE 대비 우수한 성능.
  • 고객 서비스: Qwen3-32B 기준 vLLM-Ascend 대비 3.1 배, MindIE 대비 1.2 배의 처리량 향상.
  • 생성형 추천: Beam Width 128, 요청률 8 의 고부하 환경에서 MindIE 대비 23% 의 지연 시간 (Latency) 감소.
• Ablation Study:
  • 동적 PD 분리 정책은 SLO 달성률을 기존 전략 대비 1.67 배 향상.
  • 멀티 레이어 파이프라인 실행은 작은 모델 (1.5B) 에서 17.4% 의 처리량 향상을 보임.
  • 적응형 그래프 모드는 Qwen3-1.7B 모델에서 27.4% 의 처리량 증가와 22% 의 TPOT 감소 효과.

5. 의의 및 결론 (Significance)

xLLM 은 단순한 추론 엔진을 넘어, 하이브리드 워크로드, 동적 트래픽, 멀티모달 입력, 대규모 분산 환경이라는 기업 수준의 복잡한 요구사항을 해결하는 종합적인 솔루션입니다.

• 경제적 효율성: 하드웨어 활용도를 극대화하여 동일한 SLO 하에서 더 적은 리소스로 더 많은 요청을 처리할 수 있게 하여 운영 비용을 절감합니다.
• 확장성: 다양한 AI 가속기 (국내산 칩 포함) 와 모델 아키텍처에 유연하게 대응할 수 있는 확장 가능한 아키텍처를 제공합니다.
• 생태계 기여: 오픈소스로 공개됨으로써, 다양한 하드웨어와 모델 생태계의 발전을 촉진하고 차세대 AI 애플리케이션 개발의 기반을 마련했습니다.

결론적으로 xLLM 은 대규모 언어 모델의 상용화를 가속화하고, 고성능·고효율의 엔터프라이즈급 AI 서비스 구축을 가능하게 하는 중요한 기술적 진보로 평가됩니다.