Architecture-Aware LLM Inference Optimization on AMD Instinct GPUs: A Comprehensive Benchmark and Deployment Study

본 논문은 vLLM 과 AMD AITER 런타임을 활용한 AMD Instinct MI325X GPU 클러스터에서의 다양한 LLM 아키텍처 (MoE+MLA, Dense+GQA 등) 에 대한 생산 환경 추론 성능을 종합적으로 벤치마크하고, 아키텍처별 최적화 전략과 메모리 대역폭 병목 현상을 규명한 연구입니다.

핵심

이 기술 보고서는 **"AMD 의 최신 슈퍼컴퓨터 칩 (MI325X) 에서 거대 인공지능 (LLM) 을 얼마나 빠르고 효율적으로 돌릴 수 있을까?"**에 대한 실험 결과입니다.

마치 거대한 도서관에서 책을 빠르게 찾아주는 시스템을 테스트하는 것과 비슷합니다. 이 보고서는 책의 종류 (모델 아키텍처) 와 도서관의 구조 (하드웨어) 가 어떻게 맞아야 가장 빠른지, 그리고 어떤 실수를 하면 도서관이 마비되는지 자세히 설명합니다.

핵심 내용을 쉬운 비유로 정리해 드립니다.

---

1. 실험 배경: 거대한 도서관과 8 개의 슈퍼 서고

연구진은 AMD 의 최신 GPU 8 개가 달린 서버 하나를 사용했습니다.

• 비유: 마치 8 개의 초대형 서고 (각각 256GB 의 거대한 책장) 가 있는 도서관입니다.
• 목표: 이 서고들에 4050 억 권에서 1 조 권에 달하는 거대한 책 (AI 모델) 들을 넣고, 동시에 수천 명의 손님이 책을 요청할 때 얼마나 빠르게 책을 찾아줄 수 있는지 테스트했습니다.

2. 주요 발견 1: "모든 책에는 다른 검색 방법이 필요하다" (아키텍처별 최적화)

가장 중요한 결론은 **"하나의 설정으로 모든 모델을 돌릴 수 없다"**는 것입니다. 책의 종류에 따라 검색 방식이 완전히 달라야 합니다.

• GQA 모델 (예: Llama-3.1, Qwen3-VL):
  • 비유: "정리된 책장"입니다. 책이 잘 정렬되어 있어, **책장을 다른 층으로 옮기는 것 (KV Cache Offloading)**도 쉽고, **큰 책상 (Block Size 16)**을 사용하면 효율이 좋습니다.
  • 결과: 이 방식은 AMD 칩에서 매우 잘 작동하여 가장 빠른 속도를 냈습니다.
• MLA 모델 (예: DeepSeek, Kimi-K2.5):
  • 비유: "압축된 비밀 문서"입니다. 정보를 매우 작게 압축해 놓아서 책장 공간을 거의 안 쓰지만, **작은 책상 (Block Size 1)**에서만 읽을 수 있고, 다른 층으로 옮기는 것은 불가능합니다.
  • 결과: 이 모델을 돌리려면 AMD 전용 가속기 (AITER) 가 필수입니다. 이걸 끄면 속도가 10 배 이상 느려집니다. 하지만 반대로, 이 가속기를 켜면 측정 결과가 들쑥날쑥해지기도 합니다.

3. 주요 발견 2: "책의 두께보다 '활성화된 페이지'가 중요하다" (활성 파라미터)

많은 사람이 "책이 두꺼울수록 (파라미터가 많을수록) 느리다"고 생각합니다. 하지만 이 실험은 반대를 증명했습니다.

• 비유: 도서관 사서가 책을 읽을 때, 책 전체를 다 읽는 게 아니라 필요한 페이지만 읽는다면, 책이 1 조 권이라도 400 권짜리 책과 비슷하게 빠르게 처리할 수 있습니다.
• 결과:
  • DeepSeek (1 조 권짜리 책): 필요한 페이지만 370 억 개를 읽으므로, 4050 억 권짜리 **Llama (전체 읽기)**와 거의 같은 속도를 냈습니다.
  • Qwen3-VL (2350 억 권): 필요한 페이지가 220 억 개뿐이라, 1 조 권짜리 Kimi보다 6.5 배나 더 빠릅니다.
  • 교훈: AI 모델의 총 크기가 아니라, **한 번에 실제로 사용하는 양 (Active Parameters)**이 속도를 결정합니다.

4. 주요 발견 3: "도로가 막히는 지점" (병목 현상)

모든 모델은 어느 순간 속도가 더 이상 오르지 않는 '한계점'에 도달했습니다.

• 비유: 아무리 사서가 빨라도, **도로 (메모리 대역폭)**가 좁으면 차가 몰리면 막힙니다.
• 현상:
  • 짧은 질문 (500 단어) 을 할 때는 동시 접속자 500 명 정도가 한계입니다. 그 이상이면 도로가 꽉 차서 속도가 더 이상 안 오릅니다.
  • 긴 질문 (2000 단어 이상) 을 할 때는 100~200 명만 되어도 도로가 막힙니다.
  • 중요한 점: 이 한계점에 도달해도 시스템은 절대 멈추지 않았습니다. 1,000 명이 몰려도 모든 요청을 처리해냈습니다. 다만, 답이 늦게 나오는 것뿐입니다. (차량이 멈추지 않고 천천히 움직이는 것과 같습니다.)

5. 주요 발견 4: "거대한 1 조 권짜리 책도 들어갔다!" (Kimi-K2.5)

연구진은 1 조 개의 파라미터를 가진 거대한 모델 (Kimi-K2.5) 을 8 개의 GPU 중 4 개만 사용하여 성공적으로 구동했습니다.

• 비유: 1 조 권짜리 책을 4 개의 서고에 나누어 넣었는데, 100% 성공률로 모든 손님의 요청을 처리했습니다.
• 주의점: 이 모델은 AMD 칩의 특정 기능 (AITER) 을 쓸 수 없어서 속도가 다소 느렸지만, 기술적으로 가능하다는 것을 증명한 것입니다.

6. 요약: 우리가 배운 것들

1. 맞춤형 설정이 필수: AI 모델마다 "책장 정리법" (설정) 이 다릅니다. 무작정 같은 설정을 쓰면 실패하거나 느려집니다.
2. AMD 칩은 강력함: 8 개의 AMD GPU 가 모이면 1 조 권짜리 거대 모델도 처리할 수 있을 만큼 메모리 공간이 넓고 빠릅니다.
3. 효율성이 핵심: 모델이 아무리 커도, 실제로 쓰는 부분만 적다면 (MoE 구조) 매우 빠릅니다.
4. 도로 폭이 한계: CPU 가 빠르더라도, 데이터를 옮기는 '도로' (메모리 대역폭) 가 좁으면 동시에 처리할 수 있는 사람 수에 한계가 있습니다.

결론적으로, 이 보고서는 거대 AI 를 AMD 칩에 올릴 때, **"모델의 성격을 먼저 파악하고, 그에 맞는 맞춤형 설정을 해야만 최고의 속도를 낼 수 있다"**는 사실을 증명했습니다.

기술 요약

AMD Instinct GPU 기반 대규모 언어 모델 (LLM) 추론 최적화: 포괄적인 벤치마크 및 배포 연구 기술 요약

이 논문은 AMD Instinct MI325X GPU 클러스터에서 다양한 아키텍처의 최신 대규모 언어 모델 (LLM) 추론을 체계적으로 평가하고 최적화 전략을 제시한 기술 보고서입니다. 저자는 vLLM 프레임워크를 사용하여 2350 억에서 1 조 파라미터에 이르는 4 개의 선두 모델 (MoE+MLA, Dense+GQA, MoE+GQA 등) 을 8 개의 GPU(총 2TB HBM3e) 환경에서 벤치마크했습니다.

1. 연구 배경 및 문제 정의

• 문제: LLM 추론 서비스는 모델 아키텍처, 하드웨어 능력, 서비스 시스템 구성 간의 정교한 공동 최적화가 필요하지만, AMD 가속기 (특히 MI325X) 에 대한 체계적인 벤치마크 연구는 부족합니다.
• 도전 과제:
  • 모델 아키텍처의 다양성 (Dense, MoE, MLA 등) 이 메모리 계층, 병렬화 전략, 커널 최적화에 서로 다른 요구를 부과함.
  • 단일 배포 구성이 모든 아키텍처에 적용될 수 있다는 잘못된 가정.
  • AMD ROCm 스택에서의 MLA(Multi-head Latent Attention) 및 MoE(Mixture-of-Experts) 모델에 대한 구체적인 최적화 가이드 부재.
• 목표: MI325X 하드웨어에서 다양한 아키텍처의 LLM 추론 성능을 정량화하고, 아키텍처 인식형 (Architecture-Aware) 최적화 전략을 도출하는 것.

2. 연구 방법론

• 하드웨어 플랫폼: 8 개의 AMD Instinct MI325X GPU 가 탑재된 단일 노드 서버 (총 2TB HBM3e, 48 TB/s 대역폭, CDNA 3 아키텍처).
• 소프트웨어 스택: vLLM v0.14.1, ROCm 6.4.2, Docker 컨테이너.
• 평가 대상 모델 (4 개):
  1. Kimi-K2.5: 1 조 파라미터 (MoE+MLA, 활성 파라미터 32B).
  2. DeepSeek V3.2: 6850 억 파라미터 (MoE+MLA, 활성 파라미터 37B).
  3. Llama-3.1-405B: 4050 억 파라미터 (Dense+GQA).
  4. Qwen3-VL-235B: 2350 억 파라미터 (MoE+GQA, 활성 파라미터 22B, 비전 언어 모델).
• 실험 설계:
  • 작업 부하: 단일 요청부터 1,000 동시 사용자까지 확장, 긴 컨텍스트 (최대 8K 토큰), 비전 작업 (이미지 포함).
  • 메트릭: 처리량 (tok/s), 지연 시간 (p99), 성공률, 재현성 (CoV).
  • 최적화 변수: 정량화 (FP8, INT4 QAT), KV 캐시 관리, AITER 커널 활성화/비활성화, 텐서 병렬화 (TP) 설정.

3. 주요 기여 및 발견 사항

3.1 아키텍처 인식형 최적화의 필수성

• MLA vs GQA 의 근본적 차이:
  • MLA 모델 (DeepSeek, Kimi): ROCm 스택에서 block-size 1을 필수로 요구하며, KV 캐시 오프로딩 (CPU 메모리 사용) 이 불가능함.
  • GQA 모델 (Llama, Qwen): KV 캐시 오프로딩과 표준 블록 크기 (16) 를 지원하여 더 유연한 최적화 가능.
• AITER (AMD AI Tensor Engine) 의 역할:
  • MLA 모델의 경쟁력 있는 처리량을 위해 AITER 가 필수임 (Triton 백업은 성능이 현저히 낮음).
  • 그러나 Kimi-K2.5 는 MXFP4 하드웨어 요구사항 (CDNA 4 전용) 및 헤드 수 제약으로 인해 AITER 를 전체적으로 비활성화해야 함.
  • GQA 모델 (Llama-3.1-405B) 에 대한 AITER 제거 실험 (Ablation) 결과, 고동시성에서 35% 의 처리량 향상은 있었으나 측정 변동성 (CoV) 이 216 배 증가하여 안정성이 떨어짐을 확인. AITER 의 큰 속도 향상은 MoE/MLA 커널에 국한됨.

3.2 1 조 파라미터 모델의 배포 성공

• Kimi-K2.5 (1T) 배포: INT4 QAT 정량화를 사용하여 4 개의 MI325X GPU(TP=4) 에서 성공적으로 배포.
• 성과: 500 동시 요청에서 7,327 tok/s 처리량 달성, 1,000 동시 요청까지 100% 성공률 유지. MI325X(CDNA 3) 에서 1 조 파라미터 모델 추론 벤치마크를 최초로 공개함.

3.3 활성 파라미터 수와 처리량의 상관관계

• 핵심 발견: 총 파라미터 수보다 **토큰당 활성 파라미터 수 (Active Parameters)**가 추론 처리량을 더 잘 설명함.
  • 텍스트 작업: Llama-3.1-405B(활성 405B) 와 DeepSeek V3.2(활성 37B) 가 거의 동일한 처리량 (약 15,900 vs 15,300 tok/s) 을 기록. MoE 의 희소성이 계산 비용을 크게 줄여주었음.
  • 비전 작업: Qwen3-VL(활성 22B) 이 Kimi-K2.5(활성 32B) 보다 6.5 배 높은 처리량 (47,873 vs 7,327 tok/s) 달성. 이는 GQA 아키텍처의 이점과 AITER 활성화, TP=8 사용 등 추가 요인과 결합된 결과.

3.4 작업 부하 의존적 처리량 포화 (Saturation)

• 메모리 대역폭 병목: 모든 모델이 특정 작업 부하 내에서 공통된 처리량 포화 지점을 보임.
  • 짧은 시퀀스 작업 (입력 500/출력 100): 약 500 동시 요청에서 포화.
  • 긴 시퀀스 작업 (입력 2048/출력 512): 약 100~200 동시 요청에서 포화.
• 원인: GPU 계산 능력 (FLOPs) 은 14% 미만이 사용되지만 메모리 대역폭이 병목 현상을 일으킴. 이는 LLM 추론이 계산 중심이 아닌 메모리 대역폭 중심임을 재확인.

3.5 신뢰성 및 안정성

• 모든 모델이 1,000 동시 사용자까지 100% HTTP 성공률을 기록.
• vLLM 의 연속 배치 (Continuous Batching) 및 스케줄링 메커니즘이 과부하 상황에서 요청을 거부하지 않고 대기열에 넣어 처리하여 안정성을 보장함.

4. 기술적 시사점 및 결론

• 단일 구성의 비효율성: 모든 모델에 적용 가능한 "만능" vLLM 설정은 존재하지 않음. 모델의 어텐션 메커니즘 (MLA/GQA), 희소성 (MoE/Dense), 헤드 수 등을 감지하여 블록 크기, AITER 설정, KV 캐시 전략, TP 수준을 동적으로 조정해야 함.
• AMD MI325X 의 적합성: 256GB HBM3e 와 6.0 TB/s 대역폭은 KV 캐시 오프로딩 없이도 대규모 모델을 수용할 수 있는 충분한 여유를 제공하며, 높은 메모리 대역폭이 LLM 추론의 주요 병목 해결에 핵심적임.
• 배포 가이드라인:
  1. MLA 모델은 block-size 1 필수, KV 오프로딩 불가.
  2. MLA 모델은 AITER 필수 (단, Kimi-K2.5 는 비활성화).
  3. AITER 활성화 시 측정 변동성 증가 가능성 고려.
  4. 비전 모델의 경우 Vision Encoder 의 차원 제약으로 인해 FP8 정량화가 불가능할 수 있음 (Qwen3-VL 의 경우 BF16 사용).

이 연구는 AMD Instinct MI325X 가 최첨단 LLM 추론을 위한 강력한 플랫폼임을 입증했을 뿐만 아니라, 다양한 아키텍처를 효율적으로 서비스하기 위한 구체적인 최적화 전략과 배포 시나리오를 제시했다는 점에서 의미가 큽니다.