A 35B Hybrid-Attention Mixture-of-Experts Model on a 6GB 2011 GPU: Hand-Written 4-bit CUDA Inference for Fermi

기술 요약: Fermi (sm_20)를 위한 수동 작성된 4비트 CUDA 추론

문제 정의
본 논문은 현대적인 추론 가속기가 존재하기 이전의 하드웨어에서 최첨단 프런티어급 대규모 언어 모델(LLM)을 실행하는 과제를 다룹니다. 저자들은 350억 개의 파라미터를 가진 혼합 전문가(Mixture-of-Experts, MoE) 모델이자 하이브리드 게이트형 델타 네트워크(GDN) 및 풀 어텐션(full-attention) 백본을 갖춘 Qwen3.6-35B-A3B를 NVIDIA Tesla C2075에서 실행하려고 시도합니다. 2011년에 출시된 이 Fermi 세대 GPU(sm_20)는 6GB의 GDDR5 메모리만을 보유하고 있으며, 텐서 코어가 없고, 네이티브 FP16 연산을 지원하지 않으며, DP4A 정수 점곱(integer dot-product) 명령어가 없습니다. 결정적으로, 4비트 양자화된 모델은 약 10.5GB의 메모리를 필요로 하여 장치의 용량을 거의 두 배 가까이 초과합니다. 또한, 모델의 하이브리드 아키텍처에는 재귀적 상태(GDN)가 포함되어 있어 표준 프리픽스 캐싱(prefix-caching) 전략을 복잡하게 만듭니다. 한편, 호스트 CPU(Intel Xeon X5690)는 AVX 명령어가 없어 SIMD 능력이 SSSE3로 제한됩니다.

방법론
이러한 제약을 극복하기 위해 저자들은 현대적인 툴체인이나 기성 커널을 피하고, 원리부터 직접 구축한 추론 엔진을 제작했습니다. 핵심 전략은 각 단계의 병목 현상에 따라 워크로드를 GPU와 호스트 CPU로 분할하는 하이브리드 실행 모델입니다:

1. 하이브리드 GPU-Prefill / CPU-Decode:

   • Prefill (GPU): GPU는 입력 프롬프트의 배치 처리를 담당합니다. 10.5GB의 모델이 6GB VRAM에 담길 수 없으므로, 전문가(expert) 가중치는 레이어별로 호스트 RAM에서 GPU로 스트리밍됩니다. GPU는 GDN 재귀, 소프트맥스 어텐션, 그리고 MoE 라우팅을 위한 그룹화된 4비트 GEMM을 수행합니다.
   • Decode (CPU): CPU는 단일 토큰 생성을 담당합니다. 단일 토큰을 위해 PCIe 2.0을 통해 가중치를 스트리밍하는 것은 지연 시간 측면에서 불가능하므로, CPU는 RAM에서 4비트 가중치를 직접 읽습니다. 저자들은 AVX의 부재를 우회하기 위해 pmaddubsw SSSE3 명령어를 사용하여 정수 곱셈-가산(multiply-adds)을 수행하는 수동 작성된 W4A8 (4비트 가중치, 8비트 활성화) 정수 커널을 구현했습니다.

2. 메모리 및 양자화:

   • 양자화: 모델은 가중치에 대해 그룹 단위 대칭 4비트 양자화(Q4_0 계열)를 사용하며, 디코드 경로에는 8비트 활성화를 결합합니다.
   • 전문가 프루닝(Expert Pruning): 상주하는 메모리 점유를 줄이기 위해 **REAP (Router-weighted Expert Activation Pruning)**를 적용하여, 정확도 손실을 크게 없이 전문가 수를 레이어당 256개에서 128개로 50% 줄였습니다.
   • 메모리 관리: 데이터 전송 대역폭을 최대화하고 PCIe 전송 비용을 최소화하기 위해 전문가들을 페이지 잠금(page-locked) 및 NUMA 인터리빙된 호스트 메모리에 저장합니다.

3. 재귀적 아키텍처를 위한 프리픽스 캐싱:

   • GDN 레이어의 경우 재귀적 상태가 시퀀스의 끝에서만 유효하기 때문에 표준 KV 캐시를 재사용할 수 없습니다. 저자들은 **위치 인덱스 스냅샷 캐시(position-indexed snapshot cache)**를 구현하여, 블록 경계에서 전체 재귀 상태를 체크포인트로 저장했습니다. 이를 통해 새로운 요청이 동일한 프리픽스를 공유할 경우 전체 시퀀스를 다시 계산하는 대신 가장 가까운 유효 스냅샷에서 재개할 수 있습니다.

4. 최적화:

   • 전문가 피닝(Expert Pinning): 전문가를 페이지 잠금 메모리로 이동시켜 전송 시간을 크게 단축했습니다.
   • 단일 패스 프리필(Single-Pass Prefill): 프롬프트를 한 번에 처리함으로써(청킹하지 않고) 중복된 전문가 재스트리밍을 제거하고 GEMM 배치 크기를 최대화했습니다.
   • NUMA 인터리빙: 메모리 할당을 두 CPU 소켓에 분산시켜 디코드 처리량을 약간 개선했습니다.

주요 기여

1. 하이브리드 실행 엔진: 메모리 한계와 GPU의 빠른 정수 점곱 명령어 부재에 따라, 프리필은 GPU로 오프로드(가중치 스트리밍)하고 디코드는 CPU(정수 SIMD)로 수행하는 sm_20용 작동 시스템을 구축했습니다.
2. 정수-SIMD 디코드 경로: pmaddubsw를 활용하여 현대적인 최적화 라이브러리와 대등한 디코드 속도를 달이는 커스텀 W4A8 커널을 구현하여, 스칼라 베이스라인 대비 처리량을 3배 높였습니다.
3. 재귀적 프리픽스 캐시: 스냅십 스냅샷을 통해 프리픽스 재사용을 가능하게 하는 GDN 아키텍처용 혁신적인 캐싱 메커니즘을 구현하여, 반복되는 프리필 지연 시간을 78초에서 0.5초로 단축했습니다.
4. 경험적 하드웨어 바닥(Empirical Hardware Floor): 플랫폼의 실질적인 천장을 정의하는 부정적 결과(negative results)를 포함하여, Fermi 하드웨어의 구조적 한계를 식별하는 상세한 측정 연구를 수행했습니다.
5. 멀티모달 지원: sm_20으로 성공적으로 포팅된 밑바닥부터 만든 비전 타워를 통해 시각적 입력을 구별해냄으로써, 이 엔진이 텍스트를 넘어 확장될 수 있음을 입증했습니다.

결과

• 지연 시간 감소: 전문가 피닝, 단일 패스 프리필, NUMA 인터리빙을 통해 947개 토큰 프롬프트에 대한 프리필 지연 시간을 34% 단축했습니다 (57.2초에서 37.5초로).
• 처리량 향상: 정수-SIMD 디코드 커널을 통해 디코드 처리량을 초당 2.8개에서 8.6개 토큰으로 증가시켰습니다 (약 3배 향상).
• 프리픽스 재사용: 스냅샷 캐시를 활용한 반복 프롬프트의 프리필 시간이 78.4초에서 0.5초로 급감했습니다.
• 부정적 결과 (하드웨어 한계):
  • 언어 모델 헤드(language model head)를 GPU로 오프로드하는 것은 PCIe 2.0 지연 시간으로 인해 더 느렸습니다 (토큰당 116ms → 139ms).
  • 하이퍼스레딩(12개 물리 코어 대신 24개 논리 코어 사용)은 자원 경합으로 인해 토큰당 지연 시간을 1,722ms까지 높이며 치명적인 결과를 초래했습니다.
  • 추가적인 커널 재작성(GDN 재귀 분할, 상태를 공유 메모리로 이동 등)은 이득이 없거나 오히려 더 느려졌으며, 이는 병목 현상이 튜닝 가능한 문제가 아니라 구조적 문제(thin-M GEMM 및 순차적 재귀)임을 나타냅니다.

의의 및 주장
저자들은 이 작업이 속도 기록을 세우거나 새로운 알고리즘을 주장하는 것이 아님을 명시합니다. 대신, 이 연구의 의의는 다음과 같습니다:

• 공학적 엄밀성: 지원되지 않는 컴퓨팅 성능을 위해 전체 엔진을 수동으로 작성함으로써, 2026년형 MoE 모델을 14년 된 실리콘에서 실행하기 위해 무엇이 필요한지를 보여줍니다.
• 제약 기반 설계: 특정 하드웨어 제약(텐서 코어 부재, 작은 VRAM, AVX 부재)이 어떻게 특정 아키텍처 결정(하이브리드 CPU/GPU 분할, 정수 SIMD, 스냅샷 캐싱)을 강제하는지 보여줍니다.
• 현실 점검: 무엇이 실패하는지(오프로딩, 하이퍼스레딩, 커널 재작성 등)를 기록함으로써, Fermi 아키텍처의 실질적인 한계를 정의하는 "정직한 하드웨어 바닥"을 제공합니다.
• 레거시 생존 가능성: 편의성을 포기하고 수동적인 저수준 최적화에 전념한다면, 소프트웨어 생태계에서 버려진 하드웨어에서도 놀라운 수준의 현대적 역량을 도달할 수 있음을 결론짓습니다.