🤖 machine learning

WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware

이 논문은 저사양 하드웨어에서 Mixture-of-Experts 모델을 위한 라우팅 인식 워킹 셋 관리 시스템인 WiSP를 소개하며, 이는 기본 서빙 엔진을 수정하지 않고도 전문가 가중치를 동적으로 페이징하고 전문가와 KV 캐시 간의 VRAM 할당을 최적화하여 디코드 처리량을 크게 향상시킨다.

원저자: Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "너무 커서 담을 수 없는" AI

당신이 수천억 페이지가 담긴 거대한 도서관(AI 모델)을 가지고 있다고 상상해 보세요. 당신은 이 책들을 아주 작은 휴대용 전자책 단말기(표준 컴퓨터 그래픽 카드 또는 GPU)로 읽고 싶어 합니다.

문제는 전자책 단말기에 이 도서관 전체를 한꺼번에 담을 만큼의 메모리가 부족하다는 점입니다. 하지만 문장 하나를 읽을 때마다, 당신은 오직 몇 권의 특정 책에서 몇 개의 특정 페이지들만 필요로 할 뿐입니다. 나머지 도서관의 책들은 사용되지 않은 채 놓여 있습니다.

현재의 해결책들은 이 문제를 해결하기 위해 도서관 전체를 창고(컴퓨터의 메인 메모리)에 보관해 두었다가, 페이지를 넘길 때마다 필요한 페이지를 가져오기 위해 창고로 달려가는 방식을 사용합니다. 하지만 창고로 가는 길(데이터 전송)이 오래 걸리기 때문에 이 방식은 매우 느립니다.

WiSP 솔루션: "똑똑한 사서"

저자들은 WiSP(Working-Set Paging)라는 시스템을 만들었습니다. WiSP는 단순히 매번 창고로 달려가는 대신, 당신이 무엇을 읽고 있는지 관찰하고, 곧 필요할 것 같은 책들을 골라 당신의 책상(GPU 메모리) 위에 작은 큐레이션 스택으로 준비해 두는 똑똑한 사서 역할을 합니다.

작동 방식은 세 가지 간단한 부분으로 나뉩 됩니다.

1. "스마트 스택" (전문가 페이징 - Expert Paging)

"Mixture-of-Experts"(MoE)라고 불리는 AI 모델에는 여러 가지 "전문가"(특화된 하위 모델)들이 있지만, 모델은 단어를 생성할 때마다 그중 몇 가지만 사용합니다.

기존 방식: 시스템은 레이어의 모든 전문가를 가져옵니다. 설령 두 개만 사용하더라도 말이죠. 이는 공간과 시간을 낭비합니다.
WiSP 방식: WiSP는 실제로 사용 중인 특정 전문가들만 책상 위에 유지합니다. 만약 새로운 전문가가 필요하면, 스택에서 기존의 것을 빠르게 빼내고 새 전문가를 창고에서 가져옵니다.
결과: 필요한 아주 작은 조각들만 이동하기 때문에 훨씬 더 빠릅니다. 논문에 따르면, 작은 컴퓨터에서 이 방식은 기존 방식보다 AI를 최대 2배 더 빠르게 실행합니다.

2. "공유된 책상" (메모리 할당 - Memory Allocation)

당신의 책상(GPU 메모리)은 매우 작습니다. 여기에는 두 가지 요소가 공간을 차지하기 위해 싸우고 있습니다:

전문가 스택 (Expert Stack): 지금 당장 읽어야 할 책들.
문맥 노트 (KV Cache): 지금까지 읽은 이야기의 내용을 잊지 않기 위해 적어둔 메모들.

만약 책상에 책을 너무 많이 올려두면, 메모를 적을 공간이 없습니다. 반대로 메모를 너무 많이 적어두면, 책을 가져올 공간이 부족해집니다.

WiSP 솔루션 (MV-WSA): 이것은 책상의 공간을 어떻게 나눌지 결정하는 똑똑한 규칙입니다. 시스템은 끊임없이 자문합니다: "지금 책을 더 많이 올려두는 게 좋을까, 아니면 메모를 더 많이 적는 게 좋을까?"
이 시스템은 공간 분할을 동적으로 조정합니다. 긴 이야기를 쓰고 있다면 메모를 위한 공간을 더 많이 주고, 주제를 빠르게 전환하고 있다면 책을 위한 공간을 더 많이 줍니다. 이를 통해 어느 한쪽이 부족해서 공간이 모자라는 일이 없도록 보장합니다.

3. "수정구슬"의 신화 (예측이 도움이 되지 않은 이유)

연구진은 다음과 같은 의문을 가졌습니다: "만약 우리가 수정구슬(AI 예측)을 사용하여 다음에 어떤 책이 필요할지 미리 짐작하고, 당신이 요청하기도 전에 미리 가져다 놓는다면 어떨까?"

놀라운 사실: 연구진은 이 특정한 환경(한 번에 한 문장씩 읽는 상황)에서는 예측이 속도를 높여주지 못한다는 것을 발견했습니다.
이유는 무엇일까요? 창고와 책상 사이의 "도로"(데이터 연결)가 너무 좁기 때문입니다. 설령 완벽하게 예측한다 하더라도, 트럭이 한 번에 실을 수 있는 양은 정해져 있습니다. 병목 현상은 무엇을 맞출 것인가의 문제가 아니라, 트럭의 속도 자체에 있습니다.
진짜 가치: "수정구슬"은 여전히 유용하지만, 속도를 위해서가 아닙니다. 그것은 사서가 당신에게 딱 맞는 크기로 스택을 얼마나 구성해야 하는지 알 수 있게 도와줍니다. 이를 통해 시스템은 스택의 크기를 완벽한 사이즈로 줄여서, 결과적으로 메모를 위한 책상 공간을 더 많이 확보할 수 있게 해줍니다.

핵심 요약

이 논문은 거대한 AI 모델을 작은 컴퓨터에서 실행하는 것은 단순히 계산 능력의 문제가 아니라 메모리 관리의 문제라고 주장합니다.

WiSP는 똑똑한 사서처럼 행동하며, 필요한 책들만 책상 위에 두고 효율적으로 교체하는 도구입니다.
이는 AI 모델 자체를 바꾸는 것이 아니라, 메모리를 더 잘 관리하는 것입니다.
불필요한 데이터를 옮기는 데 시간을 낭비하지 않음으로써, 작은 기기에서도 AI를 훨씬 빠르게 실행하게 해줍니다.
우리는 이 과정을 통해, 이 특정 시나리오에서는 미래를 예측하려고 노력하는 것보다 작업 공간을 효율적으로 관리하는 것이 더 중요하다는 것을 배울 수 있습니다.

이 시스템은 매우 효과적이어서, 이전에는 아예 감당할 수 없었던 단일 컴퓨터 카드에서도 거대한 AI 모델을 실행할 수 있게 해주며, 이 과정에서 AI가 내놓는 답변의 품질은 전혀 떨어뜨리지 않습니다.

기술 요약: WiSP – 극도로 낮은 자원 환경의 MoE 서빙에 대한 워킹 셋(Working-Set) 관점의 접근

문제 정의
Qwen3-30B-A3B 및 Mixtral-8×7B와 같은 현대적인 Mixture-of-Experts (MoE) 모델은 파라미터의 대부분을 전문가(expert) 레이어에 배치하지만, 특정 토큰에 대해 활성화되는 전문가는 극히 일부에 불과합니다. 제한된 VRAM을 가진 범용 GPU에서 이러한 모델들은 메모리에 전체를 담을 수 없는 경우가 많습니다. 표준 솔루션인 정적 레이어 수준 CPU 오프로딩(예: vLLM의 --cpu-offload-gb)은 메모리 사용량을 낮게 유지하지만, 매 포워드 패스마다 레이어 내의 모든 전문가를 PCIe 버스를 통해 전송합니다. 이러한 방식은 MoE 모델의 희소성(sparsity)을 활용하지 못하며, 결과적으로 이들의 효율성 이점을 상쇄해 버립니다.

저자들은 저자원 MoE 서빙을 워킹 셋 관리 문제로 프레임화합니다. 이 체제에서 GPU 메모리는 제한된 빠른 저장소(fast store)이며, 호스트 메모리는 백킹 스토어(backing store)가 됩니다. 두 가지 서로 다른 메모리 수요 스트림이 동일한 VRAM 예산을 두고 경쟁합니다:

전문가 가중치(Expert Weights): 라우팅에 의존하는 스트림으로, 토큰당 일부 전문가만 필요합니다.
KV 캐시(KV Cache): 자기회귀적 생성(autoregressive generation)을 위해 필요한 토큰 의존적 스트립입니다.

기존 시스템들은 이를 별개의 문제로 취급하거나, 연산과 데이터 전송을 중첩(overlap)할 수 있는 고배치 데이터센터 설정을 대상으로 합니다. 그러나 저대역폭 인터랙티브 서빙(예: 로컬 코딩 어시스턴트)에서는 단계당 연산량이 매우 적기 때문에, 연산이나 예측 정확도보다는 PCIe 대역폭이 주요 병목 지점이 됩니다.

방법론: WiSP (Working-Set Paging)
본 논문은 WiSP를 소개하며, 이는 전문가의 잔류 집합(resident expert set)을 모델의 라우팅 동작에 대한 캐시로 취급하고 KV 캐시와 함께 공동 관리하는 시스템입니다. WiSP는 두 가지 주요 구성 요소로 이루어집니다:

라우팅 인식 전문가 페이저 (Routing-Aware Expert Pager):
- 메커니즘: WiSP는 기존의 전문가 맵 간접 호출 훅( $\pi$ )을 활용하여 수정되지 않은 서빙 엔진(예: vLLM)에 플러그인 방식으로 결합됩니다. 전체 레이어를 로드하는 대신, 재사용될 가능성이 높은 "워킹 셋"의 전문가들만을 포함하는 작은 GPU 스크래치 공간을 유지합니다.
- 동작: 각 단계에서 페이저는 호스트 메모리로부터 누락된 라우팅 전문가만을 가져오고(H2D), 공간을 확보하기 위해 최근 최소 사용(LRU)된 전문가를 방출(evict)합니다.
- 보장: 기본 커널과 가중치가 변경되지 않고 매핑만 리다이렉트되기 때문에, WiSP는 베이스라인 엔진과 **바이트 단위로 동일한 출력(byte-identical outputs)**을 생성합니다. 새로운 커널, 양자화 변경, 또는 모델 재학습이 필요하지 않습니다.
MV-WSA (Marginal-Value Working-Set Allocation):
- 할당 문제: 전문가 가중치와 KV 캐시는 동일한 VRAM 예산을 공유하므로, 잔류 전문가 세트를 늘리면 KV 용량이 줄어들고 그 반대도 마찬가지입니다.
- 전략: MV-WSA는 전문가 예산과 KV 예산 사이의 최적의 분할 비율( $f$ )을 결정합니다. 이는 두 풀(pool) 간의 **바이트당 한계 지연 시간 이득(marginal latency benefit per byte)**을 균등하게 만드는 것을 목표로 합니다.
- 입실 허용 하한선 (Admission Floor): 결정적으로, 할당기는 현재 동시성을 수용하는 데 필요한 최소 KV 캐시 크기( $\kappa_{min}$ )를 강제합니다. 만약 제약 없는 최적의 분할이 KV 캐시를 고갈시킨다면, 시스템은 스케줄러가 초기화되고 실행될 수 있도록 분할 값을 클램핑(clamping)합니다.
- 구현 모드:
  - 오프라인 설정기 (Offline Configurator): 대표적인 트레이스를 분석하여 시작 시 고정된 분할 비율을 설정합니다.
  - 온라인 컨트롤러 (Online Controller): "드레인 배리어(drained barriers, 활성 요청이 메모리 블록을 점유하지 않는 지점)"에서 서빙 중에 두 풀의 크기를 동적으로 조정하며, 전체 예산을 초과하지 않으면서 전문가 스크래치와 KV 풀 사이에서 물리적으로 바이트를 이동시킵니다.

프리페칭(Prefetching)에 관한 주요 발견
본 논문의 핵심적인 경험적 발견은 라우팅 기반 프리페칭이 단일 스트림, 저동시성 디코드(decode)에서 거의 또는 전혀 이득을 주지 못한다는 점입니다.

병목 현상: 성능은 예측 정확도가 아니라 PCIe 대역폭에 의해 제한됩니다. 배치-1 디코드에서는 단계당 연산량이 너무 작아 PCIe 전송을 뒤로 숨길(hide) 수 없습니다.
결과: 스펙큘레이티브 프리페칭(Speculative prefetching)은 오히려 대역폭을 경쟁하고 즉각적인 다음 단계에 필요한 전문가를 방출하기 때문에 성능을 저하시키는 경우가 많습니다(테스트에서 처리량 약 50% 감소).
재정의: 라우팅 신호는 지연 시간을 숨기기 위한 용도가 아니라 메모리 할당을 위한 가치 있는 도구입니다. 이는 시스템이 최소한의 "안전한" 잔류 집합 크기를 식별하도록 도와, 유저당 전문가 캐시 크기를 결정하고 확보된 VRAM을 KV 캐시에 할당할 수 있게 합니다.

결과
저자들은 NVIDIA H100(일부 실험은 더 작은 메모리 예산을 에뮬레이션함)을 사용하여 다양한 MoE 아키텍처(LLM, VLM, Hybrid SSM-MoE, Diffusion 모델)에 대해 WiSP를 평가했습니다.

처리량 이득: 모델이 메모리에 들어가지 않는 동일한 VRAM 예산 조건에서, WiSP는 정적 CPU 오프로딩 대비 최대 1.95배의 디코드 처리량을 달 achieves 합니다. 이 이득은 WiSP는 상당 부분의 재사용 전문가 세트를 캐싱할 수 있는 반면 베이스라인은 모든 것을 스트리밍해야 하는 중간 메모리 예산 구간에서 가장 높게 나타납니다.
KV 용량: 전문가 발자국(footprint)을 줄임으로써, WiSP는 KV 캐시 용량을 직접적으로 늘립니다. 실험에 따르면 전문가 캡(cap)을 축소함으로써 동일한 총 메모리 예산에서 최대 동시성을 40% 이상 높일 수 있습니다.
할당 성능:
- 오프라인: MV-WSA 설정기는 프리필(prefill)과 디코드 모두에서 잘 작동하며, 시뮬레이션 상에서 워크플로우 오라클(oracle)의 몇 퍼센트 이내의 오차를 유지하는 반면, 고정 분할(예: 50/50)은 약 20% 더 성능이 떨어집니다.
- 온라인: 동적 이중 크기 조정 컨트롤러는 워크로드 변화(예: 롱 컨텍스트 턴에서 툴 콜 버스트로의 전환)에 적응함으로써 최적의 정적 오프라인 분할보다 1.20배 높은 처리량을 제공합니다.
범용성: WiSP는 단일 GPU에 담을 수 없는 다양한 MoE 아키텍처(예: Jamba-v0.1, MiniMax-M2)를 성공적으로 서빙하며, 시각-언어 모델(Kimi-VL) 및 확산 모델(DiT-MoE, LLaDA-MoE)을 포함한 모달리티 전반에서 바이트 단위로 동일한 출력을 유지합니다.

의의 및 주장
본 논문은 전문가 잔류와 KV 캐싱을 단일 워킹 셋 할당 문제로 취급함으로써, 저자원 MoE 서빙을 위한 통합된 프레임워크를 제공한다고 주장합니다.

설계 패러다임의 전환: 저자들은 저동시성 서빙의 경우, 초점은 "어떻게 전문가를 더 빨리 프리페치할 것인가"에서 "어떻게 전문가와 KV 캐시 사이에 VRAM을 최적으로 할당할 것인가"로 옮겨가야 한다고 주장합니다.
실질적 영향: WiSP는 출력의 정확성을 희생하거나 특수 하드웨어(Intel AMX 등)를 요구하지 않고도 범용 하드웨어에서 프런티어급 MoE 모델을 서빙할 수 있게 합니다.
한론: 저자들은 명시적으로 Wi-SP가 모델이 VRAM에 들어가지 않는 체제에 설계되었다는 점을 언급합니다. 모델이 VRAM에 들어간다면 정적 잔류 방식이 불필요한 간접 호출을 추가하지 않으므로 더 빠릅니다. 또한, 프리페칭 최적화는 단일 스트림 디코드에서 효과가 없는 것으로 나타났으나, 연산 중첩이 가능한 고배치 또는 멀티 턴 에이전트 세션에서는 관련이 있을 수 있습니다.

결론적으로, 메모리 제한적인 단일 스트림 디코드 환경에서 라우팅 신호는 속도를 높이는 레버(speed lever)가 아니라 메모리 레버(워킹 셋의 크기를 결정하는 도구)이며, 지능적인 할당이 성능의 주요 동력임을 보여줍니다.