🤖 machine learning

InferScale: GPU-Native KV Injection for Personalized LLM Serving

InferScale는 재사용 가능한 KV 상태를 사전 계산하여 vLLM 캐시에 직접 주입함으로써, 높은 정확도를 유지하면서도 검색된 컨텍스트의 크기와 관계없이 첫 번째 토큰 생성 시간(time-to-first-token) 지연 시간을 단축하여 개인화된 LLM 서빙을 가속화하는 GPU 네이티브 메모리 시스템입니다.

원저자: Peter Li, Prashant Pandey

게시일 2026-07-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peter Li, Prashant Pandey

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 당신의 인생 전체를 가르쳐서, 그 로봇이 당신에 관한 질문에 답할 수 있게 하려고 한다고 상상해 보세요. 당신이 로봇에게 질문을 할 때마다, 로봇이 생각하기 위해서는 당신의 전기를 통째로 로봇의 뇌 속에 붙여넣어야 합니다. 만약 당신의 전기(biography)가 짧다면 로봇은 빠르게 생각할 것입니다. 하지만 만약 당신의 전기가 길어서, 수년간의 기억, 내부 농담, 과거의 모험들로 가득 차 있다면, 로봇은 단순한 "내가 제일 좋아하는 색깔이 뭐야?"라는 질문에 답하기 위해서 그 전기의 모든 단어를 다시 읽고 다시 처리해야 합니다. 이 재독(re-reading) 과정은 느리고 비용이 많이 듭니다. 마치 도서관에서 책 한 권을 건네주기 전에 사서가 도서관의 모든 책을 다시 제자리에 꽂아야 하는 것과 같습니다. 이것이 현재 "개인화된" AI의 상태입니다. 당신에게 제공하는 기억이 많아질수록, AI는 당신과 대화하는 속도가 느려집니다.

당신이 읽게 될 이 논문은 컴퓨터 과학 세계의 "Key-Value 캐싱(Key-Value caching)"이라는 영리한 기술을 사용하여 이 문제를 해결합니다. 로봇의 뇌를 지금까지 읽은 내용 중 가장 중요한 부분을 적어두는 거대한 화이트보드라고 생각해 보세요. 그러면 로봇은 원본 텍스트를 다시 읽을 필요가 없습니다. 보통은 책장의 책 순서를 바꾸면 로봇은 화이트보드 전체를 다시 써야 합니다. 하지만 만약 로봇이 서랍에서 미리 적힌 메모를 꺼내어, 그것을 어디에 두든 즉시 화이트보드에 붙일 수 있다면 어떨까요? 이것이 이 연구의 핵심 아이디어입니다. 로봇이 당신의 기억을 매번 다시 읽게 만드는 대신, 우리는 각 기억에 대한 "메모"를 미리 계산하여 로봇의 초고속 내부 하드 드라이브에 저장합니다. 그런 다음, 당신이 질문을 하면 우리는 그 메모들을 로봇의 뇌 속에 바로 떨어뜨려 놓습니다.

문제점: "재독(Re-Reading)"의 덫
오늘날 당신이 긴 대화 기록을 가진 AI 비서를 사용할 때, 시스템은 가장 관련 있는 기억을 찾아내어 당신의 새로운 질문에 붙여넣어야 합니다. 이것을 "프롬프트 인젝션(prompt injection)"이라고 합니다. 당신이 친구에게 조언을 구하고 있는데, 말을 할 때마다 실제 질문을 하기 전에 지난 50페이지 분량의 일기를 소리 내어 읽어야 한다고 상상해 보세요. 페이지 수가 많아질수록 조언을 얻기까지 시간이 더 오래 걸립니다. 설령 똑같은 질문을 열 번 하더라도, 친구는 그 50페이지를 열 번 다 읽어야 합니다. 이는 AI를 특히 당신의 개인적 기억이 늘어남에 따라 매우 느릿하게 느껴지게 만듭니다.

해결책: InferScale
연구자들인 피터 리(Peter Li)와 프라샨트 판데이(Prashant Pandey)는 InferScale이라는 새로운 시스템을 구축했습니다. AI가 기억을 다시 읽게 만드는 대신, InferScale은 당신이 대화를 시작하기도 전에 무거운 작업을 미리 해둡니다. 이 시스템은 모든 개별 기억 사실(예: "나는 피자를 좋아한다" 또는 "내 강아지 이름은 렉스다")을 가져와서, 사전에 그 "뇌의 메모"(KV 상태라고 불림)를 계산합니다. 이 메모들은 컴퓨터의 초고속 뇌인 그래픽 카드(GPU)에 직접 저장됩니다.

당신이 질문을 하면, 시스템은 AI에게 기억의 텍스트를 보내는 것이 아닙니다. 대신, GPU에서 적절한 "뇌의 메모"를 찾아내어 AI의 작업 기억 장치에 직접 주입합니다. 이는 도서관에서 당신에게 책을 건네주는 대신, 사서가 필요한 정확한 문단만을 당신의 책상 위에 즉시 붙여주는 것과 같습니다. AI는 원본 텍스트를 다시 읽을 필요가 없습니다. 그저 그 메모를 사용하기만 하면 됩니다.

마법 같은 기술들
이것이 작동하게 만들기 위해, 팀은 두 가지 까다로운 퍼즐을 풀어야 했습니다.

"움직이는 목표" 문제 (Chunked RoPE):
보통 이러한 "뇌의 메모"는 텍스트의 특정 위치에 묶여 있습니다. 만약 어떤 기억을 이야기의 앞부분에서 중간 부분으로 옮긴다면, 그 메모는 틀린 것이 됩니다. 연구진은 Chunked RoPE라는 기술을 발명했습니다. 메모가 회전할 수 있는 특수한 종류의 종이에 적혀 있다고 상상해 보세요. 당신이 그 종이를 책상의 어느 위치에 놓더라도, 그것을 돌려서 새로운 위치에 완벽하게 맞출 수 있습니다. 이를 통해 시스템은 한 곳에 저장된 기억을 수학적 오류 없이 대화의 어느 곳에나 배치할 수 있습니다.
"맥락(Context)" 문제 (Context-Window Encoding):
만약 당신이 "그는 가게에 갔다"와 같은 단일 문장만 가져온다면, AI는 "그"가 누구인지 모를 수 있습니다. 만약 기억을 고립된 상태로 저장한다면, 맥락을 잃게 됩니다. 이를 해결하기 위해, 시스템은 기억을 저장할 때 그 앞의 문장들을 포함하는 작은 창(window)을 함께 저장합니다(예: "존은 가게에 갔다"). 하지만 시스템은 전체 창이 아니라, 특정 기억 부분에 대한 "뇌의 메모"만을 저장합니다. 이렇게 하면 AI는 전체 문단을 다시 읽지 않고도 맥락("그"가 존이라는 사실)을 이해할 수 있습니다.

연구 결과
결과는 인상적입니다. 연구진은 세 가지 AI 모델(Llama-3.1-8B, Mistral-7B, Qwen2.5-7B)을 사용하여 긴 대화 데이터셋으로 테스트를 진행했습니다.

속도: 기존 방식(Mem0)에서는 추출되는 기억의 수를 5개에서 50개로 늘릴 때, AI가 말을 시작하기까지 걸리는 시간(첫 번째 토큰 생성 시간, Time-to-First-Token)이 106% 급증했습니다(33.2ms에서 68.3ms로). 반면, InferScale의 경우 동일한 증가에도 불구하고 단 **4%**의 저하만을 보였습니다(16.6ms에서 17.3ms로).
처리량(Throughput): 100명의 사용자가 동시에 시스템을 사용할 때, InferScale은 기존 시스템보다 3.7배에서 4.5배 더 많은 질문을 초당 처리했습니다.
정확도: 시스템이 기억을 별도로 저장하기 때문에 AI가 혼란을 겪을 위험이 있었습니다. 그러나 "Context-Window" 기술을 사용하여 연구진은 거의 모든 정확도를 회복했습니다. 가장 높은 메모 부하 상황에서, InferScale은 **60.3%**의 정답률을 기록했는데, 이는 기존 시스템의 **63.3%**와 매우 근접하면서도 훨씬 빨랐습니다.

왜 중요한가
이 논문은 당신이 똑똑하고 기억이 풍부한 AI와 빠른 AI 사이에서 하나를 선택할 필요가 없다는 것을 증명합니다. 메모 저장을 GPU로 옮기고 "뇌의 메모"를 직접 주입함으로써, 이들은 AI의 속도와 기억의 크기를 분리했습니다. 이 시스템은 AI 모델의 재학습이나 기본 엔진의 변경을 요구하지 않으므로, 미래의 개인화된 AI 비서를 위한 실용적인 업그레이드입니다. 심지어 메모 데이터가 빠른 GPU에 들어갈 만큼 크지 않더라도, 일반 컴퓨터 메모로 오프로딩(offloading)하는 것만으로도 현재의 방식보다 훨씬 더 빠른 속도를 유지할 수 있음을 보여주었습니다.

기술 요약: InferScale

문제 정의

대규모 언어 모델(LLM) 애플리케이션은 점차 여러 요청에 걸쳐 공유되는 지속적이고 개인화된 컨텍스트(예: 누적된 사용자 기억 또는 긴 대화 이력)에 의존하고 있습니다. 현재의 프로덕션 메모리 시스템(예: Mem0, MemGPT, Zep)은 긴 컨텍스트의 이차적(quadratic) 프리필 비용을 해결하기 위해 관련 있는 메모리 사실들의 부분 집합( $k$ )을 검색하여 프롬프트에 텍스트로 주입하는 방식을 사용합니다.

그러나 이러한 "프롬프트 주입(prompt injection)" 방식은 상당한 서빙 비용을 발생시킵니다. 검색된 각 사실은 매 요청마다 다시 프리필되어야 합니다. 결과적으로, 하단의 메모리가 모든 요청에서 동일하더라도, TTFT(Time-to-First-Token)는 검색 예산( $k$ )에 따라 선형 또는 이차적으로 증가합니다. 기존의 KV 재사용 기술인 프리픽스 캐싱(prefix caching)은 재사용되는 토큰이 고정된 위치를 차지한다고 가정하기 때문에 여기서 실패하며, 메모리 시스템은 각 요청을 위해 서로 다른 사실의 부분 집합을 동적으로 구성하므로 이 가정을 위반합니다.

방법론

InferScale은 반복적인 프롬프트 프리필링을 직접적인 **KV 주입(KV injection)**으로 대체하는 GPU 네이티브 retrieve-and-inject 아키텍처를 제안합니다. 검색된 텍스트를 GPU로 보내 재계산하는 대신, InferScale은 메모리 사실의 Key-Value(KV) 표현을 미리 계산하고 이를 어텐션 캐시에 직접 주입합니다.

이 시스템은 vLLM 서빙 엔진의 KV-커넥터 인터페이스를 통한 플러그인으로 구현되었으며, 모델 파인튜닝이나 엔진 수정이 필요하지 않습니다. 아키텍처는 두 단계로 구성됩니다:

1. 오프라인 단계: 컨텍스트 윈도우 인코딩 (Context-Window Encoding)

사실들을 독립적으로 인코딩할 때 발생하는 교차 사실(cross-fact) 컨텍스트의 손실 문제를 해결하기 위해, InferScale은 컨텍스트 윈도우 인코딩을 채택합니다.

프로세스: 각 메모리 사실은 구성 가능한 윈도우( $w$ ) 크기의 이전 대화 턴과 함께 인코딩됩니다.
최적화: 대상 사실에 해당하는 KV 텐서만 유지하고, 컨텍스트 토큰은 폐기합니다.
결 결과: 저장된 KV 표현은 (대명사 등을 해결하기 위한) 필요한 변별적 컨텍스트를 포착하면서도, 서빙 시점에 컨텍스트 토큰을 다시 프리필할 필요가 없도록 합니다.

2. 온라인 단계: 청크형 RoPE 및 KV 주입 (Chunked RoPE and KV Injection)

검색된 사실들이 동적으로 조립되므로(임의의 프롬프트 위치에서 KV 상태를 재사용할 수 있도록), InferScale은 **청크형 RoPE(Chunked RoPE)**를 도입합니다.

Pre-RoPE 저장: 오프라인 인코딩 중에, 회전 위치 임베딩(Rotary Position Embeddings, RoPE)이 적용되기 전의 키(keys)를 가로챕니다. 이 사전 회전된 키와 원시 값(raw values)이 GPU에 저장됩니다.
동적 회전: 서빙 시점에 검색된 사실들이 연속적인 세그먼트로 구성됩니다. 시스템은 새로운 서빙 타임 위치에 따라 사전 저장된 키에 적절한 RoPE 회전을 적용합니다.
이론적 보장: 논문은 이 재회전(re-rotation)이 RoPE 하에서 수학적으로 정확함을 증명하며(Theorem 6), 이를 통해 어텐션 스코어가 해당 위치에서 사실들이 프리필되었을 때 생성되는 것과 동일함을 보장합니다.
주입: 구성된 KV 텐서는 vLLM의 페이지드 KV 캐시(paged KV cache)로 직접 스캐터 카피(scatter-copy)됩니다. 그 후 모델은 쿼리 토큰만을 프리필하며, 주입된 메모리에 대해 마치 계산된 것처럼 어텐션을 수행합니다.

주요 기여

Retrieve-and-Inject 추론: 저자들은 검색된 메모리가 반드시 재프리필될 필요가 없음을 입증했습니다. 그들은 (메모리가 의도된 위치에 주입된다는 조건 하에) 사전 계산된 KV 상태를 어텐션 캐시에 직접 주입하는 것이 인과적 디코더 트랜스포머(causal decoder transformers)에 대해 프롬프트 주입과 정확히 동일함을 증명했습니다(Theorem 3).
청크형 RoPE (Chunked RoPE): 위치 독립적인 KV 재사용을 위한 새로운 메커니즘입니다. 키를 회전 인코딩 전에 저장하고 주입 시점에 재회전함으로써, 한 번 인코딩된 사실이 근사치 없이 임의의 위치에 주입될 수 있도록 합니다(Theorem 6).
컨텍스트 윈도우 인코딩 (Context-Window Encoding): 독립적 사실 인코딩으로 인해 손실된 정확도를 복구하는 기술입니다. 오프라인 단계에서 이전 컨텍스트 윈도우와 함께 사실을 인코딩함으로써, 서빙 타임의 재계산 비용 없이 교차 사실 간의 상호작용을 보존합니다.
GPU 네이티브 시스템 설계: InferScale은 GPU 상주형 시맨틱 검색(Jasper 인덱스 사용)을 재사용 가능한 KV 저장소와 통합합니다. 이를 통해 검색 인덱스와 KV 저장소를 모두 GPU에 유지함으로써, 검색된 텍스트의 PCIe 전송 및 반복적인 프리필링을 제거합니다.

결과

LoCoMo 벤치마크에서 세 가지 오픈 웨이트 모델(Llama-3.1-8B, Mistral-7B, Qwen2.5-7B)을 대상으로 SOTA 시스템인 Mem0와 비교 평가하였습니다:

지연 시간 (TTFT): InferScale은 서빙 지연 시간을 검색 예산으로부터 분리합니다. $k$ 가 5에서 50으로 증가함에 따라, Mem0의 TTFT는 106% 증가하는 반면, InferScale의 TTFT는 거의 일정하게 유지됩니다(Llama-3.1-8B 기준 약 4% 증가). $k=50$ 일 때, InferScale은 Mem0 대비 TTFT에서 3.6~4.8배의 속도 향상을 달だけで 성취합니다.
처리량 (Throughput): 동시 부하(최대 100명의 사용자) 하에서, InferScale은 거의 선형적인 스케일링을 보이며 Mem0보다 3.7~4.5배 높은 처리량을 달성합니다. Mem0는 반복적인 프리필링의 계산 병목 현상으로 인해 조기에 포화 상태에 도달합니다.
정확도 (Accuracy): 독립적 인코딩( $w=0$ )은 초기에는 정확도를 저하시킵니다. 그러나 컨텍스트 윈도우 인코딩( $w \ge 20$ )을 사용하면, InferScale은 손실된 정확도를 거의 모두 회복하여 $k=50$ 일 때 Llama-3.1-8B에서 **60.3%**를 달성하며, 이는 Mem0의 **63.3%**와 유사한 수준입니다. 정확도 격차는 주로 복잡한 교차 사실 어텐션을 요구하는 멀티 홉 추론 작업에서 나타납니다.
확장성 (Scalability): 시스템은 더 큰 모델(Qwen3-14B)에서도 유사한 지연 시간 이점을 가지며 확장 가능합니다. GPU 메모리 용량 제한을 극복하기 위해 KV 저장소를 호스트 DRAM으로 오프로드할 수 있으며, 이 경우 TTFT에 약 3ms만 추가하면서도 Mem0 대비 2.3배의 엔드 투 엔드 지연 시간 우위를 유지합니다.

의의 및 주장

본 논문은 InferScale이 개인화된 LLM을 위한 서빙 프리미티브(serving primitive)를 근본적으로 변화시킨다고 주장합니다. 토큰 레이어 주입에서 어텐션 레이어 주입으로 전환함으로써, 검색된 컨텍스트와 관련된 이차적 프리필 비용을 제거합니다.

저자들은 다음을 강조합니다:

정확성 (Exactness): (Chunked RoPE를 포함한) KV 주입 메커니 \리즘은 근사가 아니라 쿼리 위치에 대한 프롬프트 주입과 수학적으로 동일한 등가물입니다.
제로 오버헤드 (Zero Overhead): 이 시스템은 모델 파인튜닝, 엔진 수정, 또는 기존 검색 파이프라인의 변경을 요구하지 않습니다.
디커플링 (Decoupling): 메모리 조건부 서빙 지연 시간을 검색된 컨텍스트의 크기로부터 성공적으로 분리하여, 대규모 검색 예산에서도 높은 처리량과 낮은 지연 시간을 가진 개인화된 서빙을 가능하게 합니다.

이 연구는 (여전히 프리필 비용을 지불하는) 기존의 프로덕션 메모리 시스템 및 (고정된 프롬프트 레이아웃에 의존하는) 기존의 KV 재사용 기술과 차별화됩니다. 또한 어텐션 레이어 주입을 정적 또는 준정적(semi-static) 컨텍스트에 LLM을 조건화하기 위한 기본 프리미티브로 포지셔닝합니다.