기술 요약: Nexus

문제 정의

Model Context Protocol (MCP)를 활용하는 에이전틱 대규모 언어 모델(LLM)은 도구 레지스트리가 확장됨에 따라 심각한 성능 병목 현상에 직면합니다. 각 도구는 매우 장황한 JSON 스키마로 설명되며, 매 턴마다 이를 다시 인코딩(prefill)해야 합니다. 자기 주의 집중(self-attention) 복잡도는 시퀀스 길이에 따라 이차적으로($O(N^2)$) 증가하므로, 스키마의 축적은 프롬프트를 지배하며 이는 첫 토큰 생성 시간(TTFT)을 심각하게 저하시키고 결국 컨텍스트 창 오버플로를 유발합니다.

기존 시스템들은 (PagedAttention, RadixAttention과 같이) 블록을 제자리에서 재사용함으로써 KV-캐시 관리를 최적화하지만, 컴파일된 블록을 새로운 위치로 이동시키지는 못합니다. 스키마를 한 번 컴파일하여 Key/Value (KV) 블록으로 만든 뒤 추론 시점에 이를 실행 중인 컨텍스트로 이식하는 단순한 접근 방식은 **회전 위치 임베딩(Rotary Position Embedding, RoPE)**의 위상 드리프트(phase drift)로 인해 실패합니다. RoPE는 쿼리/키 특징 쌍을 회전시켜 위치 정보를 주입하는데, 앵커 위치 $m_0$를 위해 컴파일된 블록을 런타임 위치 $n_{past}$에 배치하면 잘못된 절대 위상을 갖게 되어 어텐션 점수를 왜곡합니다.

방법론

Nexus는 Apple Silicon 통합 메모리 아키텍처(UMA)를 위해 설계된 사용자 공간 KV-캐시 서빙 프로토타입입니다. Nexus는 **검색 분리형 라우팅(retrieval-decoupled routing)**과 **깊이 적응형 KV-캐시 스플라이싱(depth-adaptive KV-cache splicing)**이라는 두 가지 주요 메커니즘을 통해 '스키마 프리필 벽(schema-prefill wall)' 문제를 해결합니다.

1. 검색 분리형 라우팅 (Retrieval-Decoupled Routing)

매 턴마다 스키마를 다시 프리필하는 비용을 피하기 위해, Nexus는 도구 선택과 메인 컨텍스트 생성을 분리합니다:

• 시맨틱 룩사이드 버퍼 (Semantic Lookaside Buffer, SLB): 도구 임베딩(nomic-embed-text-v1.5로 생성)은 INT8로 양자화되어 밀집 버퍼에 저장됩니다. 라우팅은 브랜치리스(branchless) SIMD 내적 스캔을 통해 수행됩니다.
• 캘리브레이션 마진 게이트 (Calibrated Margin Gate): 상위 후보들은 마진 게이트에 의해 평가됩니다. 상위 두 도구 간의 점수 차이가 캘리브레이션된 임계값($\tau = 0.0136$)을 초과하면 자동 라우팅됩니다. 그렇지 않으면 미세 조정된 크로스 인코더가 상위 후보들의 순위를 재조정합니다.
• 압축 중간 표현 (Compressed Intermediate Representation, IR): 도구가 선택되면, 전체 스플라이스된 KV 캐시 대신 압축된 텍스트 시그니처(중앙값 19 토큰)를 기반으로 인자를 생성합니다. 이는 메인 컨텍스트 프롬프트를 작게 유지하고 인자 생성을 위해 스플라이스된 KV에 의존하지 않도록 합니다.

2. 깊이 적응형 KV 스플라이싱 및 복구 (Depth-Adaptive KV Splicing and Repair)

실행 중인 컨텍스트로 이식되는 스키마의 경우, Nexus는 RoPE 드리프트를 관리하기 위해 "페일-클로즈드(fail-closed)" 전략을 채택합니다:

• 앵커드 스플라이스 (Anchored Splice): 컨텍스트 깊이($n_{past}$)가 보수적인 임계값($P = 256$ 토큰) 이내인 경우, 시스템은 컴파일된 KV 블록의 직접적인 물리적 스플라이스를 수행합니다. 이 블록은 런타임 위치에 맞춰 재-앵커링(재-회전)되어 출력 정확성(DKL $\approx 0$)을 보장합니다.
• 깊이 적응형 재컴퓨팅 (Depth-Adaptive Recompute): 256-토큰 임계값을 넘어서면, 시스템은 복구 프로세스를 시작합니다. 스플라이스된 스키마의 후행 접미사(suffix)를 다시 디코딩합니다. 재디코딩되는 토큰의 비율 $R(n_{past})$는 깊이에 따라 선형적으로 증가하며, 깊은 컨텍스트에서는 100%(전체 재프리필)에 도달합니다. 이는 "절대 퇴보하지 않음(never-regress)" 보장을 제공합니다. 즉, 레이턴시가 일시적으로 감소하더라도 출력 충실도(top-1 일치도 및 분포적 동일성)는 전체 텍스트 프리필보다 결코 나빠지지 않습니다.
• 시스템 구현: 시스템은 컴파일된 블록에 대해 제로-카피 메모리 매핑(mmap)을 사용하고, 소프트 캡드(soft-capped) 어텐션 모델(예: Gemma-2)을 위한 transposed-V 스플라이싱을 사용하며, 동시성 환경에서도 결정론적이고 비트 안정적인 출력을 보장하기 위해 캐시 라인 하드닝을 적용합니다.

주요 기여 및 부정적 결과 (Key Contributions and Negative Results)

본 논문은 긍정적인 기여와 시스템의 아키텍처적 한계를 정의하는 "경계 부정적 결과(bounding negative results)"를 명확히 구분합니다.

긍정적 기여

1. 검색 분리형 라우팅: 레지스트리가 250개 도구까지 확장되어도 약 89%의 정확도를 유지하는 깊이 독립적 라우팅 메커니즘입니다. 이는 "모든 스키마 연결" 베이스라인이 컨텍스트 오버플로로 인해 실패하는 지점에서도 작동하며, 첫 번째 인자 토큰에 도달하는 속도를 1.66배 향상시키고 메인 컨텍스트 토큰을 약 80% 감소시킵니다.
2. 깊이 적응형 재컴퓨팅: 컨텍스트 깊이가 증가함에 따라 재디코딩을 확대하여 출력 충실도(never-regress)를 보장하고, 프리필 수준으로 부드럽게 수렴하는 경계 복구 메커니즘입니다.
3. UMA 시스템 메커니즘: 소프트 캡드 모델을 위한 transposed-V 스플라이싱 및 로컬 실행을 위한 캐시 라인 하드닝 할당기 구현.

부정적 결과 (설계 경계)

1. 오프-앵커 RoPE 충실도 경계: 본 논문은 순수 스플라이스(재디코딩 없이)가 2048 토큰까지는 top-1 일치도를 유지하지만, 잔류 분포 편차($\sim 10^{-2}$ nats)를 유발함을 입증합니다. 이는 어떤 디코딩 파라미터 하에서도 비트 단위로 동일한 출력을 보장하기 위해 복구 메커니즘이 필요함을 정당화합니다.
2. 참조 없는 드리프트 게이팅의 실패: 저렴한 참조 없는 프록시(per-head K-variance)를 사용하여 깊은 스플라이스가 실패할 시점을 예측하려던 시도는 성공하지 못했습니다. 해당 프록시는 실제 드리프트와 상관관계가 낮았습니다(Spearman $\rho = 0.193$). 이는 결정론적인 깊이 적응형 복구 커브를 사용하는 것이 타당함을 입증합니다.

결과

측정은 Apple M4 Max (64 GB UMA)에서 Qwen2.5-14B-Instruct (Q4_K_M)를 사용하여 수행되었습니다.

• 레이턴시: 중간 깊이($n_{past} = 256$)에서 Nexus는 전체 프리필 대비 1.63배에서 1.73배의 TTFT 가속을 달성합니다. 깊이가 증가하여 재컴퓨팅 비율 $R(n_{past})$가 100%에 도달함에 따라 가속도는 1.0배(동등 수준)로 좁혀지지만, 시스템의 충실도는 결코 퇴보하지 않습니다.
• 라우팅 정확도: 도구 레지스트리가 10개에서 250개로 확장되어도 라우팅 정확도는 약 89%로 안정적으로 유지됩니다. 반면, 모든 스키마를 연결하는 베이스라인은 $N \ge 50$에서 컨텍스트 창이 오버플로됩니다.
• 인자 충실도: 라우팅된 케이스에서 시스템은 100%의 JSON 유효율과 함께 쿼리 지정 인자를 100% 정확하게 채웁니다. 라우팅 오류를 포함한 엔드 투 엔드 인자 정확도는 80%입니다.
• 마이크로 비용: 250개 도구에 대한 INT8 SLB 스캔은 FFI 오버헤드를 포함하여 17.6 $\mu$s 내에 완료되며, 이는 라우팅 오버헤드가 프리필 비용에 비해 무시할 수 있는 수준임을 보여줍니다.

의의 및 범위

본 논문은 Nexus를 모든 LLM 서빙을 위한 보편적인 솔루션이 아니라, **KV-캐시 이식(transplantation)**과 RoPE 위상 드리프트 사이의 트레이드오프를 규명한 연구로 포지셔닝합니다.

• 질적 일반화: 본 논문은 오프-앵커 이동이 드리프트를 유발하고, 산재된 재컴퓨팅으로는 이를 저렴하게 복구할 수 없으며, 참조 없는 게이팅이 이를 예측하는 데 실패한다는 질적 경계가 RoPE의 특성이며 모델에 무관하게 적용된다고 주장합니다.
• 양적 구체성: 양적 엔벨로프(256-토큰 임계값, 특정 재컴퓨팅 커브 상수, 편차 크기)는 단일 모델 튜플(Qwen2.5-14B)과 하드웨어(Apple M4 Max)에 맞춰 캘리브레이션되었습니다.
• 범위 제한: 시스템은 로컬 UMA 상주 실행을 위해 설계되었습니다. 물리적 캐시 주소에 접근할 수 없는 클라우드 API나, transposed strided 전송이 비효한(pathological) 이산 GPU 백엔드에서는 완전히 텍스트 프리필 방식으로 폴백(fallback)됩니다.

저자는 이 연구의 가장 지속적인 기여는 스키마 스플라이싱의 하드 리밋을 정의하고 라우팅을 스플라이스 경로로부터 완전히 분리하는 아키텍처적 선택을 정당화하는 측정된 엔벨로프와 부정적 결과라고 결론짓습니다.