기술 요약: Irminsul: 에이전트 LLM 서빙을 위한 MLA 네이티브 위치 독립적 캐싱

1. 문제 제기

현재의 생산 환경 LLM 서빙은 접두어 캐싱(예: SGLang 의 RadixAttention, vLLM 의 PagedAttention) 에 크게 의존하고 있으며, 이는 정확한 토큰 시퀀스 접두어에 기반하여 키 - 밸류 (KV) 상태를 캐싱합니다. 표준 대화 턴 - 테이킹에는 효과적이지만, 이 메커니즘은 에이전트 워크로드에서는 치명적으로 실패합니다.

에이전트 시스템 (예: 도구 사용, 검색 증강 생성, 다중 에이전트 오케스트레이션) 에서 프롬프트는 정적 시스템 지시사항, 검색된 문서, 도구 출력으로부터 동적으로 조립됩니다. 문서나 도구 스키마의 내용이 턴 간에 동일하게 유지되더라도, 다음과 같은 이유로 프롬프트 내에서의 위치가 이동합니다:

• 검색된 문서의 동적 삽입.
• 도구 출력의 재순서화.
• 가변 길이의 시스템 프롬프트 또는 메타데이터 헤더.

표준 접두어 캐시는 위치 0 에서 바이트 단위의 정렬을 요구하므로, 프롬프트 구조의 단일 바이트 이동만으로도 하위 토큰에 대한 전체 캐시가 무효화됩니다. 운영자들은 캐시 히트율이 100% 에서 35% 로 급감하고, 변경되지 않은 콘텐츠에서 Time-To-First-Token(TTFT) 이 10~16 초까지 급증하는 등 심각한 퇴보 현상을 보고하고 있습니다.

이전 위치 독립적 캐싱 (PIC) 시스템 (예: CacheBlend, EPIC) 은 역회전을 통해 전체 $d_K$ 차원 키 텐서를 보정함으로써 그룹화 쿼리 어텐션 (GQA) 아키텍처에 대한 이 문제를 해결하려 시도했습니다. 그러나 이는 상당한 아키텍처 비용을 수반합니다: 보정은 토큰당 전체 KV 행에 적용되어야 하므로 계산 비용이 매우 높고, 종종 캐싱의 이점을 상쇄시킵니다.

2. 방법론: Irminsul 접근법

Irminsul 은 멀티헤드 잠재 어텐션 (MLA) 아키텍처 (DeepSeek-V2/V3/R1, Kimi-K2, GLM-5, Mistral Large 3 에서 사용됨) 에 특화된 콘텐츠 주소 지정 캐싱 시스템을 제안합니다.

2.1 구조적 통찰: MLA 분해

Irminsul 의 핵심 동인은 MLA 모델에서 KV 쌍의 구조적 분해입니다. 위치가 전체 키 텐서와 분리 불가능하게 융합된 GQA 와 달리, MLA 는 각 토큰의 KV 를 다음과 같이 분해합니다:

1. $cKV$(콘텐츠 잠재): 512 차원의 위치 무관 잠재 벡터입니다. 이 구성 요소는 절대 위치와 관계없이 그대로 재사용 가능합니다.
2. $k_r$(회전 키): 위치 정보 (RoPE) 를 운반하는 작은 64 차원 벡터입니다.

Irminsul 은 $cKV$가 KV 행의 약 89% 를 차지하며 재사용 시 보정이 전혀 필요 없다는 사실을 활용합니다. 오직 $k_r$슬라이스 (약 11%) 만 조정이 필요하며, 이는 단일 $\delta$-회전 (여기서 $\delta$는 위치 이동) 을 통해 폐쇄형으로 보정할 수 있습니다.

2.2 시스템 설계

Irminsul 은 SGLang 의 라디스 캐시를 다음 메커니즘으로 확장합니다:

• CDC 를 활용한 콘텐츠 해시 키링: 고정된 블록을 해싱하는 대신, Irminsul 은 64 토큰 윈도우에 대한 롤링 Gear-해시를 기반으로 한 **콘텐츠 정의 청킹 (CDC)**을 사용합니다. 해시가 임계값 이하로 떨어지면 청크가 생성되어, 청크 경계가 임의의 바이트 오프셋이 아닌 콘텐츠와 정렬되도록 보장합니다. 각 청크는 xxHash64를 사용하여 지문 (fingerprint) 이 생성됩니다.
• 레지스트리 조회: 캐시 레지스트리는 콘텐츠 해시를 저장된 $(cKV, k_r, base\_pos)$에 매핑합니다.
• $\delta$-회전 규칙: 캐시 히트 시, 시스템은 위치 이동 $\delta = p_{target} - p_{source}$를 계산합니다. 그런 다음 저장된 $cKV$를 검색하고 저장된$k_r$에 회전 행렬$R(\delta)$를 적용하여 새로운 위치의 올바른 위치 키를 생성합니다. 이 연산은 FlashMLA 커널에 융합되어 무시할 수 있는 지연 시간만 발생합니다.
• 첫 번째 청크 carve-out: "어텐션 싱크" (모델이 시퀀스 시작부에 집중하는 현상) 를 처리하기 위해, Irminsul 은 청크가 절대 위치 0 에서 시작하는 경우 표준 프리필을 통해 해당 청크의 처음 32 토큰을 미리 채웁니다. 이는 싱크가 청크 시작이 아닌 시퀀스 시작에 국한되므로, 후속 청크에서 경계 재계산이 필요하지 않도록 합니다.
• 하이브리드 전략 (S1/S2):
  • S2 (협력을 통한 예방): 통제된 환경에서 프롬프트 조립기는 공유 영역 주변에 64 토큰 경계 마커를 삽입하여 결정론적 CDC 경계를 강제합니다.
  • S1 (탐지 및 복구): 통제되지 않은 트래픽의 경우, 대체 메커니즘이 CDC 미스를 고정 128 토큰 윈도우로 세분화하여 부분 재사용을 복구합니다.

3. 주요 기여

1. Irminsul 시스템: 최초의 MLA 네이티브 PIC 시스템입니다. bf16 에서 상대 L2 오차 $4.7 \times 10^{-3}$로 고정밀 $\delta$-회전을 달성하며, 이는 표준 FP8 KV 양자화보다 한 자릿수 더 엄격합니다.
2. 타당성 증명 (ROC 분석): 이 논문은 MLA 의 $cKV$성분이 매우 위치 불변적 (AUC $\approx$ 0.77) 인 반면, GQA/MHA 의 원시 K 벡터는 위치와 얽혀 있음 (AUC < 0.5) 을 보여주는 임계값 없는 ROC 연구를 제공합니다. 이는 콘텐츠 주소 지정 재사용이 MLA 에는 구조적으로 타당하지만, 보정 없이 순수 소프트맥스 아키텍처에는 적합하지 않음을 검증합니다.
3. 에너지 효율성 연구: 소프트맥스 기반 어텐션 (GQA, MLA, MHA) 은 캐시 히트당 프리필 에너지를 63~86% 절약하는 반면, 하이브리드 SSM/선형 아키텍처 (Mamba2, GDN, KDA) 는 재발적 상태가 토큰 인덱싱되지 않아 "캐시 히트"가 재발적 계층에서 정의되지 않으므로 약 0% 절약함을 보여주는 교차 아키텍처 분석을 제시합니다.
4. 복구 지표: 세 가지 네이티브 MLA-MoE 배포 (DeepSeek-V2-Lite, Kimi Moonlight-16B, JoyAI-Flash) 에 대한 평가 결과, Irminsul 은 에이전트 트래픽에서 정확한 접두어 매칭보다 약 83% 의 프롬프트 토큰을 복구하며, 변경된 콘텐츠에 대한 표준 접두어 캐시는 거의 0% 의 복구율을 보입니다.

4. 결과

• 캐시 복구: "초기 변동" (예: 이동된 에이전트 메타데이터 헤더) 이 있는 에이전트 트래픽에서 Irminsul 은 재계산되었을 토큰의 77.2%(DeepSeek-V2-Lite) 와 82.7%(JoyAI-48B) 를 복구합니다. 이러한 시나리오에서 표준 접두어 캐싱은 약 1.5% 만 포착합니다.
• 에너지 절감: 캐시 히트당 Irminsul 은 MLA 모델에서 63% 의 프리필 에너지 절감을 제공합니다 (GQA 의 86% 대비). 이는 PIC 의 주요 이점이 소프트맥스 기반 아키텍처에서 실현됨을 확인시켜 줍니다.
• 출력 일관성: 네 가지 데이터셋 (QA, GovReport, NIAH) 과 세 가지 모델을 통해 Irminsul 의 탐욕적 궤적은 단순 재사용과 일치하거나 능가합니다. JoyAI-48B 를 사용한 "Needle In A Haystack"(NIAH) 작업에서 PIC 는 전체 프리필 재현율 (0.820) 을 정확히 일치시키면서 단순 재사용 대비 KL 발산을 22% 감소시킵니다.
• 지연 시간: 시스템은 생산 지연 시간 예산 내에서 작동합니다. $\delta$-회전은 HBM 에서 SRAM 으로 로드되는 경로에 융합되어 추가 HBM 대역폭 사용을 방지합니다.

5. 중요성과 주장

이 논문은 콘텐츠 주소 지정 캐싱이 접두어 매칭에 대한 리트로핏이 아니라 LLM 서빙 스택의 1 급 원시 연산 (first-class primitive) 이어야 한다고 주장합니다.

• 구조적 vs 알고리즘적: 이전 PIC 시스템이 GQA 에 대해 문제를 완전히 해결하지 못한 것은 공학적 단점이 아니라, 위치를 전체 키 텐서에 융합하는 구조적 한계라고 논문은 주장합니다. 위치 ($k_r$) 를 콘텐츠 ($cKV$) 에서 분해하는 MLA 의 분해가 효율적이고 오버헤드가 낮은 PIC 를 가능하게 하는 열쇠입니다.
• 에이전트 워크로드: 에이전트 시스템이 지배적이 됨에 따라, 공유 컨텍스트 (문서, 스키마) 의 "토큰 재인코딩"은 막대한 비효율성을 나타냅니다. Irminsul 은 이러한 중복성을 계산 문제가 아닌 메모리 문제로 재정의하여, 서빙 스택이 재계산이 아닌 메모리 재사용에 대해 과금할 수 있게 합니다.
• 범위: 저자들은 안전성 주장을 명시적으로 MLA 아키텍처(특히 생산에서 사용되는 흡수된 행렬곱 형태) 로 제한합니다. GQA 가 이론적으로 PIC 를 지원할 수 있지만 보정 비용이 높음을 지적합니다. 또한 하이브리드 SSM 모델 (Mamba2 등) 은 재발적 상태 구조로 인해 PIC 의 혜택을 받지 못한다고도 언급합니다.
• 향후 작업: 논문은 DeepSeek-V4 의 "Heavily Compressed Attention"(HCA) 이 토큰을 집계하여 Irminsul 의 청킹에 필요한 토큰별 정체성을 해체한다고 인정합니다. 청킹 원시 연산을 HCA 의 집계 일정에 적응시키는 것이 즉시 다음 단계로 식별됩니다.

요약하자면, Irminsul 은 MLA 의 특정 대수적 속성을 활용함으로써 프롬프트 내 위치와 관계없이 콘텐츠를 캐싱할 수 있음을 입증하며, 출력 품질을 훼손하지 않고 에이전트 LLM 서빙에서 상당한 계산 및 에너지 비용을 복구할 수 있음을 보여줍니다.