기술 요약: Leyline: 에이전틱 추론을 위한 KV 캐시 디렉티브 (KV Cache Directives for Agentic Inference)

1. 문제 정의

현대적인 대규모 언어 모델(LLM) 서빙 시스템은 특정 워크로드 가정을 중심으로 발전해 왔습니다: 프롬프트는 한 번 도착하며, KV 캐시는 단조 증가(append-only)한다는 가정입니다. 이 가정은 프리픽스 캐싱(prefix caching) 및 순방향 전용 제거(forward-only eviction)와 같은 최적화의 근간이 됩니다. 그러나 에이전틱 LLM(Yao et al., 2023; Yang et al., 2024)은 정책 기반의 편집을 통해 이러한 단조성을 깨뜨립니다. 에이전트는 실패한 도구 호출을 재시도하거나, 오래된 출력을 버리거나, 궤적을 변경하는 등의 방식으로 대화 기록을 빈번하게 수정합니다.

이러한 동작은 두 가지 뚜�렷한 캐시 관리 문제를 생성합니다:

1. 위치 불변 재사용(Position-Invariant Reuse): 동일한 콘텐츠가 턴(turn) 사이에서 새로운 절대 위치로 이동합니다(예: 삽입된 도구 출력으로 인해). 정확한 프리픽스 캐싱(exact-prefix caching)은 이러한 청크들의 위치가 변경되었기 때문에 이를 재사용하지 못하지만, 근본적인 키-값(KV) 데이터 자체는 여전히 유효합니다. 최근 연구(Ma et al., 2026)는 콘텐츠 기반 매칭(content-addressed matching)을 통해 이를 해결합니다.
2. 정책 기반 변이(Policy-Driven Mutation) (본 논문의 초점): 에이전트나 정책은 캐시된 콘텐츠의 특정 구간을 능동적으로 제거하거나 교체해야 할 수 있습니다(예: 메모리를 확보하기 위해 오래된 도구 출력을 잘라내는 것). 그리고 전체 컨텍스트를 다시 프리필(re-prefill)하지 않고도 생성을 계속해야 합니다.
   • 현재 상태: 프로덕션 시스템(예: Anthropic, 2025)은 메시지 리스트를 편집하고 전체 **재프리필(re-prefill)**을 트리거함으로써 이를 처리하며, 이는 편집하려던 프리픽스를 다시 계산하는 데 드는 전체 비용을 발생시킵니다.
   • 커널의 한계: 기존의 커널 수준 제거 방법(Zhang et al., 2023; Li et al., 2024; Xiao et al., 2024)은 자율적인 결정을 내리며, 외부 정책으로부터 특정 인플레이스(in-place) 편집을 수행하도록 명시적인 지시를 받을 수 없습니다.

정책이 서빙 시스템에 직접적인 편집을 지시하여, 전체 프리필 비용 없이 다운스트림 어텐션 연산의 정확성을 유지하면서 KV 캐시를 스플라이스(splice, 이어붙이기)할 수 있는 기존의 프리미티브(primitive)는 존재하지 않습니다.

2. 방법론: Leyline 프리미티브

저자들은 정책의 의도와 커널 실행 사이의 간극을 메우기 위해 설계된 서빙 측 프리미티브인 Leyline을 소개합니다.

2.1 디렉티브 추상화

Leyline은 선언적인 4-튜플 디렉티브를 통해 '무엇을' 편집할지와 '어떻게' 편집할지를 분리합니다.
$$D = (s_{start}, s_{end}, R, m)$$

• $(s_{start}, s_{end})$: 교체될 구간의 토큰 인덱스 범위.
• $R$: 교체될 토큰 시퀀스 (흔히 [evicted: 3 older tool turns]와 같은 짧은 스텁(stub)).
• $m$: 다음 중 선택되는 시맨틱 모드:
  • AMORTIZE (분할 상환): 기본 모드입니다. 시스템은 인플레이스 스플라이스를 수행합니다. 교체본이 삽서되며, 다운스트림 위치가 재인덱싱됩니다. 결정적으로, 다운스트림 토큰의 근본적인 KV 값($K_{nope}$ 및 $V$)은 보존되어, 시스템이 새로운 스텁이 아닌 원래의 콘텐츠에 대해 어텐션을 유지하도록 합니다.
  • FORGET (망각): 시스템은 편집을 표준 프리픽스 트리밍 재프리필로 라우팅합니다. 이는 진정한 콘텐츠 망각(예: 레드액션/정보 삭제)이 필요할 때 사용되며, 모델이 제거된 콘텐츠의 영향을 받지 않도록 보장합니다.

2.2 메커니즘: $\delta$-회전 ($\delta$-Rotation)

AMORTIZE 모드를 가능하게 하는 핵심 기술 혁신은 위치 인코딩 변화에 대한 폐쇄형 보정(closed-form correction)이며, 특히 다중 헤드 잠재 어텐션(Multi-Head Latent Attention, MLA) 아키텍처(예: DeepSeek-V2)를 대상으로 합니다.

• 구조적 통찰: MLA에서 Key 텐서는 $K_{nope}$(위치 독립적)와 $K_{pe}$(위치 의존적, RoPE에 의해 회전됨)로 나뉩니다.
• 연산: 길이 $|S|$인 구간이 길이 $|R|$인 구간으로 교체될 때, 모든 다운스트림 토큰은 $\Delta = |R| - |S|$만큼 이동합니다.
• 보정: 다운스트림 토큰에 대해 어텐션을 다시 계산하는 대신, Leyline은 모든 다운스트림 슬롯의 캐시된 $K_{pe}$ 값에 $\delta$-회전을 적용합니다.
  $$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$$
  RoPE의 유니터리 회전 폐쇄성($R(a)R(b) = R(a+b)$) 덕분에, 기존의 $R(i)$에 $R(\Delta)$를 적용하는 것은 처음부터 $R(i+\Delta)$를 계산한 것과 대수적으로 동일합니다.
• 결과: 시스템은 각 슬롯당 단일 행렬 곱셈을 통해 위치 인코딩을 업데이트하여 $K_{nope}$와 $V$ 텐서를 보존합니다. 이를 통해 시스템은 물리적 캐시가 스플라이스되었음에도 불구하고, 원래의 전체 컨텍스트에 대한 어텐션 수학을 유지하며 생성을 지속할 수 있습니다.

2.3 서빙 스택 통합

Leyline은 세 단계를 통해 서빙 스택(특히 SGLang을 통해 입증됨)에 통합됩니다:

1. Radix Match: 변경되지 않은 프리픽스($[0, s_{start})$)를 평소처럼 radix 캐시와 매칭합니다.
2. Prefill: 교체 토큰 $R$을 새로운 슬롯에 프리필합니다.
3. Rotation: 커널이 모든 다운스트림 슬롯의 $K_{pe}$ 밴드에 $\delta$-회전을 적용하고 이를 재인덱싱합니다.

이 인터페이스는 **시그널 불가지론적(signal-agnostic)**입니다: (예: 트리거 규칙, 오래된 도구 호출 탐지기 등) 스팬 교체 튜플을 생성할 수 있는 모든 정책은 커널이 그 이유를 검사할 필요 없이 캐시를 제어할 수 있습니다.

3. 주요 기여

1. 문제 구분: 본 논문은 재사용(동일 콘텐츠의 위치 이동)과 변이(정책 기반의 능동적 편집)를 공식적으로 구분하여, 에이전틱 캐시 관리에서의 미해결 하위 문제를 식별했습니다.
2. 디렉티브 추상화: 정책(무엇을 편집할지)과 메커니즘(어떻게 스플라이스할지)을 분리하는 4-튜플 인터페이스를 제공하여, 재프리필 없이 명시적인 인플레이스 캐시 편집을 가능하게 합니다.
3. 시맨틱-편집 채널 (Semantic-Edit Channel): 블록 레벨 스토리지 상위에 위치하여 에이전트의 편집을 블록 레벨 연산으로 분해하면서 위치 인코딩의 정확성을 유지하는, 포스트-에이전틱(post-agentic) 서빙 스택을 위한 새로운 인터페이스 경계를 정의합니다.
4. 이중 검증:
   • 메커니즘 검증: 스플라이스 커널이 리플레이 캐시 히트율을 보존하고 재프리fill 비용을 피함으로써 레이턴시를 줄임을 입증했습니다.
   • 정책 검증: 이 인터페이스를 통해 라우팅된 단순 트리거 정책이 컨텍스트 노이즈를 줄임으로써 에이전트 해결률(solve rate)을 높임을 입증했습니다.

4. 결과

4.1 메커니즘 성능 (SGLang 마이크로 벤치마크)

• 캐시 히트율: 스플라이스 기능은 동시성 $C \in \{1, 4, 8, 16\}$ 전반에 걸쳐 표준 radix 베이스라인 대비 리플레이 캐시 히트율을 11.2 퍼센트 포인트(pp) 상승시켰습니다.
• 레이턴시: $C=8$에서 재프리필 비용을 절감함으로써 엔드 투 엔드 레이턴시를 최대 241 ms까지 단축했습니다.
• 정확성: 스플라이스 경로가 warm-prefix(전체 컨텍스트) 경로와 100%의 첫 토큰 argmax 일치도를 유지함을 확인하여, $\delta$-회전이 원래 컨텍스트의 어텐션 수학을 보존함을 입증했습니다.

4.2 정책 성능 (Debug-Gym)

• 태스크: JoyAI-LLM Flash 모델을 사용한 8개의 debug-gym mini_nightmare 태스크.
• 정책: $n=2$ 턴보다 오래된 도구 출력을 버리는 10줄짜리 트리거 규칙.
• 결과: Leyline을 통해 라우팅된 트리-거너션(truncation) 정책은 에이전트 해결률을 베이스라인(트리거 없음)의 **31.2%**에서 45.5%(+14.3 pp)로 향상시켰습니다.
• 분석: 이 이득은 긴 궤적이 있는 태스크(예: shopping_cart, sum_tree)에서 발생했습니다. 오래된 도구 턴을 버림으로써 모델이 실제로 중요한 몇몇 턴에 더 효과적으로 어텐션을 줄 수 있었습니다. Leyline 없이는 이 정책을 실행할 때마다 전체 재프리필이 강제되어 효율성 이득이 상쇄되었을 것입니다.

4.3 정확성 검증

• 단일 프롬프트 마이크로 벤치마크: 전체 컨텍스트 경로와 재프리필 경로가 반드시 불일치해야 하는 시나리오를 구성했습니다. Leyline은 재프리필 예측(청크의 영향력이 사라짐)이 아닌, 전체 컨텍스트 예측(원래 청크의 영향력을 추적함)과 일관되게 일치했습니다.
• 교차 아키텍처: 네 가지 MLA 모델(DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B)에서 검증되었습니다.
• 수치적 안정성: $\delta$-회전은 bf16에서 약 $4.7 \times 10^{-3}$의 상대적 L2 드리프트를 유발하지만, 이는 아임계적으로(sub-linearly) 누적됩니다. 저자들은 회전을 fp32에서 수행하면(KV는 bf16으로 저장하더라도) 이 드리프트를 효과적으로 완화할 수 있다고 언급했습니다.

5. 의의 및 주장

본 논문은 Leyline이 에이전틱 시스템을 위한 정책 기반 캐시 편집의 누락된 인터페이스를 제공한다고 주장합니다.

• 인터페이스의 변화: 서빙 스택의 인터페이스 경계를 이동시킵니다. 프리-에이전틱(pre-agentic) 시스템은 프롬프트만을 노출했지만, 포스트-에이전틱 시스템은 캐시-편집 채널을 필요로 합니다. Leyline은 이 채널을 구체적으로 정의합니다.
• 디커플링: 정책이 하부 커널 메커니즘(RoPE, MLA, radix tree)을 이해할 필요 없이 자신의 의도(예: "이 구간을 잊어라" 또는 "이 편집을 분할 상환하라")를 선언할 수 있게 합니다.
• 프로그래머블 메모리: 저자들은 이것이 KV 캐시 관리를 시스템 측의 반응적인 추측(eviction)에서, 에이전트가 컨텍스트의 운명을 선언하고 스토리지 계층이 이를 실행하는 협력적 스케줄링 문제로 전환시킨다고 주장합니다.
• 범위: 본 논문은 **스플라이스(splice)**라는 동사를 검증합니다. 회전 커널이 현재 MLA에 특화되어 있음을 인정하면서도, 디렉티브 추상화는 아키텍처에 무관하며 경계 재계산 패스를 통해 GQA/MHA로의 확장이 가능하다고 명시합니다.

결론적으로, 이 논문은 메커니즘(스플라이스)이 재프리필 비용 없이 정책 클래스를 가능하게 하는 반면, 정책 클래스 자체가 배포 레벨의 승리(높은 해결률)를 가져온다는 점을 강조합니다. 디렉티브 인터페이스의 어휘(향후 PIN, DECAY, SCRATCH와 같은 동사 포함)는 미래의 에이전틱 메모리 관리를 위한 의제를 나타냅니다.