🤖 machine learning

Models Take Notes at Prefill: KV Cache Can Be Editable and Composable

이 논문은 프리필(prefill) 단계 동안 모델이 필드 자체의 벡터에 의존하기보다 주로 필드 조건부 결론을 다운스트림 KV 캐시 노트에 저장한다는 점을 밝혀냈으며, 이를 통해 사고의 사슬(chain-of-thought)을 통해 캐시를 효율적으로 편집하고 문맥 간에 합성하여 전체 재계산 대비 지연 시간을 크게 줄이면서도 완벽에 가까운 정확도를 달성할 수 있는 새로운 접근 방식을 가능하게 한다.

원저자: Bojie Li

게시일 2026-06-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bojie Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 모델의 "노트"

거대한 언어 모델(매우 똑똑한 로봇 비서와 같은)이 질문에 답하기 위해 긴 문서를 읽고 있다고 상상해 보세요. 보통 로봇은 문장을 읽을 때 그 내용을 "생각"한 뒤 다음으로 넘어갑니다. 만약 문장의 내용이 나중에 바뀐다면, 로봇은 새로운 맥락을 이해하기 위해 처음부터 문서를 다시 읽어야 합니다. 이는 느리고 비용이 많이 드는 작업입니다.

이 논문은 놀라운 사실을 발견했습니다. 로봇은 단순히 문서를 읽는 것이 아니라, 읽으면서 별도의 "노트"(KV 캐시)에 메모를 한다는 것입니다.

결정적으로, 로봇은 단순히 가공되지 않은 단어를 적는 것이 아니라 자신의 결론을 이 노트에 적습니다. 예를 들어, "아, 주문 상태가 '배송됨'이므로 환불을 거절해야 한다"라는 결론을 내리면, 그 결론을 노트에 적어두는 식입니다. 나중에 결정을 내려야 할 때, 로봇은 원래의 문장을 다시 보는 대신 자신이 작성한 노트를 읽습니다.

문제점: "오래된 노트"의 함정

연구진은 정보가 변경되었을 때(예: 주문 상태가 '배송됨'에서 '대기 중'으로 변경됨) 간단한 해결책을 시도했습니다. 그들은 *"텍스트 속의 특정 단어만 수정하면, 로봇이 변화를 감지하고 답변을 업데이트할 것이다"*라고 생각했습니다.

하지만 그들의 생각은 틀렸습니다.

로봇은 이미 이전 정보(구 버전)를 바탕으로 자신의 결론("환불 거절")을 노트에 적어두었기 때문에, 단순히 원래의 단어를 바꾸는 것만으로는 효과가 없었습니다. 로봇은 변화를 무시하고 예전 노트를 계속 읽었습니다. 이는 마치 종이에 적힌 $2+2=4$ 라는 수학 문제를 $2+2=5$ 로 고치려 해도, 학생이 이미 노트에 "답은 4이다"라고 적어두고 그것만 베껴 쓰고 있는 상황과 같습니다. 학생에게 페이지 전체를 다시 읽게 강요하지 않는 한, 학생은 문제의 변화를 알아차리지 못할 것입니다.

해결책 1: "정오표" (포스트잇)

로봇이 자신의 노트에 의존한다는 점을 고려하여, 연구진은 책 전체를 다시 읽게 하지 않고도 실수를 바로잡는 방법을 찾아냈습니다.

기존의 노트를 정교하게 지우고 다시 쓰는 대신(이는 실패하기 쉽습니다), 그들은 문서의 끝에 새롭고 눈에 띄는 노트를 추가하는 방식을 사용했습니다.

비유: 로봇이 계약서를 읽고 있다고 상상해 보세요. 페이지 번호를 망가뜨리지 않고 계약서 중간의 조항을 쉽게 지우거나 수정할 수는 없습니다. 대신, 문서 맨 끝에 밝은 노란색 "정오표(ERRUM)" 노트를 붙여 이렇게 적는 것입니다. "이전의 노트를 무시하십시오. 현재 상태는 '대기 중'입니다. 정답은 '승인'입니다."
결과: 로봇은 이 새롭고 눈에 띄는 노트를 보고 결정을 업데이트하며, 이전의 노트를 무시합니다. 이 방식은 매우 빠르며 거의 완벽하게 작동합니다.

해결책 2: "조합 가능한" 기술 (레고 블록)

두 번째 발견은 작업의 재사용에 관한 것입니다.

특정 작업(예: "항공권 예약 방법")에 대한 길고 복잡한 지침서를 가지고 있다고 상상해 보세요. 보통 로봇에게 항공권 예약을 요청할 때마다 로봇은 그 지침서 전체를 처음부터 다시 읽어야 합니다.

연구진은 로봇이 자신의 결론을 노트에 적기 때문에, 그 지침서에 대한 노트를 한 번 미리 작성하여 저장한 뒤, 이를 새로운 대화에 "붙여넣기" 할 수 있다는 것을 발견했습니다.

비유: 의자를 만들 때마다 50페이지짜리 설명서를 매번 읽는 대신, 미리 조립된 "의자 키트"(노트)를 가지고 있는 것과 같습니다. 당신은 그 키트를 가져와서 작업 공간에 툭 떨어뜨리기만 하면 됩니다.
마법 같은 효과: 이 키트를 대화 속의 다른 위치로 옮겨도(재배치해도) 여전히 완벽하게 작동합니다. 로봇은 지침서를 다시 읽을 필요 없이, 미리 작성된 노트를 집어 들고 작업을 계속하면 됩니다. 이 방식은 긴 문서를 다룰 때 14배 더 빠릅니다.

이것이 중요한 이유

수정이 가능합니다 (Editable): 사용자가 세부 사항(이름이나 주문 상태 등)을 변경하더라도 대화 전체를 다시 시작할 필요가 없습니다. 마지막에 "수정 노트"를 추가하기만 하면 로봇은 즉시 행동을 업데이트합니다.
조합이 가능합니다 (Composable): "항공권 예약 레시피"나 "반품 처리 가이드"와 같은 "기술 라이브러리"를 구축할 수 있습니다. 이러한 기술들을 미리 계산하여 저장해 두었다가, 어떤 대화에도 즉시 붙여넣어 사용할 수 있어 엄청난 시간과 컴퓨터 자원을 절약할 수 있습니다.
어디서나 작동합니다: 연구진은 이 방식을 다양한 유형의 AI 모델(작은 모델부터 거대한 모델, 그리고 이미지를 보는 모델까지)에 테스트했으며, 모든 모델에서 작동함을 확인했습니다.

한 문장 요약

이 논문은 AI 모델이 글을 읽을 때 숨겨진 노트에 자신의 결론을 적는다는 사실을 밝혀냈으며, 이를 통해 우리는 실수를 바로잡기 위해 끝에 "수정 노트"를 추가하거나, 모든 것을 처음부터 다시 읽게 하는 대신 미리 작성된 "기술 노트"를 붙여넣음으로써 작업을 가속화할 수 있습니다.

기술 요약: 모델은 프리필(Prefill) 단계에서 노트를 작성한다: KV 캐시는 편집 가능하며 결합 가능하다

1. 문제 정의

현대의 대규모 언어 모델(LLM) 에이전트는 여러 턴에 걸쳐 길고 대부분 정적인 지시문(시스템 정책, 도구 사양, 검색된 문서)을 빈번하게 재독합니다. KV(Key/Value) 캐싱은 프리필 연산을 재사용할 수 있게 해주지만, 현재의 프로덕션 시스템(예: vLLM, SGLang)은 **정확한 접두사 일치(exact prefix matching)**에 의존합니다.

핵심 문제는 재사용되는 접두사 내의 가변적인 필드(예: 사용자 ID, 주문 상태 또는 타임스탬프)가 변경될 때 발생합니다. 모든 후속 토큰이 변경된 토큰을 참조하기 때문에, 전체 다운스트림 영역의 키와 값은 무효화됩니다. 이에 대한 관례적인 해결책은 가변적인 내용을 프롬프트의 끝으로 옮기는 것인데, 이는 애플리케이션 계층의 제약을 강요하며, 중첩된 서브 에이전트 프롬프트나 동적으로 조립된 컨텍스트를 깔끔하게 재사용하는 것을 방해합니다.

변경된 필드의 KV 벡터만을 외과적으로 새로 고치려는 단순한 시도는 완전히 실패합니다. 즉, 모델은 수정을 무시하고 이전의 결정을 그대로 유지합니다. 본 논문은 왜 이러한 실패가 발생하는지 조사하고, KV 캐시를 **편집 가능(editable)**하고 **결합 가능(composable)**하게 만드는 메커니즘을 제안합니다.

2. 핵심 발견: 메모이제이션된 추론 (Memoized Inference)

본 논문은 단순한 KV 편집이 왜 실패하는지에 대한 인과적 메커니즘을 규명합니다. 저자들은 네 가지 모델 제품군(Qwen3, Llama-3.1, Gemma-2, Mistral)에 대해 네 가지 인과적 프로브(국소 패칭, 접미사 집중도, 선형 프로빙, 회로 제거)를 통해 다음을 입증했습니다.

프리필 시점의 메모이제이션: 프리필 단계 동안 모델은 단순히 원시 토큰 표현을 캐싱하는 것이 아닙니다. 대신, 모델은 필드 조건부 결론(예: "상태가 배송됨 $\to$ 조치는 거절" )을 계산하여 특정 다운스트림 집계 토큰(예: 구두점, 줄바꿈, 섹션 구분 기호)의 KV 벡터에 기록합니다.
결정 읽기: 디코드 시점에 결정 토큰은 필드 자체로부터 답을 다시 도출하지 않습니다. 대신, 이들은 다운스트림의 이러한 "노트" 위치를 참조(attend)합니다.
인과적 기여: 필드 자체의 KV 벡터는 최종 결정에 1% 미만의 영향만을 미칩니다. 결정은 거의 전적으로 다운스트림에 작성된 "노트"에 의해 주도됩니다.

결과적으로, 필드의 KV만 새로 고치는 것("필드 전용" 편집)은 무시되는데, 그 이유는 결정이 다운스트림의 오래된(stale) 노트에 의존하기 때문입니다. 따라서 KV 캐시는 단순한 정적 부산물이 아니라, 메모이제제이션된 결론이 담긴 노트로 재정의됩니다.

3. 방법론 및 역량

이 "노트" 메커니즘을 바탕으로, 본 논문은 두 가지 역량인 편집 가능한(Editable) 및 결합 가능한(Composable) KV 캐시를 제안합니다.

A. 편집 가능한 KV 캐시 (Editable KV Cache)

필드가 변경될 때 결정을 업데이트하려면, 필드뿐만 아니라 "노트"를 수정해야 합니다. 본 논문은 몇 가지 전략을 평가합니다:

단순 필드 전용 편집 (Naive Field-Only Edit): 모델이 **사고의 사슬(CoT)**을 사용하지 않는 한 실패합니다(복구율 $\approx$ 0). CoT를 사용하면 모델이 필드를 다시 읽게 되어 필드 전용 편집만으로도 충분해집니다(복구율 $\approx$ 1.0). CoT가 없으면 수정 사항은 무시됩니다.
선택적 재계산 (Field + Top-K): 필드와 결정에 가장 높은 인과적 효과를 미치는 상위 $K$ 개의 다운스트림 토큰을 함께 재계산합니다. 이는 신뢰할 수 있지만, 모델별로 $K$ 값을 튜닝해야 하며 견고함이 떨어질 수 있습니다.
에라툼 (The Erratum, Append-Only): 가장 견고하고 저렴한 솔루션입니다. 눈에 띄는 수정 문구(예: [STATE UPDATE] 필드 $\to$ 새로운 값; 이전의 모든 값을 무시함)를 추가하는 것은 새로운 권위 있는 노트를 생성하는 역할을 합니다. 이는 프롬프트를 다시 쓸 필요 없이 전체 재계산(Oracle)과 동일한 성능을 보여줍니다. 이는 정적 접두사를 무효화하지 않으므로 기존의 접두사 캐싱 시스템과 잘 결합됩니다.

B. 결합 가능한 KV 캐시 (Composable KV Cache)

노트가 국소적이고 위치 이동이 가능하다면, 사전 컴파일된 "기술(skills)"(긴 정책 블록이나 도구 사양)을 재계산 없이 새로운 컨텍스트에서 재사용할 수 있습니다.

메커니즘: 격리된 상태에서 기술의 KV 캐시를 사전 계산합니다. 이를 새로운 컨텍스트에 삽insert할 때, 키(keys)를 RoPE-재배치(새로운 절대 위치로 회전)하고, 값(values)은 위치에 독립적이므로 대상 컨텍스트에 직접 삽입(splice)합니다.
이음매 수선 (Seam Repair): 삽입된 청크의 시작 부분에 있는 소수의 경계 토큰은 누락된 접두사 어텐션을 보완하기 위해 재계산이 필요할 수 있으나, 이는 상수 비용입니다.
복잡도: 이는 TTFT(첫 토큰 생성 시간)를 $O(L^2)$ (전체 프리필)에서 $O(L)$ (재회전 + 삽입)로 단축합니다.

4. 주요 결과

편집 성능

정확도: "에라툼(Erratum)" 방식은 모든 모델에서 1.00의 결정 복구율(전체 재계산과 일치)을 달려내는 반면, 단순 필드 전용 편집은 CoT 없이는 0.00을 기록했습니다.
효율성: 에라툼 방식은 텍스트 한 줄만 추가하면 되므로, 전체 재계산에 비해 계산량이 매우 적습니다.
가중치 편집과의 비교: 글로벌하고 느리며(수 초) 요청 간 간섭을 일으키는 가중치 편집 방식(ROME, LoRA)과 달리, KV 편집은 로컬하고 빠르며(~100ms) 요청별로 독립적입니다.

결합 성능

충실도: 이식된 기술은 12개 모델(1.7B에서 70B 파라미터 규모의 MoE 및 양자화 버전 포함)에 대해 0.90–0.999의 로짓 코사인 유사도를 보이며 전체 재계산과 일치했습니다.
속도 향 향상: TTFT 속도 향상은 기술의 길이에 따라 스케일링되며, 8B 모델에서 32k 토큰 기준 13.9배에 달합니다.
범용성: 이 방법은 규칙, RAG 패시지, 에이전트 도구 호출에 모두 적용 가능합니다. 또한 M-RoPE의 재회전을 통해 이미지(멀티모달 입력)에도 적용됩니다.

시스템 벤치마크 (vLLM)

접두사 캐시 정렬: Poisson 부하를 가정한 온라인 vLLM 벤치마크에서, 추가 방식의 에라툼은 접두사 캐시 정렬을 유지하여 98.5%의 접두사 캐시 적중률을 달성했습니다(인플래이스 편집의 경우 1%).
지연 시간 및 처리량: p90 TTFT가 53~398배 감소했습니다. 처리량 이득은 부하가 증가함에 따라 커지며, 매번 프리필을 수행하는 베이스라인 대비 포화 상태에서 14.5배에 달합니다.

유저 메모리 적용

본 논문은 이 개념을 유저 메모리(크고 가변적인 프로필)에 적용합니다.

배치: 메모리를 트래젝토리 뒤(프롬프트 끝)에 배치함으로써 $O(L)$ 편집 및 이식이 가능해집니다.
트레이드오프: 늦은 배치는 "사전 소화(pre-digestion, 프리필 시점의 통합)" 부족으로 인해 약간의 정확도 손실을 초래할 수 있지만, 이는 엄청난 효율성 이득으로 상쇄됩니다.
검증: LoCoMo 벤치마크(실제 긴 대화 QA)에서 메모리 이식은 QA 정확도 측면에서 전체 재계산과 통계적으로 동일한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 왜 인플레이스(in-place) KV 필드 편집이 실패하는지에 대한 최초의 인과적 설명을 제공하며, 프로그래밍 가능한 KV 캐시를 위한 통합 프레임워크를 제시한다고 주장합니다.

메커니즘: 트랜스포머가 프리필 중에 다운스트림 토큰에 결론을 기록한다는 점을 밝혀냈으며, 이로 인해 캐시는 단순한 원시 데이터가 아닌 구조화된 중간 추론의 기록이 됩니다.
프로그래밍 가능성: 모델을 재학습시키지 않고도 이 "노트"를 읽고, 쓰고, 재배열할 수 있음을 입증했습니다.
실질적 영향: 이 접근 방식은 기존 프로덕션 인프라(vLLM, SGLang) 및 어텐션 메커니즘(FlashAttention, GQA, MLA, M-RoPE)과 호환되는 편집 가능하고 결합 가능한 캐싱을 가능하게 합니다.
미래 비전: 저자들은 현재 모델들이 이 메커니즘을 "공짜로" 활용하고 있지만, 미래의 모델들은 이러한 노트를 명시적으로 드러내도록 학습되어, KV 캐시를 선형 로그에서 에이전트를 위한 프로그래밍 가능한 메모리로 바꿀 수 있다고 상정합니다.

이 연구는 다양한 규모(0.6B ~ 70B), 양자화(FP8, 4-bit), 아키텍처 제품군(MoE, 표준), 모달리티(텍스트, 비전)에 걸쳐 검증되었으며, 효율적이고 상태를 유지하는(stateful) LLM 에이전트의 견고한 기반을 마련했습니다.