🤖 machine learning

IntentKV: Cross-Turn Intent-Aware KV Cache Pruning for Agent Inference

IntentKV는 동결된 베이스 LLM을 유지하면서 세션 수준의 메모리와 제로 초기화된 잔차 헤드(residual head)를 사용하여 토큰을 동적으로 점수 매기고 재지정함으로써, 긴 호흡의 에이전트 추론 시 정확도 손실을 최소화하면서 피크 메모리와 KV 읽기 대역폭을 크게 절감하는 학습된 교차 턴 의도 인식 KV 캐시 프루닝 방법이다.

원저자: Junjie Li, Jiong Lou, Jie Li

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junjie Li, Jiong Lou, Jie Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 고도로 숙련된 탐정(AI 에이전트)이라고 상상해 보세요. 당신은 단순히 질문 하나를 던지고 답을 얻는 것이 아니라, 긴 여정을 떠나야 합니다. 도서관을 뒤지고, 목격자를 인터뷰하고, 오래된 파일을 확인하며, 메모를 적어 내려갑니다. 각 단계마다 당신의 책상 위에는 더 많은 종이가 쌓입니다.

결국, 당신의 책상은 너무 어지러워져서 아무것도 찾을 수 없게 되고, 새로운 메모를 적을 공간조차 부족해집니다. 이것이 바로 IntentKV가 AI 에이전트를 위해 해결하고자 하는 문제입니다.

다음은 이 논문을 쉬운 비유를 통해 설명한 내용입니다.

문제점: "어질러진 책상"

AI 에이전트가 다단계 작업(예: 항공편을 검색한 후 예약하기)을 수행할 때, AI는 방대한 정보의 흔적을 생성합니다:

사용자의 요청: "항공편을 찾아줘."
검색: AI가 항공편을 조회합니다.
결과: AI가 50개의 항공편 목록을 읽습니다.
후속 질문: "어떤 게 가장 저렴해?"
새로운 검색: AI가 다시 검색합니다.

AI가 생각할 때마다, AI는 맥락을 이해하기 위해 이전의 모든 종이들을 다시 훑어봐야 합니다. 대화가 길어질수록, 이 "책상"(메모리)은 거대해집니다. 이 논문은 가장 큰 병목 현상이 AI의 두뇌 능력(연산 능력)이 아니라, 그 책상의 메모리 공간과 읽기 속도라고 주장합니다. 만약 책상이 너무 가득 차면, AI는 느려지거나 멈춰버립니다.

기존의 해결책들: "종이 섞기"

이전 방식들은 오래된 종이를 버림으로써 이 문제를 해결하려 했습니다.

문제점: 이들은 주로 현재의 질문만을 보고 무엇을 버릴지 결정했습니다.
결함: 긴 탐정 소설에서 1페이지에 나온 단서가 50페이지에서 매우 중요할 수 있습니다. 기존 방식들은 현재 시점에서 중요해 보이지 않는다는 이유로 그 1페이지의 단서를 버려버리곤 했습니다.
두 번째 결함: 어떤 방식들은 남은 종이들을 더 작은 더미로 물리적으로 옮겼습니다. 이는 시스템이 서로 다른 사용자 간의 공유된 정보를 빠르게 찾기 위해 사용하는 "인덱스" 또는 "지도"를 망가뜨렸습니다. 이는 마치 도서관을 재정리하여 "해리 포터" 책을 이전과는 다른 선반에 두는 것과 같습니다. 그러면 사서(시스템)는 혼란에 빠져 책을 효율적으로 재사용할 수 없게 됩니다.

새로운 해결책: IntentKV

저자들은 책을 옮기지 않고도 책상을 관리하는 스마트하고 정리된 조수와 같은 IntentKV를 만들었습니다.

1. "세션 메모리" (탐정의 수첩)

단순히 현재의 질문만 보는 대신, IntentKV는 전체 수사의 흐로직을 요약하여 유지합니다.

작동 방식: 이는 대화가 진행됨에 따라 업데이트되는 "QueryMemory"를 유지합니다. 사용자가 현재 "가격"에 대해 묻고 있더라도, 결정을 내리기 위해 10분 전의 "항공 일정"이 필요할 수 있다는 점을 인지합니다.
비유: 마치 탐정이 벽에 *"기억할 것: 용의자는 빨간 모자를 쓰고 있었다"*라고 적힌 포스트잇을 붙여두는 것과 같습니다. 현재 대화 주제가 날씨에 관한 것이더라도, 탐정은 그 빨간 모자가 여전히 유효하다는 것을 알고 있습니다. IntentKV는 지금 당장 보고 있지 않더라도 "빨간 모자" 관련 서류를 책상 위에 계속 유지합니다.

2. "제로 초기화 잔차" (안전망)

시스템은 (세션 메모리에 기반하여) 무엇을 남길지 결정하는 간단한 규칙을 사용합니다. 하지만 때로는 이 규칙이 미묘한 것을 놓칠 수 있습니다.

해결책: 이들은 작고 학습 가능한 "잔차 헤드(residual head)"를 추가했습니다. 이것은 선임 탐정의 목록을 재확인하는 주니어 인턴이라고 생각하면 됩니다.
마법: 이 인턴은 지식이 없는 상태(제로 초기화)에서 시작하며, 오직 선임의 실수를 교정하는 법만을 배웁니다. 이는 메인 AI 모델(선임 탐정의 두뇌)을 바꾸는 것이 아니라, 단지 스마트한 교정 레이어를 추가하는 것입니다.

3. "데드 슬롯(Dead Slot)" 트릭 (마법의 지도)

이것이 가장 영리한 부분입니다. 책상이 가득 차면 IntentKV는 일부 종이를 제거해야 합니다.

기존 방식: 종이를 꺼내고, 남은 종이들을 촘촘하게 쌓은 뒤, 번호를 다시 매깁니다. (이는 도서관의 인덱스를 깨뜨립니다.)
IntentKV 방식: 종이를 꺼내되, 다른 종이들을 움직이는 대신 빈 자리에 "읽지 마시오" 표지판(센티널 데드 슬롯)을 놓습니다.
결과: 종이들은 정확히 원래 위치에 그대로 머물러 있습니다. 책상의 "지도"는 완벽하게 유지됩니다. 만약 다른 탐정이 유사한 사건을 가지고 들어오면, 시스템은 종이들이 이동하지 않았기 때문에 공유된 종이들을 즉시 인식할 수 있습니다. 이를 통해 시스템은 메모리를 효율적으로 재사용하여 엄청난 시간과 공간을 절약할 수 있습니다.

결과: 무엇을 발견했는가?

논문은 두 가지 특정 AI 모델(Qwen3-8B 및 Qwen2.5-14B)을 사용하여 "심층 연구" 벤치마크인 BrowseComp-Plus에서 테스트를 진행했습니다.

정확도: IntentKV는 무한한 메모리를 가진 것처럼 AI를 똑똑하게 유지했습니다. 즉, "탐정 기술"을 잃지 않았습니다.
효율성:
- 표준 작업에서 필요한 메모리를 약 24%에서 31% 줄였습니다.
- 가장 어렵고 긴 작업의 경우, 메모리 사용량을 최대 **78%**까지, 읽기 속도 요구 사항을 최대 **92%**까지 줄였습니다.
비교: 모든 다른 "정리" 방식들을 이겼습니다. 다른 방식들이 메모리가 타이트해질 때 오류를 내거나 틀린 답을 낸 반면, IntentKV는 원활하게 작동을 유지했습니다.

중요한 한계점 (논문에서 언급하지 않은 것)

모든 AI를 위한 마법 지팡이는 아님: 논문은 이 실험이 특정 "Qwen" 모델에서만 수행되었음을 명시합니다. 다른 유명한 오픈 소스 모델들(Llama나 Mistral 등)은 해당 테스트 환경에서 다단계 작업을 제대로 수행하지 못했습니다. 문제는 메모리가 아니라, 모델 자체가 해당 테스트에서 "에이전트"처럼 행동하지 못한 것이었습니다.
스스로 예산을 정하지 못함: 시스템은 사람이 고정된 제한(예: "8,000 토큰 유지")을 설정해 주어야 합니다. "아, 이 질문은 짧으니까 메모리를 적게 써야지"라고 스스로 결정하지 않습니다.
챗봇이 아닌 에이전트를 위한 것: 이것은 단순한 일회성 채팅이 아니라, 여러 턴에 걸쳐 도구(검색, 코드 등)를 사용하는 AI를 위해 설계되었습니다.

요약

IntentKV는 AI 에이전트를 위한 스마트한 메모리 관리자입니다. 단순히 현재 문장만이 아니라 전체 대화의 *의도(Intent)*를 추적함으로써 과거의 가장 중요한 단서들을 보존합니다. 또한, 남은 종이들을 섞지 않고도 오래된 정보를 제거함으로써, AI가 매우 길고 복잡한 조사 과정 중에도 빠르고 정확하며 효율적으로 작동할 수 있게 합니다.

기술 요약: IntentKV

문제 정의

현대의 대규모 언어 모델(LLM) 에이전트는 브라우징, 심층 연구, 도구 사용을 포함하는 멀티턴 워크플로우를 점점 더 많이 실행하고 있습니다. 이러한 시나리오에서 짧은 초기 사용자 쿼리는 검색된 문서, 도구 출력, 중간 결정 및 생성된 인자(arguments)로 이어지는 긴 궤적으로 확장됩니다. 이는 에이전트의 상태가 수만 개의 토큰으로 성장하는 반면, 원래의 쿼리는 짧게 유지되는 비대칭적 서빙 프로파일을 생성합니다. 결과적으로, 롱 호라이즌(long-horizon) 에이전트 세션에서는 파라미터 연산보다 KV 메모리 용량과 KV 읽기 대역폭이 지배적인 병목 현상이 됩니다.

기존의 KV-캐시 프루닝(pruning) 방법들(예: StreamingLLM, SnapKV, H2O)은 주로 단일 프롬프트 압축을 위해 설계되었습니다. 이를 멀티턴 에이전트에 적용할 경우, 두 가지 결정적인 실패 모드에 직면합니다:

노후화된 유지 신호(Stale Retention Signals): 토큰의 중요도는 턴(turn)이 지남에 따라 변화합니다. 이후의 턴에서 유용한 증거(예: 특정 검색 결과)는 초기 프롬프트에 대해서만 학습된 스코어러에 의해 버려질 수 있습니다. 이는 "토큰의 중요성"이 정적이지 않고 새로운 의도(intent)와 함께 진화하기 때문입니다.
접두사 정체성 상실(Loss of Prefix Identity): 표준 프루닝은 생존한 KV 행을 연속적인 슬롯으로 재배치하여 캐시를 압축합니다. 이는 토큰의 논리적 위치와 RoPE 페이즈(phase)를 변경하여, SGLang이나 vLLM과 같은 시스템이 래디스 트리(radix tree)를 통해 턴 간에 캐시된 상태를 재사용하는 데 필요한 접두사 정체성을 무효화합니다.

방법론: IntentKV

IntentKV는 유지 정책(어떤 토큰을 남길 것인가)과 레이아웃 정책(캐시를 어떻게 표현할 것인가)을 분리함으로써 이러한 문제를 해결합니다. 이 방법은 기본 LLM을 동결된 상태로 유지하며, 학습된 세션 인식 프루닝 메커니즘을 도입합니다.

1. 교차 턴 의도 인식 유지 (Cross-Turn Intent-Aware Retention)

단일 프롬프트를 기준으로 토큰을 점수화하는 대신, IntentKV는 전체 세션에 걸쳐 쿼리 유사 신호를 집계하는 QueryMemory ( $M_t$ )를 유지합니다.

QueryMemory 업데이트: $M_t$ 는 기하학적 재귀를 통해 업데이트됩니다: $M_t = e^{-\lambda} M_{t-1} + \text{Enc}(q_t)$ , 여기서 $\text{Enc}(q_t)$ 는 현재 턴의 실행 가능한 쿼리 스팬(span)을 나타냅니다. 이를 통해 시스템은 진화하는 의도(예: "항공권 검색"에서 "최저가 항공권 찾기"로의 전환)를 추적할 수 있습니다.
규칙 스코어링(Rule Scoring): 토큰은 누적된 $M_t$ 와의 어텐션 정렬(attention alignment)을 기반으로 점수가 매겨지며, 이는 SnapKV와 같은 방식의 윈도우 기반 테일 어텐션(tail attention)을 대체합니다.
학습된 잔차(Learned Residual): 규칙 스코어러가 미래 사용 증거를 놓치는 경우를 처리하기 위해, 제로 초기화된 잔차 헤드가 추가됩니다. 이 헤드는 현재 쿼리의 K-벡터와 (규칙 점수 및 QueryMemory 상태를 포함한) 토큰별 특징에 대한 크로스 어텐션을 사용하여 보정을 예측합니다. 최종 점수는 규칙 점수와 학습된 잔차의 조합입니다.

2. 레이아웃 보존 제거 (Layout-Preserving Eviction)

접두사 캐싱과의 호환성을 유지하기 위해, IntentKV는 압축(compaction) 대신 슬롯 맵 리다이렉션(slot-map redirection) 전략을 채택합니다.

센티널 데드 슬롯(Sentinel Dead Slot): 토큰이 제거될 때, 슬롯 맵에서의 위치는 미리 할당된 "센티널" 데드 슬롯으로 리다이렉션됩니다. 이 슬롯의 K/V 값은 어텐션 기여도를 사실상 제로로 만드는 특정 상수(예: $K=-10^4, V=0$ )로 설정됩니다. 이는 생존한 토큰의 물리적 레이아웃을 변경하지 않습니다.
보존된 정체성: 생존한 K/V 행, 그들의 RoPE 페이즈, 그리고 논리적 슬롯 정체성은 변경되지 않습니다. 이를 통해 래디스 트리는 턴 간에 캐시된 접두사를 계속 매칭할 수 있어, 프루닝 후에도 효율적인 상태 재사용이 가능해집 up니다.

주요 기여

멀티 쿼리 유지 공식화: 본 논문은 에이전트 KV 프루닝을 멀티 쿼리 유지 문제로 공식화하였으며, 이를 쿼리, 도구 호출, 검색 의도를 세션 전반에 걸쳐 집계하는 per-session 상태인 QueryMemory를 통해 구현하였습니다.
동결 모델 잔차 프러너(Frozen-Model Residual Pruner): 세션 인식 휴리스틱을 주요 신호로 사용하면서, 미래 행동에 근거한 보정을 추가하되 기본 LLM 가중치를 업데이트하지 않는 학습된 잔차 프러너를 제안합니다.
조합 가능한 제거 레시피: 제거된 위치를 센티널 슬롯으로 리다이렉션하는 페이지드 KV 캐시(SGLang/vLLM)용 제거 전략을 제공합니다. 이는 접두사 재사용을 보존하여, 압축 기반의 베이스라인들이 0~3%로 떨어지는 8k 예산 상황에서도 **20.7%의 접두사 히트율(prefix-hit rate)**을 달상합니다.
성능 이점: BCP 벤치마크에서 IntentKV는 최소한의 정확도 손실만으로 풀-캐시 베이스라인과 일치하는 성능을 보이면서 자원 사용량을 크게 줄입니다.

실험 결과

본 방법은 Qwen3-8B 및 Qwen2.5-14B를 사용하여 BrowseComp-Plus (BCP) 벤치마크(830개의 심층 연구 쿼리)에서 평가되었습니다.

정확도: 8k KV 예산에서, Intent-KV-Phase-2는 Qwen3-8B에서 14.10의 True Accuracy를 달성(가장 강력한 휴리스틱인 StreamingLLM보다 2.29 포인트 상회)하고, Qwen2.5-14B에서 18.55를 달성(StreamingLLM보다 10.36 포인트 상회)했습니다. 16k 예산에서는 Qwen3-8B에서 풀-캐시 상한선과 0.96 포인트 이내로 일치합니다.
효율성: 가장 까다로운 100개의 쿼리에 대해, 압축되지 않은 상한선 대비 최악의 경우 피크 요청 토큰을 77.8%~81.7% 감소시키고, 최악의 경우 원시 KV 읽기를 36.9%~92.6% 감소시킵니다.
시스템 오버헤드: 접두사 재사용 덕분에 압축 베이스라인 대비 벽시계 시간(wall-clock time) 레이턴시를 최대 43% 감소시키고 원시 KV 읽기를 59% 감소시켰습니다.
어블레이션(Ablation): 교차 턴 메모리 구성 요소가 지배적인 신호임이 확인되었습니다. 이를 제거하면 정확도가 크게 하락합니다. 학습된 잔차는 타이트한 예산에서 미미한 이득을 제공하지만, 용량이 허용될 때 성능을 개선합니다.

의의 및 주장

본 논문은 IntentKV가 유지 로직과 캐시 레이아웃을 분리함으로써 KV 압축과 멀티턴 에이전트 서빙 사이의 긴장을 성공적으로 해결했다고 주장합니다. 세션 수준의 의도 메모리를 유지하고 비압축형 제거 전략을 사용함으로써, 에이전트가 캐시된 접두사 재사용 능력을 희생하지 않고도 엄격한 메모리 예산 하에서 작동할 수 있게 합니다.

저자들은 평가가 Qwen 모델로 제한되었다고 언급했는데, 이는 다른 오픈 소스 백본(예: Llama-3.1, Mistral)들이 저자들의 서빙 하네스 하에서 신뢰할 수 있는 자율적 멀티 스텝 도구 호출 동작을 보이지 않아 압축 효과를 공정하게 비교할 수 없었기 때문입니다. 이 방법은 기존 서빙 스택(SGLang, vLLM) 및 향후 프롬프트 로컬 스코어러와 조합 가능하도록 설계되었으나, 쿼리별 동적 예산 선택은 향후 연구 과제로 남아 있습니다.