SideQuest: Model-Driven KV Cache Management for Long-Horizon Agentic Reasoning

이 논문은 긴 시간의 에이전트 작업에서 기존 휴리스틱 방법의 한계를 극복하고, LRM 이 자체적으로 토큰의 유용성을 추론하여 KV 캐시를 압축하는 병렬 보조 작업인 'SideQuest'를 제안함으로써 피크 토큰 사용량을 최대 65% 줄이면서도 정확도 저하를 최소화하는 새로운 접근법을 제시합니다.

핵심

🧠 배경: AI 의 '기억 과부하' 문제

상상해 보세요. AI 가 아주 복잡한 조사 작업을 한다고 칩시다. 예를 들어, "2026 년 GTC 컨퍼런스 이후 첫 긴 주말은 언제야?"라고 물었을 때, AI 는 인터넷을 검색하고, 여러 웹페이지를 열고, 날짜를 확인하고, 공휴일 목록을 찾아야 합니다.

이 과정에서 AI 는 **수십만 개의 정보 조각 (토큰)**을 기억해야 합니다.

• 기존 방식 (Heuristic): AI 는 "아까 검색했던 첫 번째 페이지는 이제 쓸모없겠지"라고 단순한 규칙 (예: "가장 최근에 본 것만 남기고 나머지는 지우기") 으로 기억을 정리합니다.
• 문제점: 하지만 AI 가 복잡한 추론을 할 때는 어떤 정보가 지금엔 쓸모없어 보이지만, 나중에 갑자기 핵심이 될 수도 있습니다. 단순한 규칙으로 지우면 중요한 정보를 실수로 삭제해 버려서, AI 가 엉뚱한 답을 하거나 작업을 멈추게 됩니다. 마치 책상 위에 중요한 서류를 '쓰레기'로 착각하고 버리는 것과 같습니다.

✨ SideQuest: AI 가 스스로 기억을 정리하는 방법

SideQuest 는 이 문제를 해결하기 위해 AI 스스로가 "무엇을 기억하고 무엇을 버릴지 판단하게" 합니다.

1. 비유: "메인 비서"와 "보조 정리 담당"

SideQuest 는 두 명의 직원이 함께 일하는 시스템을 상상해 보세요.

• 메인 비서 (Main Thread): 사용자의 질문을 해결하기 위해 열심히 검색하고, 글을 쓰고, 논리적으로 생각하며 일을 진행합니다.
• 보조 정리 담당 (Auxiliary Thread): 메인 비서가 일하는 동안, 나란히 (병렬로) 일하면서 책상 위를 살핍니다.
  • "저기, 1 번 검색 결과는 이미 2 번 페이지에서 날짜를 확인했으니 이제 필요 없네? 지워도 되겠다."
  • "하지만 2 번 페이지의 날짜 정보는 나중에 결론을 내릴 때 인용해야 하니까 남겨둬야지."

이 보조 담당은 메인 비서의 일을 방해하지 않으면서, 불필요한 정보 (오래된 검색 결과 등) 를 정확히 찾아내어 지시합니다.

2. 핵심 기술: "기억 관리 모드"

AI 는 평소에는 사용자의 질문에 답하지만, SideQuest 가 작동하면 **잠깐 '기억 관리 모드'**로 전환됩니다. 이때 AI 는 "이제 내가 정리할 시간이야"라고 생각하고, 현재 기억하고 있는 정보들 중에서 어떤 것이 더 이상 쓸모없는지 스스로 판단하여 삭제 명령을 내립니다.

이때 중요한 점은, 이 정리 작업이 메인 작업과 동시에 이루어지기 때문에 AI 가 일을 멈추고 정리할 필요가 없다는 것입니다. 마치 요리사가 요리를 하면서 옆에서 조수가 재료를 정리해 주는 것과 같습니다.

🚀 SideQuest 가 가져온 변화

이 논문의 실험 결과, SideQuest 는 놀라운 성과를 보였습니다.

1. 메모리 65% 절약: AI 가 사용하는 기억 공간 (메모리) 을 최대 65% 까지 줄였습니다. 이는 마치 책상 위를 3 분의 1 로 줄여서, 더 많은 사람이 동시에 일할 수 있게 만든 것과 같습니다.
2. 정확도 유지: 정보를 많이 지웠지만, AI 가 답을 맞추는 정확도는 거의 떨어지지 않았습니다. 오히려 단순한 규칙을 쓰는 다른 방법들보다 훨씬 똑똑하게 작동했습니다.
3. 유연한 대응: 작업이 쉬울 때는 정보를 적게, 복잡할 때는 정보를 많이 기억하도록 상황에 따라 자동으로 조절합니다.

📝 한 줄 요약

SideQuest는 AI 가 긴 작업을 할 때, 단순한 규칙이 아니라 AI 스스로가 "어떤 정보가 쓸모없는지" 판단하게 하여, 기억 공간을 효율적으로 정리하는 혁신적인 기술입니다.

이 기술 덕분에 AI 는 더 길고 복잡한 문제도, 더 적은 비용으로, 더 빠르게 해결할 수 있게 되었습니다. 마치 스스로 책상을 정리하는 똑똑한 비서가 생긴 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

최근 LLM 은 단순한 대화형 인터페이스를 넘어, 여러 문서와 웹페이지에 분산된 정보를 종합하는 **다단계 추론 (Multi-hop Reasoning)**이 가능한 자율 에이전트로 진화하고 있습니다. 이러한 작업은 다음과 같은 심각한 메모리 문제를 야기합니다.

• 급증하는 컨텍스트 크기: 에이전트는 수만에서 수십만 토큰에 달하는 검색 결과, 도구 호출 기록, 중간 추론 과정을 컨텍스트에 유지해야 합니다.
• KV 캐시의 비효율성: Key-Value (KV) 캐시는 시퀀스 길이에 비례하여 선형적으로 증가하여 GPU 메모리를 빠르게 소모하고, 추론 속도를 저하시킵니다.
• 기존 휴리스틱의 한계: 기존 KV 캐시 압축 기술 (H2O, Scissorhands, SnapKV 등) 은 '과거의 주시도 (Attention Score)'나 '고정된 휴리스틱'에 의존합니다. 그러나 에이전트 작업에서는 **토큰의 중요도가 동적이고 비단조적 (non-monotonic)**입니다. 초기 단계에서 중요해 보이지 않던 정보가 나중에 결정적인 역할을 하거나, 반대로 검색 결과는 즉시 쓸모없어질 수 있습니다. 기존 휴리스틱은 이러한 역동성을 파악하지 못해 중요한 정보를 일찍 삭제하거나 (추론 실패), 불필요한 정보를 유지하여 메모리를 낭비합니다.

2. 방법론 (Methodology: SideQuest)

SideQuest 는 모델이 스스로 메모리 관리 (쓰레기 수집) 를 수행하도록 설계된 모델 주도 (Model-Driven) 접근법입니다. 핵심 아이디어는 **메모리 관리를 주 추론 작업과 병렬로 실행되는 보조 작업 (Auxiliary Task)**으로 전환하는 것입니다.

2.1. 아키텍처 및 동작 원리

• 병렬 보조 스레드 (Parallel Auxiliary Thread): 주 추론 스레드 (Main Thread) 가 사용자의 요청을 처리하는 동안, SideQuest 는 정기적으로 보조 스레드를 생성하여 동일한 컨텍스트를 공유합니다.
• 유용성 추론 (Staleness Reasoning): 보조 스레드는 모델에게 **Memory management mode**라는 트리거 구문을 제공하여, 현재 열린 도구 호출 (Tool Outputs) 및 검색 결과 (Cursors) 중 어떤 것이 더 이상 필요 없는지 (Stale) 추론하게 합니다.
• 정교한 삭제 (Granular Eviction): 모델은 더 이상 필요 없는 커서 (예: 검색 결과 페이지) 를 식별하고 {del_cursors: [0]}와 같은 구조화된 명령을 출력합니다.
• 동기화 및 정리: 주 스레드의 현재 턱이 완료된 후, 시스템은 보조 스레드가 지정한 KV 캐시 엔트리를 삭제하여 컨텍스트 크기를 줄입니다.

2.2. 학습 방법론 (Training Strategy)

모델이 일반 추론 능력을 잃지 않으면서 메모리 관리 능력을 습득하도록 하이브리드 데이터셋을 구성하여 학습합니다.

1. 주 추론 트레이스 (Main Traces): 원래 모델이 정답을 도출한 추론 경로를 유지하며, Logit Distillation을 통해 원본 모델의 추론 능력을 보존합니다.
2. 보조 트레이스 (Auxiliary Traces): '후견 (Hindsight)' 분석을 통해 각 도구 호출이 마지막으로 사용된 시점을 파악합니다. 더 이상 참조되지 않는 토큰을 마스킹하고, 모델이 왜 해당 토큰을 삭제해야 하는지 추론하게 하는 데이터를 생성합니다.
3. 공동 최적화: 두 가지 목적 함수 (교차 엔트로피 손실 + 증류 손실) 를 결합하여 학습합니다.

2.3. 오버헤드 최소화

• 보조 스레드는 주 스레드와 컨텍스트를 공유하므로 KV 캐시를 중복 저장하지 않습니다.
• 보조 스레드에서 생성된 임시 토큰은 삭제 명령이 완료된 후 폐기되므로, 주 컨텍스트에 관리 토큰이 남아 오염되는 것을 방지합니다.
• 공유 컨텍스트 추론 최적화 (Cascade Inference 등) 를 활용하여 메모리 대역폭 오버헤드를 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 휴리스틱 기반 방법의 한계 규명: 다단계 에이전트 작업에서 고정된 휴리스틱이 토큰의 동적인 유용성을 포착하지 못해 성능 저하를 초래함을 실험적으로 증명했습니다.
2. 모델 주도 메모리 관리 프레임워크 (SideQuest): LRM 이 자신의 컨텍스트 상태를 이해하고 스스로 쓸모없는 정보를 식별하여 삭제하는 새로운 패러다임을 제시했습니다.
3. 저오버헤드 병렬 추론 아키텍처: 메모리 관리 작업을 병렬 스레드로 격리하여 주 작업의 지연을 방지하고 컨텍스트 정결성을 유지하는 설계를 제안했습니다.
4. 효율적인 학습 파이프라인: 고비용의 인간 라벨링 없이, 추론 트레이스의 '후견 분석'을 통해 고품질의 감독 데이터를 생성하는 확장 가능한 방법을 개발했습니다.

4. 실험 결과 (Results)

데이터셋: FRAMES (위키피디아 기반 다단계 추론), BrowseComp (웹 검색 및 정보 탐색).
모델: gpt-oss-20b (Medium/High 추론 노력).
학습 데이터: 215 개의 고품질 샘플로 미세 조정 (Fine-tuning) 수행.

• 메모리 효율성:
  • 피크 토큰 사용량을 56~65% 감소시켰습니다.
  • KV 캐시 메모리 읽기 (Memory Reads) 를 53~71% 감소시켰습니다.
• 정확도 (Accuracy):
  • 메모리 절감에도 불구하고 정확도 저하는 **최대 2% (FRAMES) ~ 5% (BrowseComp)**로 미미했습니다.
  • 반면, 기존 휴리스틱 방법 (H2O, SnapKV, R-KV) 은 유사한 압축률에서 정확도가 급격히 떨어졌습니다.
• 신뢰성 (Reliability):
  • 휴리스틱 방법들은 문맥 한계나 논리 붕괴로 인해 비완료 (Non-Completion) 비율이 높았으나, SideQuest 는 압축되지 않은 베이스라인과 유사한 낮은 실패율을 유지했습니다.
• 서빙 성능 (Serving Performance):
  • 단일 GPU 환경에서 처리량 (Throughput) 을 83.9% 증가시켰습니다 (초당 828 토큰 → 1523 토큰).
  • 전체 벤치마크 실행 시간을 36.8% 단축시켰습니다.

5. 의의 및 결론 (Significance)

SideQuest 는 장기 에이전트 추론에서 메모리 관리를 고정된 제약 조건이 아닌 학습 가능한 추론 기술로 전환했다는 점에서 의의가 큽니다.

• 적응형 컨텍스트 관리: 작업의 난이도에 따라 실시간으로 필요한 토큰만 유지하고 불필요한 정보를 제거하여, 고정된 토큰 예산 (Fixed Token Budget) 방식의 한계를 극복했습니다.
• 생산성 향상: GPU 메모리 대역폭 병목 현상을 완화하여 동시성 (Concurrency) 을 높이고, 추론 속도를 획기적으로 개선했습니다.
• 확장 가능성: 이 아키텍처는 메모리 관리뿐만 아니라, 보안 검사, 정책 준수 확인 등 다양한 보조 작업 (Auxiliary Tasks) 을 병렬로 수행하는 데에도 적용 가능하여, 향후 에이전트 시스템의 효율성과 안전성을 동시에 높이는 핵심 기술로 기대됩니다.

결론적으로, SideQuest 는 복잡한 에이전트 작업에서 높은 정확도를 유지하면서도 메모리 효율을 극대화할 수 있는 새로운 표준을 제시했습니다.