기술 요약: PEEK - 장기 컨텍스트 LLM 에이전트를 위한 오리엔테이션 캐시로서의 컨텍스트 맵

문제 정의

대형 언어 모델 (LLM) 에이전트는 increasingly 문서 코퍼스나 코드 레포지토리 같은 길고 반복적인 외부 컨텍스트에서 작동하며, 여기서 외부 데이터는 정적 상태로 유지되는 반면 작업은 변화합니다. 이러한 컨텍스트를 관리하는 기존 접근 방식은 네 가지 범주로 나뉩니다:

1. 공유 채팅/이력: 에이전트의 궤적을 보존하지만 노이즈가 많고 밀도가 낮은 컨텍스트를 축적합니다.
2. 이력 압축: 과거 활동을 요약하지만 외부 컨텍스트 자체에 대한 재사용 가능한 지식을 폐기합니다.
3. 수동 접근 (RAG, 오프로딩, 압축): 원시 또는 압축된 자료에 대한 접근을 제공하지만 컨텍스트의 구조와 조직에 대한 큐레이션된 영구 아티팩트가 부족합니다.
4. 프롬프트 학습: 작업 수준 전략을 큐레이션하지만 반복적인 외부 환경에 대한 컨텍스트 지식을 유지하지는 않습니다.

저자들은 중요한 격차가 존재한다고 주장합니다: 동일한 컨텍스트에서 반복되는 작업 부하를 위해 재사용 가능한 오리엔테이션 지식(예: 컨텍스트가 무엇을 포함하는지, 어떻게 조직되었는지, 어떤 엔티티/상수가 유용한지) 을 보존하는 경계 있고 관리된 아티팩트의 부재입니다.

방법론: PEEK 시스템

저자들은 에이전트의 시스템 프롬프트에 상주하는 작고 일정한 크기의 아티팩트인 컨텍스트 맵을 유지하는 PEEK 시스템을 소개합니다. 이 맵은 "오리엔테이션 캐시"로 작용하여 에이전트가 외부 컨텍스트에 대한 영구적인 "스냅샷 (peek)"을 갖도록 합니다. 이 시스템은 하드웨어 캐시와 데이터베이스 인덱스에서 영감을 받았지만 에이전트 수준에서 작동하며 토큰 상태 압축보다는 큐레이션된 의미에 중점을 둡니다.

PEEK 는 각 쿼리 실행 후 맵을 업데이트하는 세 가지 모듈로 구성된 프로그래밍 가능한 캐시 정책을 사용합니다:

1. Distiller (증류기): 에이전트의 실행 궤적 (추론 단계, 도구 호출, 관찰) 을 분석하여 전이 가능한 컨텍스트 지식을 추출합니다. 이는 컨텍스트 구조를 이해하는 오리엔테이션 작업(재사용 가능) 과 특정 질문에 답하는 작업별 작업(재사용 불가) 을 구분합니다. 출력물은 진단, 기존 맵 항목에 대한 태그, 그리고 새 캐시 항목 후보를 포함합니다.
2. Cartographer (지도 제작자): 증류기의 출력을 컨텍스트 맵을 위한 구조화된 편집 작업 (ADD, DELETE, REPLACE) 으로 변환합니다. 맵이 노이즈가 많거나 중복되지 않도록 업데이트가 국소적이고 추적 가능하며 중복 제거되도록 보장합니다.
3. Evictor (제거기): 맵에 대한 고정된 토큰 예산 ($B$) 을 강제합니다. 우선순위 기반 제거 전략을 사용하여 예산을 초과할 때 parsing 스키마나 오류 패턴과 같은 저가치 항목을 도메인 상수나 컨텍스트 이해와 같은 고가치 항목보다 먼저 제거합니다.

컨텍스트 맵 자체는 다음과 같은 섹션으로 구조화됩니다:

• 컨텍스트 로드맵: 콘텐츠와 위치의 인덱스.
• 컨텍스트 이해: 고수준 설명, 주요 엔티티 및 관계.
• 도메인 상수: 정확한 값, 공식 및 스키마.
• 재사용 가능한 결과: 여러 쿼리에 적용 가능한 파생 계산.
• 파싱 스키마: 형식 및 구분자 구조.

이 시스템은 맵을 처음 $m$개의 쿼리에 대해 업데이트한 후 재사용을 위해 고정하거나 완전히 온라인으로 업데이트 ($m=n$) 할 수 있게 하는 "evolve steps" 매개변수 ($m$) 를 지원합니다.

주요 기여

• 개념적 프레임워크: 이 논문은 컨텍스트 관리의 설계 공간에서 능동적 외부 컨텍스트 상태의 격차를 메우는 별도의 사분면으로서 "컨텍스트 맵"을 정의합니다.
• 시스템 설계: PEEK 는 지식 추출 (증류기) 과 구조적 편집 (지도 제작자) 을 분리하며, 이 설계 선택은 작업별 사실이 캐시를 오염시키는 것을 방지하는 데 결정적임을 증식 실험을 통해 입증했습니다.
• 효율성 메커니즘: 작고 일정한 크기의 맵을 유지함으로써 PEEK 는 공유 채팅 이력과 관련된 초선형 토큰 증가와 전체 컨텍스트 압축의 높은 지연 시간을 피합니다.

실험 결과

저자들은 OOLONG(긴 컨텍스트 추론 및 집계) 과 CL-bench(컨텍스트 학습) 두 가지 벤치마크에서 PEEK 를 평가했습니다. 사용된 기본 에이전트는 GPT-5-mini 를 사용한 재귀적 언어 모델 (RLM) 이었습니다.

성능 향상:

• 품질: PEEK 는 State-of-the-Art (SOTA) 프롬프트 학습 프레임워크인 ACE 를 포함한 모든 베이스라인을 능가했습니다.
  • OOLONG 에서 PEEK 는 RLM 대비 6.3–34.0%, ACE 대비 7.8–15.0% 점수를 향상시켰습니다.
  • CL-bench 에서 PEEK 는 RLM 대비 해결률 6.0–14.0% 및 평가 기준 정확도 7.8–12.1% 를 향상시켰으며, ACE 대비 6.0% / 9.9% 를 향상시켰습니다.
• 효율성 (반복 횟수): PEEK 는 더 높은 품질을 달성하면서 OOLONG 에서 ACE 보다 93–145 회 적은 반복 횟수를 필요로 했습니다. 이는 일관되게 고품질, 저반복 횟수 영역인 파레토 프론티어를 차지했습니다.
• 비용: PEEK 는 OOLONG 에서 ACE 대비 1.7–5.8 배 낮은 비용을, CL-bench 에서 1.4 배 낮은 비용을 발생시켰습니다. 이는 반복 횟수를 줄이고 ACE 의 verbose 하고 토큰이 많은 적응 루프를 피함으로써 달성되었습니다.

일반화:

• 모델 독립성: 기본 LLM 을 GPT-5.5 와 오픈 소스 Qwen3-Coder-Next-FP8 로 교체했을 때 향상된 성능이 일관되게 나타났습니다.
• 에이전트 독립성: PEEK 는 다른 백본 에이전트인 OpenAI Codex 에 적용되었을 때 성능을 향상시켜 컨텍스트 맵이 일반화 가능한 아티팩트임을 입증했습니다.

증식 연구:

• 증류기를 제거하고 (모놀리식 업데이트 사용) 성능이 약 7.7% 감소하여 진단과 편집을 분리하는 것의 필요성을 확인했습니다.
• 제거기를 제거하고 (예산에서 맵을 고정) 기본 RLM 대비 여전히 향상을 보였지만, 전체 정책은 추가적인 약 10.2% 의 개선을 제공하여 능동적 유지 관리의 가치를 강조했습니다.
• 캐시 크기 ($B$) 를 변화시킨 결과, 맵의 존재가 정확한 크기보다 더 중요했으며 작은 예산 (512 토큰) 만으로도 상당한 개선을 제공함이 나타났습니다.

중요성 및 주장

이 논문은 컨텍스트 맵이 장기 컨텍스트 LLM 에이전트가 반복적인 외부 컨텍스트와 더 정확하고 효율적으로 상호작용하도록 돕는다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 오리엔테이션 지식은 전이 가능합니다: 원시 대화 이력과 달리 코퍼스의 구조와 조직에 대한 지식은 다양한 작업 간에 재사용 가능합니다.
2. 능동적 관리가 우수합니다: 작고 큐레이션되며 능동적으로 유지 관리되는 아티팩트는 수동 검색 (RAG) 과 관리되지 않은 축적 (공유 채팅) 모두보다 우수한 성능을 발휘합니다.
3. 비용 - 품질 트레이드오프: PEEK 는 다른 방법들 (예: ACE) 이 더 낮은 품질을 위해 훨씬 더 많은 비용을 들이거나 유사한 결과를 위해 더 많은 반복 횟수가 필요한 파레토 프론티어에 위치하는 우수한 비용 - 품질 트레이드오프를 달성합니다.

저자들은 이 접근 방식이 모델 수준 KV 캐시 최적화와 구별되는 에이전트 측 캐싱을 위한 새로운 연구 과제를 열며, 특히 영구적인 외부 환경의 의미적 이해를 목표로 한다고 결론지었습니다. 그들은 현재 작업이 첫 번째 단계이며 동일한 긴 컨텍스트에 대한 반복 쿼리를 네이티브로 지원하는 향후 벤치마크를 통해 이 패러다임을 더 스트레스 테스트할 것을 요청합니다.