기술 요약: 에이전틱 플랜 캐싱 (Agentic Plan Caching, APC)

문제 정의

"계획-실행(Plan-Act)" 패러다임(추론과 실행의 교차)을 따르는 대규모 언어 모델(LLM) 기반 에이전트 애플리케이션은 코딩, 웹 네비게이션, 데이터 분석과 같은 복잡한 워크플로우에서 상당한 역량을 입증했습니다. 그러나 이러한 애플리케이션은 방대한 계획 수립 요구사항으로 인해 막대한 비용과 지연 시간을 초래하며, 종종 비용이 많이 드는 추론 모델에 여러 번의 쿼리를 요청해야 하는 상황을 필요로 합니다.

기존의 캐싱 기술은 이 영역에 적용하기에 불충분합니다:

• 컨텍스트 캐싱 (KV Cache): 모델별 내부 상태에 의존하므로 서로 다른 모델이나 에이전트 파이프라인의 단계 간에 전송이 불가능합니다.
• 시맨틱 캐싱 (Semantic Caching): 프롬프트 유사성을 기반으로 입력-출력 쌍을 저장합니다. 이는 에이전트의 경우 출력이 데이터 의존적이거나 환경 의존적이기 때문에 실패합니다. 예를 들어, 동일한 고수준 쿼리("이 데이터셋을 요약하라")라도 데이터셋의 내용에 따라 서로 다른 구체적인 행동이 필요하며, "맨 위 댓글을 클릭하라"는 명령은 화면 상태에 따라 서로 다른 좌표를 요구합니다. 전통적인 시맨틱 캐싱은 핵심 의도와 동적인 컨텍스트를 분리하지 못하므로, 높은 오탐율(false positives) 또는 재사용 기회 상실을 초래합니다.

방법론: 에이전틱 플랜 캐싱 (APC)

저자들은 완료된 에이전트 실행으로부터 구조화된 플랜 템플릿을 추출, 저장, 적응 및 재사용하도록 설계된 테스트 타임 메모리 시스템인 **에이전틱 플랜 캐싱 (APC)**을 제안합니다. 원시 쿼리나 전체 실행 로그를 캐싱하는 기존 방식과 달리, APC는 에이전트 루프의 플랜(Plan) 단계에 집중합니다.

시스템 워크플로우

1. 키워드 추출: 새로운 태스크 쿼리를 받으면, 경량 언어 모델(예: GPT-4o-mini)이 태스크의 시맨틱 타겟을 포착하는 고수준 키워드 또는 의도(예: "운전자본 비율")를 추출합니다. 이때 기업명이나 날짜와 같은 특정 엔티티는 무시합니다.
2. 캐시 조회: 시스템은 (키워드, 플랜 템플릿) 쌍을 저장하는 캐시를 대상으로 정확한 일치(exact match) 조회를 수행합니다.
   • 캐시 히트 (Cache Hit): 일치하는 항목이 발견되면, 소형 플래너 LM(예: LLaMa-3.1-8B)이 현재 컨텍스트(예: 특정 회사명, 회계 연도)를 주입하여 검색된 플랜 템플릿을 적응시켜 상세한 플랜을 생성합니다.
   • 캐시 미스 (Cache Miss): 일치하는 항목이 없으면, 대형 플래너 LM이 처음부터 새로운 플랜을 생성합니다.
3. 실행 및 적응: 생성되거나 적응된 플랜은 태스크를 실행하기 위해 "액터(Actor) LM"으로 전달됩니다.
4. 템플릿 생성 (사후 실행): 태스크가 성공적으로 완료되면(캐시 미스의 경우), 시스템은 재사용 가능한 캐시 항목을 생성합니다:
   • 규칙 기반 필터를 통해 실행 로그에서 장황한 추론과 무관한 세부 사항을 제거합니다.
   • 경량 LLM 필터가 엔티티, 숫자와 같은 컨텍스트 특화 요소를 제거하여 일반화된 플랜 템플릿을 생성합니다.
   • 관련 키워드를 추출하여 템플릿과 함께 저장합니다.

주요 설계 선택 사항

• 쿼리 기반 매칭 vs 키워드 기반 매칭: 저자들은 쿼리 기반 시맨틱 유사성(임베딩 사용)이 컨텍스트 특화 세부 사항을 과도하게 강조하기 때문에 에이전트에게는 부적절하다고 주장합니다. 대신 태스크의 고수준 의도에 집중하는 키워드 추출이 더 신뢰할 수 있는 재사용 가능한 플랜 지표를 제공하여 오탐 및 미탐을 줄여줍니다.
• 퍼지 매칭 vs 정확한 매칭: 시스템은 낮은 지연 시간과 비용을 보장하기 위해 키워드에 대한 정확한 매칭을 사용합니다. 퍼지 매칭은 정확도 개선이 보장되지 않으면서도 상당한 계산 오버헤드와 확장성 문제를 야기하는 것으로 나타났습니다.
• 전체 히스토리 vs 템플릿: 전체 실행 로그를 캐싱하는 대신(소형 모델은 길이 문제로 처리에 어려움을 겪음), APC는 소형 모델이 적응하기 쉽도록 정제된 고품질의 플랜 템플릿을 캐싱합니다.

주요 기여

1. 한계 분석: 본 논문은 컨텍스트 및 시맨틱 캐싱 기술이 모델 의존성, 데이터 의존적 출력, 제한된 적응성으로 인해 왜 에이전트 AI 시나리오에서 실패하는지에 대한 포괄적인 분석을 제공합니다.
2. 새로운 캐싱 패러다임: APC는 쿼리 레벨 캐싱(챗봇에 적합)에서 태스크 레벨 캐싱으로 초점을 전환합니다. 이는 테스트 타임에 구조화된 플랜 템플릿을 추출하고 이를 경량 모델을 사용하여 적응시키는 시스템을 도입합니다.
3. 경험적 평가: 시스템은 다섯 가지 다양한 에이전트 워크로드(FinanceBench, Tabular Math Word Problems, AIME, GAIA 포함)와 두 가지 에이전트 아키텍처(Minion 및 Open Deep Research)를 통해 평가되었습니다.

결과

다양한 벤치마크를 통한 평가 결과는 다음과 같습니다:

• 비용 절감: APC는 정확도 최적 기준선(모든 플래닝에 대형 모델 사용) 대비 에이전트 서빙 비용을 50.31% 절감합니다.
• 지연 시간 감소: APC는 서빙 지연 시간을 27.28% 감소시킵니다.
• 성능 유지: 시스템은 최적의 애플리케이션 수준 정확도의 **96.61%**를 유지합니다.
• 오버헤드: 키워드 추출 및 캐시 생성으로 발생하는 오버헤드는 매우 적으며, 평균적으로 총 비용의 **1.04%**만을 차지합니다.
• 강건성(Robustness): 오탐으로 인해 캐시 히트 시 정확도가 크게 떨어지는 시맨틱 캐싱과 달리, APC는 캐시 상태와 관계없이 일관된 정확도를 유지합니다.

의의 및 주장

본 논문은 에이전틱 플랜 캐싱이 기존 LLM 서빙 인프라를 보완함으로써 LLM 기반 에이전트를 위한 더 효율적인 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 의도와 컨텍스트의 분리: 키워드(via keywords)를 통해 핵심 태스크 의도를 동적인 환경 데이터와 분리함으로써, APC는 의미론적으로는 유사하지만 컨텍스트가 다른 태스크 전반에 걸쳐 플래닝 로직을 재사용할 수 있게 합니다.
• 비용 효율적인 확장: 성능 저하 없이 많은 시나리오에서 플래닝 단계에 더 작고 저렴한 모델을 사용할 수 있게 하여, 에이전트 워크플로우 확장의 높은 비용 장벽을 해결합니다.
• 호환성: 이 프레임워크는 기존 에이전트 아키텍처와 호환되도록 설계되었으며, 다른 캐싱 기술(예: KV 캐시)과 함께 결합하여 사용할 수 있습니다.

저자들은 시스템이 효과적이지만, 캐시가 채워지기 전까지 초기 성능이 낮아지는 "콜드 스타트(cold start)" 한계에 직면해 있다고 언급하며, 이는 테스트 타임 캐싱의 공통된 특징입니다. 이들은 알려진 워크로드에 대해 오프라인 샘플로 캐시를 사전 구축하는 것을 완화 전략으로 제안합니다.