Why Agent Caching Fails and How to Fix It: Structured Intent Canonicalization with Few-Shot Learning

1. 문제 정의 (Problem Statement)

개인 AI 에이전트 (OpenClaw, Manus 등) 는 LLM API 를 통해 반복적인 작업을 수행하지만, 이는 막대한 비용과 지연 시간 (Latency) 을 초래합니다.

• 기존 캐싱 방법의 실패:
  • 정확한 매칭 (Exact Caching): 동일한 입력만 매칭되므로 문맥이 조금만 달라져도 (Paraphrase) 캐싱이 실패합니다.
  • 의미적 캐싱 (Semantic Caching, 예: GPTCache): 임베딩 유사도를 사용하지만, "이메일 확인"과 "이메일 발송"은 의미적으로 유사하지만 실행해야 할 도구 시퀀스는 완전히 다릅니다. 이로 인해 위양성 (False Positive) 캐시 히트가 발생하여 에이전트의 성능이 저하됩니다.
  • 에이전트 계획 캐싱 (APC): 키워드 추출을 사용하지만, 개인 에이전트 쿼리는 너무 짧아 (3~8 단어) 신뢰할 수 있는 신호를 제공하지 못합니다.
• 근본 원인: 기존 방법들은 '분류 정확도 (Classification Accuracy)'를 최적화하려 하지만, 캐싱의 핵심은 **키 일관성 (Key Consistency)**과 **정밀도 (Precision)**입니다. 즉, "동일한 의도를 가진 쿼리가 항상 동일한 캐시 키를 생성하는가?"와 "캐시 히트가 안전한가?"가 더 중요합니다.

2. 제안 방법론 (Methodology)

저자는 에이전트 캐싱을 단순한 분류 문제가 아닌 의도 정규화 (Intent Canonicalization) 문제로 재정의하고, 이를 해결하기 위한 새로운 프레임워크를 제안합니다.

2.1 W5H2 구조적 의도 정규화 (Structured Intent Canonicalization)

사용자 요청을 7 가지 구조화된 필드 (Who, What, When, Where, Why, How, How Much) 로 분해합니다.

• 캐시 키: (WHAT, WHERE) 쌍만 사용합니다. (예: retrieve_email, email)
• 파라미터 추출: Who(Alice), When(오늘) 등의 변수는 별도로 추출하여 실행 시 주입합니다.
• 효과: 파라미터의 변화 (다른 발신자, 다른 날짜) 가 캐시 키를 분열시키지 않아 캐시 재사용률을 극대화합니다. 언어에 구애받지 않는 정규화된 라벨을 생성합니다.

2.2 Few-Shot Contrastive Learning (SetFit)

• 모델: SetFit (Sentence Transformer 기반, 22M 파라미터) 을 사용하여 클래스당 8 개의 예시 (Few-shot) 만으로 학습합니다.
• 학습 방식: 대조 학습 (Contrastive Learning) 을 통해 동일한 클래스 내 예시들은 밀집하고, 다른 클래스는 분리되도록 임베딩 공간을 조정합니다.
• 장점: 대규모 LLM(20B+) 보다 훨씬 적은 데이터로 높은 정확도와 일관성을 달성하며, 지연 시간이 700 배 이상 빠릅니다.

2.3 5 단계 캐스케이드 아키텍처 (Five-Tier Cascade)

비용과 정확도의 균형을 맞추기 위해 5 단계 계층 구조를 도입합니다.

1. Tier 0 (Fingerprint): NER 및 템플릿 해싱 (<1ms, ~30% 처리).
2. Tier 1 (Supervised BERT): 고신뢰도 쿼리 처리 (97.3% 정확도, ~40% 처리).
3. Tier 2 (SetFit): Few-shot 모델로 새로운 문장 처리 (2~10ms, ~15% 처리).
4. Tier 3 (Cheap LLM): 저비용 LLM 을 통한 구조화 추출 (~14% 처리).
5. Tier 4 (Deep Agent): 복잡한 신규 작업 처리 (~1% 처리).

• 결과: Tier 0~2 에서 전체 트래픽의 85% 를 로컬에서 처리하여 API 비용을 절감합니다.

2.4 평가 지표: V-measure 분해

캐시 키의 품질을 평가하기 위해 V-measure(Rosenberg & Hirschberg, 2007) 를 도입합니다.

• Homogeneity (h, 정밀도): 하나의 키가 하나의 의도만 매핑하는가? (위양성 방지)
• Completeness (c, 일관성): 하나의 의도가 하나의 키로만 매핑되는가? (위음성 방지)
• 기존 '히트율' 중심의 평가 대신, 이 두 속성을 분리하여 평가함으로써 캐시 안전성을 보장합니다.

3. 주요 결과 (Key Results)

3.1 성능 비교

• MASSIVE 벤치마크 (8 클래스):
  • SetFit (8-shot): 정확도 91.1% ± 1.7%, 지연 시간 2~5ms.
  • GPTCache: 정확도 37.9% (안전한 임계값 기준).
  • LLM (20B, 4-shot): 정확도 약 79%, 지연 시간 3,447ms.
  • 결론: 22M 파라미터의 SetFit 이 20B 파라미터 LLM 보다 정확도는 높고 속도는 700 배 이상 빠릅니다.
• NyayaBench v2 (실제 에이전트 데이터, 20 클래스):
  • SetFit 정확도: 55.3% (8-shot) → 62.6% (16-shot).
  • 기존 벤치마크보다 훨씬 어려운 실제 데이터에서도 유효함을 입증했습니다.
• 다국어 전이 (Cross-lingual Transfer):
  • 영어 데이터 (160 예시) 로만 학습한 SetFit-Multi 가 30 개 언어에서 **평균 37.7%**의 정확도를 달성했습니다 (비영어 학습 데이터 없음).

3.2 역설적 발견 (Counter-intuitive Findings)

• 작은 모델이 큰 모델을 이긴다: 복합 쿼리 감지 (Compound Query Detection) 에서 22M 파라미터 모델 (MiniLMv2) 이 94.4% 정확도를 보인 반면, 280M 파라미터 모델 (mDeBERTa) 은 0% 를 기록했습니다. 큰 모델은 과도한 함의 (Over-entailment) 로 인해 결정 경계를 파괴했습니다.
• 일관성이 정확도보다 중요하다: "틀리지만 일관된 (Wrong-but-consistent)" 캐시 키가 "맞지만 변동성이 큰 (Right-but-variable)" 키보다 캐싱 효율이 더 높습니다.

3.3 비용 절감 효과

• 개인 사용자 기준 (하루 50 요청):
  • 전체 LLM 사용 시: 월 $31.72
  • 제안된 5 단계 캐스케이드 적용 시: 월 $0.80
  • 비용 절감률: 97.5%

4. 주요 기여 (Contributions)

1. W5H2 프레임워크: 에이전트 계획 캐싱에 구조적 의도 정규화 (Action-Target 기반) 를 처음 적용하여 언어 무관성과 부분 매칭을 가능하게 함.
2. SetFit 기반 Few-Shot 캐싱: 클래스당 8 개의 예시로 에이전트 캐싱에 대조 학습을 적용, 기존 방법론보다 월등한 성능과 저지연 달성.
3. 캐시 키 = 클러스터링 평가: 캐시 키 평가가 클러스터링 품질 평가 (V-measure) 로 환원됨을 규명하고, 정밀도 (h) 와 일관성 (c) 을 분리하여 평가하는 새로운 프레임워크 제시.
4. 정보 이론적 분석: SetFit 이 정보 이론적 속도 (Rate) 에서 최적의 압축을 달성함을 증명 (Rate-Distortion 분석).
5. 5 단계 캐스케이드 아키텍처: BERT(지도 학습) 와 SetFit(Few-shot) 을 결합하여 알려진 패턴과 새로운 패턴을 모두 처리하는 실용적 배포 경로 제시.

5. 의의 및 결론 (Significance)

이 논문은 개인 AI 에이전트 분야에서 캐싱의 패러다임을 '유사도 기반'에서 '구조적 정규화 기반'으로 전환시켰습니다.

• 기술적 통찰: LLM 의 일반적인 능력 (Generality) 이 캐싱에는 오히려 방해가 될 수 있음을 증명하고, 특정 작업에 최적화된 작은 모델 (SetFit) 과 구조적 분해 (W5H2) 가 더 효과적임을 입증했습니다.
• 실용적 가치: API 비용의 97.5% 절감을 가능하게 하여, 개인용 AI 에이전트의 상용화와 대중화를 위한 핵심 기술적 장벽을 제거했습니다.
• 평가 기준의 변화: 단순한 분류 정확도가 아닌, 캐시 안전성 (Safety) 과 일관성 (Consistency) 을 중시하는 새로운 평가 체계 (V-measure) 를 제시하여 향후 에이전트 시스템 설계에 중요한 기준을 마련했습니다.

결론적으로, 이 연구는 "왜 기존 캐싱이 실패하는가"에 대한 근본적인 원인을 규명하고, 구조적 의도 분해와 Few-Shot 학습을 결합한 경량화된 캐스케이드 아키텍처를 통해 비용 효율적이고 신뢰할 수 있는 개인 AI 에이전트 시스템을 구축할 수 있음을 증명했습니다.