AMV-L: Lifecycle-Managed Agent Memory for Tail-Latency Control in Long-Running LLM Systems

이 논문은 장기 실행 LLM 에이전트의 지연 시간 불규칙성을 해결하기 위해, 단순한 시간 기반 유지보수가 아닌 가치 기반 수명 주기 관리와 검색 집합 크기 제한을 통해 AMV-L 프레임워크를 제안하고, 이를 통해 처리량을 3.1 배 향상시키고 극단적 지연을 획기적으로 줄인 결과를 입증합니다.

핵심

🧠 문제: "기억이 너무 많아져서 머리가 멍해지는 상황"

상상해 보세요. 당신은 아주 똑똑한 비서 (LLM) 를 고용했습니다. 이 비서는 당신과 대화할 때마다 과거의 모든 대화 내용, 당신의 취향, 프로젝트 자료 등을 기억해야 합니다.

하지만 기존의 방식 (TTL이라고 부름) 은 아주 단순했습니다.

"이 메모리는 30 일이 지나면 자동으로 지워져."

이 방식은 저장 공간을 관리하기엔 좋지만, 실제 업무 처리 속도에는 치명적인 문제가 있었습니다.

• 상황: 비서가 당신에게 "지난달에 논의했던 프로젝트 자료 찾아줘"라고 요청합니다.
• 문제: 비서의 책상 (메모리) 위에는 30 일 이내의 자료만 쌓여 있지만, 그 수가 수만 개나 됩니다. 비서는 모든 자료를 뒤져서 가장 relevant 한 것 3 개만 골라야 합니다.
• 결과: 평소엔 괜찮다가도, 자료들이 너무 많아지면 비서가 모든 책장을 뒤지는 데 너무 많은 시간을 쏟게 됩니다. 대부분의 요청은 빠르게 처리되지만, 가끔은 수십 분씩 걸리는 '지옥 같은 지연 시간이 발생합니다. 이것이 논문에서 말하는 **'꼬리 **(Tail)입니다.

---

💡 해결책: AMV-L (지능형 기억 관리 시스템)

저자들은 "단순히 시간이 지났다고 지우는 게 아니라, 실제로 쓸모가 있는지에 따라 관리하자"고 제안합니다. 이것이 바로 AMV-L입니다.

이 시스템을 고급 도서관에 비유해 볼까요?

1. 책장 세 구역 (Tier) 으로 나누기

AMV-L 은 모든 기억을 한 곳에 쌓아두지 않고, 쓸모의 정도에 따라 세 구역으로 나눕니다.

• 🔥 **뜨거운 구역 **(Hot Tier): 지금 당장 자주 쓰는 책들. (책상 위에 바로 놓여 있음)
• ☀️ **따뜻한 구역 **(Warm Tier): 가끔 쓰이지만 중요해서 보관해 둔 책들. (책장 1 층에 정리됨)
• ❄️ **차가운 구역 **(Cold Tier): 아주 오래전엔 썼지만 지금은 쓸모없어진 책들. (창고 깊은 곳에 박혀 있음)

2. 점수제 (Utility Score)

각 기억 (책) 에는 점수가 매겨집니다.

• 자주 찾아보면 점수가 오릅니다.
• 오랫동안 안 쓰이면 점수가 서서히 떨어집니다.
• 핵심: 점수가 높은 책만 뜨거운 구역에 머물 수 있고, 점수가 낮아지면 따뜻한 구역이나 차가운 구역으로 이동합니다.

3. 검색의 변화

비서가 "자료 찾아줘"라고 요청하면, 기존의 방식은 전체 책장을 뒤졌습니다. 하지만 AMV-L 은 뜨거운 구역과 따뜻한 구역의 일부만 뒤집니다.

• 결과: 뒤져야 할 책의 수가 확 줄어듭니다. 비서가 가장 중요한 책만 빠르게 찾아서 답변을 줄 수 있게 됩니다.

---

🏆 실험 결과: 왜 이것이 더 좋은가?

논문의 실험 결과는 놀라웠습니다.

1. **기존 방식 **(TTL)
   • 가끔은 2 초 이상 걸리는 요청이 13.8% 나 발생했습니다. (사용자가 "왜 이렇게 느려?"라고 화를 냄)
2. AMV-L 의 성과:
   • **처리 속도 **(Throughput): 기존보다 3 배 이상 빨라졌습니다.
   • 지연 시간: 평균 속도는 4 배 빨라졌고, **가장 느린 경우 **(꼬리 부분)는 14% 에서 0.007% 로 거의 사라졌습니다.
   • 품질: 중요한 정보를 놓치지 않고, 오히려 더 유용한 정보만 골라냅니다.

---

🤔 기존 방식 (LRU) 과의 차이점

"가장 최근에 쓴 것만 남기는 방식 (LRU)"도 속도를 높여주지만, AMV-L 은 한 단계 더 나아갑니다.

• LRU 의 문제: "어제 쓴 책"이 중요하지 않아도 책상 위에 남아있을 수 있고, "1 년 전의 중요한 계약서"가 안 쓰였다고 해서 책상에서 사라질 수 있습니다.
• AMV-L 의 장점: "어제 안 썼지만, 매우 중요한 계약서"는 점수가 높아서 책상 (Hot Tier) 에 계속 머물 수 있습니다. 반면, "어제 많이 봤지만 별 쓸모없는 잡담"은 점수가 낮아져서 치워집니다.

이것이 **예측 불가능한 지연 시간 **(Tail Latency)을 잡는 비결입니다.

---

📝 한 줄 요약

"기억을 단순히 '시간'으로 관리하는 게 아니라, '쓸모'에 따라 등급을 매겨 관리하면, 비서가 더 빠르고 안정적으로 일할 수 있다."

이 논문은 AI 비서가 장기간 일할 때, 어떤 정보를 기억하고 어떤 정보를 숨겨야 하는지를 지능적으로 조절하는 시스템이 필요함을 증명했습니다. 이제 AI 는 더 이상 기억이 많아져서 느려지지 않고, 항상 가장 중요한 정보만 꺼내어 빠르게 답변할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: LLM 기반 에이전트 (개인 비서, 코딩 에이전트 등) 는 장기간 실행되며 상호작용 간 상태를 유지하기 위해 지속적 메모리 (Persistent Memory) 가 필수적입니다.
• 기존 방식의 한계: 현재 배포된 대부분의 시스템은 수명 기반 (Age-based) 유지 관리, 즉 TTL(Time-To-Live) 을 사용합니다. TTL 은 항목의 저장 수명을 제한하지만, 요청 처리 경로 (Request Path) 상의 계산 부하를 제한하지는 못합니다.
• 핵심 문제:
  • TTL 에서는 만료되지 않은 모든 항목이 검색 후보 (Retrieval Candidate) 로 남게 되어, 저장된 메모리 양이 증가함에 따라 벡터 유사도 검색 (Vector Similarity Scan) 과 후보 집합 크기가 예측 불가능하게 증가합니다.
  • 이로 인해 무거운 꼬리 (Heavy-tailed) 지연이 발생하고, 처리량 (Throughput) 이 불안정해집니다.
  • 특히, 프롬프트 주입 (Prompt Injection) 수량을 제한하는 것만으로는 검색을 수행하기 위해 스캔해야 하는 전체 후보 집합의 크기를 제어할 수 없어, 극단적인 지연 (Tail Latency) 이 발생합니다.
• 목표: 저장된 메모리 총량과 요청 처리 시 실제로 계산에 참여하는 작업 집합 (Working Set) 을 분리하여, 메모리 관리가 요청 지연 시간과 처리량에 미치는 영향을 명시적으로 제어하는 것이 필요합니다.

2. 방법론: AMV-L (Adaptive Memory Value Lifecycle)

저자들은 에이전트 메모리를 단순한 저장소가 아닌 관리형 시스템 리소스로 간주하는 AMV-L 프레임워크를 제안합니다.

2.1 핵심 설계 목표

1. 요청 경로 비용 제한: 총 저장 메모리 양과 무관하게 요청 처리 시 메모리가 부과하는 계산 비용을 상한선으로 제한.
2. 고유용도 (High-Utility) 정보 보존: 오래되었더라도 유용한 정보 (사용자 선호도, 작업 컨텍스트 등) 는 영구적으로 보존.
3. 비정상적 접근 패턴 적응: 접근 빈도와 기여도에 따라 메모리 유틸리티를 실시간으로 업데이트.
4. 낮은 오버헤드: 기존 에이전트 스택에 통합 가능하고 관리 오버헤드가 최소화되어야 함.

2.2 주요 구성 요소

• 지속적 유틸리티 점수 (Utility Score): 각 메모리 항목에 대해 실시간으로 업데이트되는 스칼라 값 $V(m)$을 부여합니다.
  • 신호: 접근 (Access), 프롬프트 기여 (Contribution), 경과 시간 (Elapsed Time).
  • 업데이트 로직: 지수 감쇠 (Exponential Decay) 와 이벤트 기반 보상 (Access/Contribution Reward) 을 결합하여 항목의 가치를 동적으로 조정합니다.
• 계층적 수명 주기 (Tiered Lifecycle): 메모리를 3 단계로 분류하여 관리합니다.
  • Hot Tier: 정상 요청 경로에서 검색 및 프롬프트 구성에 허용되는 항목.
  • Warm Tier: 중간 유틸리티 항목으로, 기본 검색 경로에서는 제외되지만 일정 예산 (Budget) 내에서 샘플링 가능.
  • Cold Tier: 낮은 유틸리티 항목으로, 최소한의 계산 비용으로만 유지되거나 제거됨.
• 경계된 검색 (Bounded Retrieval):
  • 검색은 Hot Tier 전체와 Warm Tier 의 제한된 샘플 ($k$) 에 대해서만 수행됩니다.
  • 이는 검색 대상 집합 (Eligibility) 을 총 저장 메모리에서 분리하여, 벡터 검색 부하를 일정하게 유지합니다.
  • 이중 제어: 1) 검색 가능 항목을 제한 (Eligibility Control), 2) 프롬프트에 주입할 항목 수 제한 (Injection Cap).

2.3 시스템 아키텍처

• 비동기 유지 관리: 값 업데이트와 계층 전환은 요청 경로의 주요 작업 (Critical Path) 에서 비동기적으로 수행되어 지연 시간을 증가시키지 않습니다.
• 벡터 검색 엔진 통합: 검색 시 허용된 항목 ID 목록 (Allowlist) 만을 스캔하도록 벡터 엔진을 제한하여, 전체 저장소 스캔을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 문제 재정의: 장기간 실행되는 LLM 에이전트에서 꼬리 지연 (Tail Latency) 의 주원인이 저장 용량이 아닌, 통제되지 않은 메모리 작업 집합의 성장임을 규명했습니다.
2. AMV-L 프레임워크 제안: 수명 주기 기반 관리와 가치 기반 (Value-driven) 정책을 결합하여, 요청 경로상의 작업 집합 크기를 명시적으로 제한하는 새로운 메모리 관리 정책을 제시했습니다.
3. 실증적 평가: TTL 및 LRU(Least Recently Used) 기반 시스템과 비교하여, 극단적인 지연을 획기적으로 줄이면서도 검색 품질을 유지함을 입증했습니다.

4. 실험 결과 (Results)

동일한 장기간 워크로드에서 TTL, LRU, AMV-L 을 비교 평가한 결과입니다.

• TTL 대비 성능 향상:
  • 처리량 (Throughput): 3.1 배 향상.
  • 지연 시간 (Latency): 중앙값 (Median) 4.2 배, p95 4.7 배, p99 4.4 배 감소.
  • 극단적 지연 감소: 2 초를 초과하는 요청 비율이 13.8% 에서 0.007% 로 급감 (약 2000 배 개선).
• LRU 대비 성능 비교:
  • 트레이드오프: 중앙값 및 p95 지연은 LRU 보다 약간 증가 (+26% / +3%) 하지만, p99 지연은 15% 감소하고 2 초 초과 요청은 98% 감소했습니다.
  • 토큰 오버헤드: LRU 대비 요청당 약 6% 적은 토큰 사용.
  • 검색 품질: 검색된 항목의 유틸리티 평균값은 LRU 와 유사 (0-2% 차이) 하여 품질 저하 없이 성능만 개선됨.
• 메커니즘 분석:
  • 성능 개선의 주된 원인은 프롬프트 길이 단축이 아니라, 검색 후보 집합 크기 (Candidate Set Size) 와 벡터 검색 작업량을 제한한 데서 기인합니다.
  • TTL 은 검색 대상이 너무 많아 지연이 발생하고, LRU 는 최근성만 고려하여 장기적 고유틸리티 항목을 누락할 수 있으나, AMV-L 은 가치 기반으로 장기적 유용성을 유지하면서 검색 부하를 통제합니다.

5. 의의 및 결론 (Significance)

• 시스템적 통찰: LLM 에이전트의 메모리 관리는 단순한 저장소 유지가 아니라, 계산 리소스 (Compute Resource) 관리의 관점에서 접근해야 함을 강조합니다.
• 예측 가능한 성능: TTL 나 LRU 와 같은 기존 방식만으로는 장기간 실행되는 에이전트의 SLO(서비스 수준 목표) 를 충족하기 어렵습니다. AMV-L 과 같은 수명 주기 인식 (Lifecycle-aware) 및 가치 기반 (Value-driven) 관리가 필수적입니다.
• 실무 적용: 극단적인 지연 (Tail Latency) 이 서비스 신뢰성과 용량 계획에 치명적인 영향을 미치는 생산 환경에서, AMV-L 은 안정성과 효율성을 동시에 확보할 수 있는 최적의 운영 지점을 제공합니다.

이 논문은 LLM 에이전트 시스템의 확장성과 신뢰성을 높이기 위해, 메모리 관리 정책을 단순한 '보관'에서 '계산 비용 제어'로 전환해야 함을 강력하게 주장합니다.