기술 요약: 에이전트 메모리: 상태 유지형 장기 호라이즌 워크로드의 특성 및 시스템적 함의

문제 정의

대규모 언 언어 모델(LLM) 에이전트는 몇 주간의 선호도를 추적하는 개인 비서나 세션 전반에 걸쳐 프로젝트 컨텍스트를 유지하는 코드 에이전트와 같이, 장기간의 상호작용 이력을 바탕으로 지속적인 추론을 수행해야 하는 장기 호라이즌(long-horizon) 태스크에 점점 더 많이 배치되고 있습니다. 초기 LLM은 파라미터와 분리된 정적 외부 코퍼스를 사용하는 파라미터 지식과 검색 증강 생성(RAG)에 의존했으나, 상태 유지형(stateful) 에이전트는 에이전트 자신의 상호작용 스트림에 의해 생성되는 **가변적 메모리 코퍼스(mutable memory corpus)**를 필요로 합니다.

메모리를 위해 모델의 컨텍스트 윈도우에만 의존하는 것은 세 가지 근본적인 한계에 직면합니다:

1. 용량(Capacity): 연속적인 멀티 세션 상호작용은 필연적으로 고정된 컨텍스트 예산을 초과합니다.
2. 비용(Cost): 프리필(prefill) 비용은 이력 길이에 따라 이차 함수적으로 증가하며, 캐시 제거(cache eviction)로 인해 세션 간 KV-캐시 메모리 압박을 관리할 수 없는 수준이 됩니다.
3. 충실도(Fidelity): 긴 시퀀스에서 추론 및 회상 능력이 저하되며, 중간 컨텍스트의 사실을 놓치는 "U자형" 성능 곡선을 보입니다.

결과적으로 에이전트는 상태를 유지, 선택적 검색 및 업데이트하기 위한 외부 메모리 시스템을 필요로 합니다. 그러나 다양한 설계(플랫 검색, LLM 매개 추출, 그래프 기반 구조, 에이전틱 제어 흐름 등)를 가진 풍부한 에이전트 메모리 시스템 생태계가 등장했음에도 불구하고, 이들의 시스템 수준 동작은 여전히 규명되지 않은 상태입니다. 기존 벤치마크는 순수하게 다운스트림 정확도에만 집중하며, 규모 있는 배포 시 결정적인 영향을 미치는 계산 비용의 비대칭적 재분배(구축 vs. 검색)를 간과하고 있습니다.

방법론

저자들은 전체 설계 공간을 아우르는 에이전트 메모리 알고리즘에 대한 최초의 시스템적 특성 분석(systems characterization)을 제시합니다.

1. 분류 체계 및 워크로드 스위트

본 연구는 10개의 대표적인 에이전트 메모리 시스템을 **구축(construction), 저장(storage), 검색(retrieval), 가변성(mutability)**의 네 가지 축을 기준으로 분류하는 시스템 지향적 분류 체계를 도입합니다. 이 시스템들은 네 가지 패러다임으로 범주화됩니다:

• 패러다임 I: 롱 컨텍스트 메모리: 모델 컨텍스트 자체를 사용함 (예: long_context).
• 패러다임 II: 플랫 RAG 메모리: LLM을 통한 구축 없이 결정론적 인덱싱(어휘적 또는 벡터)을 사용함 (예: BM25, EmbedRAG).
• 패러다임 III: 구조 보강형 RAG 메모리: LLM을 고정된 추출기로 사용하여 사실, 요약 또는 그래프를 도출함. 이는 추가 전용(append-only) (예: GraphRAG, HippoRAG v2)과 통합형(consolidating) (예: Mem0, SimpleMem)으로 세분화됨.
• 패러다임 IV: 에이전틱 제어 흐름(Agentic control flow): 결정 루프의 일부로서 메모리 작업을 LLM에 노출함 (예: A-Mem, Letta, MIRIX).

평가는 두 가지 벤치마크 스위트를 활용합니다:

• MemoryAgentBench (MAB): 검색, 테스트 타임 학습, 장거리 이해 및 선택적 망각을 평가합니다. 본 연구는 구축 비용과 검색 비용을 분리하기 위해 LongMemEval_S_*(약 360K 토큰 이력, 샘플당 60개 쿼리)에 집중합니다.
• MemoryArena: 연속적인 인입(ingestion) 시나리오에서 신선도-지연 시간(freshness-latency) 트레이드오프를 드러내기 위해 멀티 세션 태스크를 포함합니다.

2. 프로파일링 하네스

저자들은 세 가지 논리적 단계(구축, 검색, 생성)에 비용을 할당하는 단계 인식 프로파일링 하네스(오픈 소스 예정)를 구축했습니다.

• API 텔레메트리: 채팅 완료(chat-completion) 및 임베딩 요청을 계측하여 토큰 볼륨, 호출 구조 및 지연 시간을 추적합니다.
• 하드웨어 텔레메트리: GPU 카운터(NVML/DCGM)를 샘플링하여 전력, 사용률, VRAM 점유율 및 에너지를 측정합니다.
• 실험 설정: 실험은 원격 구축(OpenAI API)과 로컬 구축(NVIDIA H100에서 vLLM으로 Qwen3 모델 서빙)의 두 가지 환경에서 실행되었습니다.

주요 기여

1. 시스템 지향적 분류 체계: 네 가지 축에 따른 에이전트 메모리 시스템의 분류와 패러다임별 예측 비용 시그니처를 제공합니다.
2. 단계 인식 프로파일링: 구축, 검색, 생성 단계 전반에 걸쳐 토큰, 모델 호출, GPU 사용률 및 지연 시간을 추적합니다.
3. 포괄적 특성 분석: 구축 비용의 형태, 능력 임계값, 상쇄(amortization) 구조, 신선도 스케줄링, 점유 공간 성장 및 검색 꼬리(tail) 동작을 분석합니다.
4. 10가지 시스템 권장 사항: 인프라, 스케줄링 및 시스템 선택을 위한 실행 가능한 가이드라인을 제공합니다.

주요 결과 및 통찰

1. 구축이 라이프사이클을 지배한다

쿼리 타임 서빙이 주요 비용이라는 가정과 달리, LLM 매개 시스템에서는 구축 에너지가 에이전트 라이프사이클을 지배합니다.

• 에너지 분포: 정답 하나당 총 에너지는 스위트 내에서 47배 이상 차이가 납니다 (약 4.1 kJ인 BM25부터 ~185.9 kJ인 Letta까지).
• 비용 이동: 패러다임 III와 IV는 엔드 투 엔드 에너지의 대부분을 쿼리 시점에는 사용자에게 보이지 않는 구축 단계로 이동시킵니다.
• 시사점: 정확도 지표만으로는 불충 sufficient하지 않습니다. 운영자는 유사한 정확도를 가진 시스템이라도 에너지 소비량이 10배 이상 차이 날 수 있음을 고려하여 라이프사이클 에너지를 계산해야 합니다.

2. 구축은 프리필 및 임베딩 중심이다

구축은 구조적으로 "긴 읽기, 짧은 쓰기" 워크로드이며, 디코드 시간은 최소화된 채 임베딩과 LLM 프리필에 의해 지배됩니다 (중앙값 디코드 비중은 4.6%).

• 트래픽 패턴: 패러다임 III.a 시스템은 대규모 배치 오프라인 인덱싱 트래픽을 생성하는 반면, 패러다임 III.b와 IV는 순차적인 이벤트별 트래픽을 생성합니다.
• 충돌: 구축(처리량 지향)과 QA(지연 시간 민감)를 동일한 엔드포인트로 라우팅하면 헤드 오브 라인 블로킹(head-of-line blocking)이 발생합니다. 구축 작업이 KV-캐시 여유 공간을 점유하여 지연 시간에 민감한 쿼리를 지연시킵니다.

3. 구축 LLM의 선택은 알고리즘에 의해 제약된다

운영자는 비용 절감을 위해 구축에 사용되는 LLM을 다운스케일할 수 있지만, 안전한 범위는 알고리즘에 따라 다릅니다.

• 점진적 저하: 엄격한 출력 계약이 없는 시스템(예: Mem0, SimpleMem)은 정확도가 부드럽게 저하되면서 더 작은 구축 LLM을 수용할 수 있습니다.
• 능력 하한선: 특정 JSON 스키마를 요구하는 시스템(예: MIRIX)과 같은 엄격한 출력 계약이 있는 시스템은 하한선이 존재합니다. 특정 모델 능력(예: Qwen3-1.7B) 미만으로 떨어지면 메모리 저장소가 완전히 손상되어 사용할 수 없게 됩니다.

4. 구축–서빙–정확도 프런티어

구축 비용, 쿼리당 지연 시간, 정확도 모두에서 최적인 단일 시스템은 존재하지 않습니다.

• 트레이드오프: BM25는 빠른 구축과 높은 총합 정확도를 제공하지만 쿼리 시간이 느립니다. Mem0는 가장 빠른 쿼리 지연 시간을 제공하지만 막대한 구축 비용과 낮은 정확도를 수반합니다.
• 선택: 고용량 쿼리 워크로드는 작업을 구축 단계로 옮기는 시스템이 유리하며, 연속 인입 워크로드는 구축 비용이 낮은 시스템이 유리합니다.

5. 연속 세션에서의 신선도–지연 시간 트레이드오프

멀티 세션 워크로드에서 세션당 구축 시간은 5 자릿수(orders of magnitude) 차이가 납니다 (BM25의 서브 밀리초부터 Letta의 수십 초까지).

• 스케줄링 딜레마: 만약 구축 시간이 세션 간 도착 간격보다 길어지면, 운영자는 동기식 스케줄링(사용자에게 높은 지연 시간 노출)과 비동기식 스케줄링(오래된/stale 메모리 제공) 중 하나를 선택해야 합니다.
• 시사점: 엄격한 크로스 세션 의존성을 가진 경우, 누적 구축 및 검색 시간은 반드시 달성 가능한 제약 조건으로 취급되어야 합니다.

6. 점유 공간 및 토큰 비용의 괴리

• 저장 공간: 1M 토큰 기준 사용자당 메모리 점유 공간은 약 9배 차이가 납니다. 다중 뷰(multi-view) 설계는 저장 공간을 팽창시키지만, 통합 시스템은 이를 압축할 수 있습니다.
• 토큰 비용: 패러다임 IV 에이전틱 시스템은 메모리 저장소가 커짐에 따라 토큰 비용이 **초선형적(super-linearly)**으로 증가합니다. 이는 새로운 인입 시 확장되는 저장소를 쿼리하기 때문입니다. 이로 인해 에이전틱 시스템의 장기 비용은 초기 점유 공간에 비해 불균형적으로 비싸질 수 있습니다.

7. 지연 시간 구조 및 꼬리 동작

• 결정론적 vs. LLM 제한적: 결정론적 시스템(패러다임 II)은 좁은 지연 시간 꼬리(p95/p50 ~1.3배)를 가집니다. LLM 제한적 시스템(패러다임 III/IV)은 런타임 LLM 결정이 가변적인 추론 또는 도구 사용 단계를 유발할 수 있기 때문에 넓은 꼬리(최대 5.9배)를 보입니다.
• 권장 사항: LLM 제한적 시스템은 최악의 비용을 제한하기 위해 외부 반복 캡(iteration caps)과 타임아웃이 필요합니다.

의의 및 주장

본 논문은 에이전트 메모리 워크로드에 대한 최초의 시스템적 특성 분석을 제공하며, 설계 선택이 정확도 지표로는 보이지 않는 방식으로 비용을 극단적이고 비대칭적으로 재분배함을 밝힙니다.

• 시스템 수준의 결정: 저자들은 에이전트 메모리 시스템 선택이 단순한 정확도 최적화가 아닌, 시스템 수준의 결정으로 다뤄져야 한다고 주장합니다.
• 인프라적 함의: 본 연구는 에이전트 메모리가 전통적인 LLM 서빙을 넘어, 특히 구축(백그라운드 처리량)과 검색(지연 시간 민감)을 별도로 처리해야 하는 요구사항과 신선도-지연 시간 트레이드오프를 정교하게 관리해야 함을 강조합니다.
• 범위의 한계: 저자들은 본 특성 분석이 단일 노드, 단일 에이전트 시나리오를 기반으로 하고 있음을 인정합니다. 멀티 노드/멀티 에이전트 일관성 및 멀티모달 메모리는 본 연구에서 다루지 않은 새로운 영역이지만, 제안된 분류 체계와 방법론은 향후 연구를 위한 토대를 제공합니다.

논문은 구축 스케줄링, 능력 하한선, 쿼리 볼륨을 통한 상쇄, 신선도-지연 시간 트레이드오프, 플릿 규모(fleet-scale) 관리 등을 포괄하는 10가지 구체적인 권장 사항으로 결론을 맺으며, 규모 있는 에이전트 배포를 가이드하는 것을 목표로 합니다.