💬 NLP

Total Recall at What Cost? Benchmarking the Serving Cost of Agentic Memory Systems

이 논문은 세 가지 에이전트 메모리 시스템의 서빙 비용과 정확도를 표준 전략들과 벤치마킹하여, 비용이 대화 길이뿐만 아니라 내부 시스템 동작에 의해 결정되며, 백본과 시스템에 따라 크게 달라지고, 단일 솔루션이 비용과 정확도 모두를 최적화할 수 없는 트레이드오프 관계가 존재함을 밝혀냈다.

원저자: Natchanon Pollertlam, Witchayut Kornsuwannawit

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Natchanon Pollertlam, Witchayut Kornsuwannawit

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 아주 똑똑하지만 약간 건망증이 있는 로봇 친구와 대화하고 있다고 상상해 보세요. 당신은 몇 주 동안 이야기를 나누며 추억, 계획, 그리고 비밀들을 공유해 왔습니다. 이제 당신은 "우리 3주 전에 이야기했던 그 피자 가게 기억나?"라고 묻고 싶습니다. 만약 로봇에게 기억력이 없다면, 당신은 질문 하나를 던질 때마다 첫날부터 시작된 당신의 우정 전체 이야기를 매번 다시 들려줘야 합니다. 이것은 마치 질문 하나를 하기 위해 지금까지 당신이 했던 모든 말을 담은 거대하고 무거운 배낭을 메고 가는 것과 같습니다. 이 방식이 작동은 하겠지만, 매우 무겁고 느리며 비용이 많이 들게 됩니다.

이를 해결하기 위해 엔지니어들은 이 로봇들을 위한 "메모리 시스템"을 만들었습니다. 로봇은 무거운 배낭을 통째로 들고 다니는 대신, 특별한 노트에 작은 메모, 사실, 또는 요약본을 적어둡니다. 당신이 질문을 하면, 로봇은 그저 알맞은 페이지를 넘겨 메모를 읽기만 하면 됩니다. 이것은 완벽해 보입니다. 더 가볍고, 빠르고, 저렴하니까요. 하지만 여기 함정이 있습니다. 메모를 쓰고, 정리하고, 알맞은 페이지를 찾는 데도 작업이 필요합니다. 여기서 중요한 질문은, 로봇이 노트를 사용하는 것으로 돈을 아끼게 될까요, 아니면 노트를 관리하는 비용이 단순히 무거운 배카를 메고 다니는 것보다 더 비싸지게 될까요? 이 논문은 이 메모리 기술들이 실제로 그만한 가치가 있는지 확인하기 위해, 실질적인 비용을 측정하며 이 미스터리를 파헤칩니다.

위대한 메모리 비용의 대결

이 연구에서 연구진은 챗봇의 기억을 유지하는 데 실제로 얼마나 많은 비용이 드는지 알아보기 위해 거대한 경주를 설정했습니다. 그들은 단순히 추측한 것이 아니라, 세 가지 서로 다른 "메모리 시스템"(노트를 정리하는 세 가지 다른 방식이라고 생각하세요)인 Mem0, Hindsight, Mastra Observational Memory를 사용하여 통제된 실험을 수행했습니다.

테스트의 공정성을 보장하기 위해, 이들은 두 가지 극단적인 전략과 비교했습니다:

"롤링 윈도우(Rolling Window)" (저렴한 기준점): 이것은 마치 당신이 말한 마지막 10가지만 기억하는 것과 같습니다. 매우 저렴하지만 그 외의 모든 것은 잊어버립니다.
"전체 대화 기록(Full Transcript)" (비싼 기준점): 이것은 "무거운 배낭" 방식입니다. 당신이 질문을 할 때마다, 로봇은 첫 단어부터 시작된 대화의 전체 역사를 다시 읽습니다.

그들은 이 시스템들을 최대 400턴(즉, 400번의 주고받는 메시지)의 대화에 적용하여 실행했으며, 로봇이 정말로 올바른 것들을 기억하는지 확인하기 위해 665개의 특정 질문을 테스트했습니다. 또한, 로봇의 "두뇌(백본 모델)" 유형에 따라 비용이 달라지는지 확인하기 위해 두 가지 서로 다른 "두뇌"를 테스트했습니다.

놀라운 발견: 가격표를 예측할 수 없다

첫 번째 큰 발견은, 대화의 길이 나 메시지의 크기만 보고 비용을 예측할 수 없다는 것입니다. 연구진은 대화 길이와 메시지 크이를 바탕으로 비용을 예측하는 간단한 수학 공식을 만들어 보려고 시도했습니다.

"전체 대화 기록" 및 "롤링 윈도우" 전략의 경우, 수학적 계산이 완벽하게 들어맞았습니다. 당신이 몇 단어를 보냈는지 알면 정확히 비용이 얼마인지 알 수 있습니다.
메모리 시스템의 경우, 수학적 계산이 처참하게 실패했습니다. 공식은 실제 비용을 18%에서 69%까지 놓쳤습니다.

왜 그럴까요? 메모리 시스템의 비용은 단순히 당신이 얼마나 많이 말하느냐에 달려 있는 것이 아니라, 당신이 말하는 동안 시스템이 내부적으로 무엇을 하고 있느냐에 달려 있기 때문입니다. 어떤 때는 시스템이 긴 요약본을 작성하기로 결정하고, 어떤 때는 짧은 사실 하나만 가져옵니다. 어떤 때는 노트 전체를 재정리하기도 합니다. 이러한 내부적인 결정은 단순히 메시지의 길이가 아니라 대화의 '내용'에 의해 유도됩니다. 이는 마치 운전자가 맛있는 점심을 먹으러 들를지 아니면 그냥 그래놀라 바 하나를 집어 먹을지 모르는 상태에서, 지도만 보고 자동차 여행 비용을 예측하려고 하는 것과 같습니다. "점심 식사"(내부 처리)는 매우 다양하게 변하기 때문에, 총 청구 금액은 예측 불가능합니다.

"손익분기점": 언제 노트가 효과를 발휘하는가?

연구진은 결정적인 질문을 던졌습니다: 어느 시점이 되어야 메모리 시스템을 사용하는 것이 전체 기록을 다시 읽는 것보다 저렴해질까요?

답은 이렇습니다: 그것은 전적으로 시스템과 로봇의 두뇌에 달려 있습니다.

Mastra Observational Memory는 속도형이었습니다. 어떤 경우에는 첫 번째 턴(Turn 0)부터 "전체 대화 기록" 방식보다 저렴했습니다.
Mem0는 조금 더 시간이 걸렸는데, 보통 메시지가 어느 정도 길 때 82번째 턴(Turn 82) 즈음에 손익분기점에 도달했습니다.
Hindsight는 가장 느렸습니다. 많은 경우, 400턴이 지나도 "전체 대화 기록" 방식보다 저렴해지지 않았습니다. 실제로 일부 설정에서는 테스트가 끝날 때까지도 여전히 더 비쌌습니다.

이는 만약 대화가 짧다면, 복잡한 메모리 시스템을 사용하는 것이 단순히 전체 대화 기록을 다시 보내는 것보다 오히려 더 많은 비용이 들 수 있음을 의미합니다. 메모리 시스템이 돈을 아껴주기 시작하려면 반드시 일정 시간 동안 대화를 나누어야 하는 "손익분기점"을 지나야 합니다.

정확도 vs 비용: 공짜 점심은 없다

연구진은 또한 메모리 시스템이 질문에 답변하는 능력이 실제로 좋은지도 확인했습니다. 결과는 넓은 범위의 성능을 보여주었습니다:

정확도는 21%에서 54% 사이였습니다.
Mem0는 정확도의 변동 폭이 가장 컸는데, 어떤 로봇 두뇌에서는 잘 작동했지만 다른 두뇌에서는 성능이 저조했습니다.
Hindsight는 일반적으로 가장 정확했지만(종종 50% 이상), 실행 비용도 가장 높았습니다.
Mastra는 중간 정도의 성능을 보였지만, 정답 개수를 고려했을 때 종종 가장 가성비가 좋았습니다.

연구진은 로봇의 "두뇌(백본 모델)" 선택이 메모리 시스템의 선택만큼이나 중요하다는 것을 발견했습니다. 한 로봇 두뇌에서는 저렴했던 메모리 시스템이 다른 로보 두뇌에서는 비쌀 수 있었습니다.

최종 결론

이 논문은 단 하나의 "최고의" 메모리 시스템은 존재하지 않는다고 결론짓습니다.

특정 로봇 두뇌에 대해 정답 하나당 가장 저렴한 옵션을 원한다면, gpt-oss-20b 두뇌를 사용하는 Mastra가 승자였습니다 (100턴 기준 정답당 약 $0.028 소요).
만약 다른 로봇 두뇌(Gemma 4 26B A4B)를 사용한다면, Mem0가 가장 저렴한 옵션이 됩니다.
Hindsight는 정확하긴 하지만, 대화가 매우 길지 않은 이상 사용하기에는 너무 비싼 경우가 많습니다.

주요 교훈은, 단순히 멋져 보인다고 해서 메모리 시스템을 고르면 안 된다는 것입니다. 당신의 구체적인 상황을 살펴봐야 합니다: 대화가 얼마나 길어질 것인가? 메시지의 크기는 어느 정도인가? 그리고 어떤 로봇 두뇌를 사용하고 있는가? 그래야만 메모리 시스템이 돈을 아껴줄지, 아니면 청구서에 비용을 더할지 알 수 있습니다. 메모리 시스템의 "완전한 회상"에는 비용이 따르며, 그 비용은 단순히 당신이 입력하는 단어 수를 세는 것보다 훨씬 더 복잡합니다.

기술 요약: 완전한 회상, 그 대가는 무엇인가? 에이전트 메모리 시스템의 서빙 비용 벤치마킹

문제 정의

대화형 에이전트가 단일 세션 시연에서 주 단위 또는 월 단위로 지속되는 장기 배포로 전환됨에 따라, 대화의 흐름 전반에 걸쳐 정보를 유지할 수 있는 메커니즘이 필요해졌습니다. 두 가지 주요 전략이 존재합니다: (1) 전체 트랜스크립트 재전송(Full-transcript resubmission): 매 턴마다 전체 대화 기록을 LLM 컨텍스트 윈도우에 다시 보내는 방식, 그리고 (2) 에이전트 메모리 시스템(Agentic memory systems): 과거의 상호작용을 압축된 기록(사실, 요약, 지식 그래프)으로 증류하고 관련 있는 부분집합만을 검색하는 방식입니다.

메모리 시스템은 전체 트랜스크립트 재전송의 무한한 비용 증가를 피하기 위해 채택되고 있지만, 이러한 메모리 시스템의 실제 **서빙 비용(serving cost)**은 여전히 제대로 이해되지 않고 있습니다. 기존의 평가들은 거의 예외 없이 정확도와 재현율(recall)에만 집중하며, 특정 조건 하에서의 고립된 토큰 절감 수치만을 보고합니다. 시스템적인 교차 시스템 벤치마킹이 부족하여, 투명한 베이스라인과 결합된 메모리 시스템의 엔드 투 엔드 서빙 비용을 측정하지 못하고 있습니다. 결과적으로, 실무자들은 단순히 트랜스크립트를 재전송하는 것과 비교했을 때 메모리 시스템이 경제적으로 타당한지 판단할 수 없습니다.

방법론

저자들은 세 가지 에이전트 메모리 시스템을 두 가지 참조 전략 및 두 가지 백본 모델과 다양한 추론 노력 설정에 대해 평가하는 통제된 벤치마크를 수행했습니다.

평가된 시스템

Mem0: 원자적 사실을 벡터 데이터베이스에 저장하는 평면적 추출-검색 시스템.
Hindsight: 메모리 주입을 위해 retain–recall–reflect 파이프라인을 사용하는 시스템.
Mastra Observational Memory: 임계값 트리거 기반의 통합(consolidation)을 갖춘 observer–reflector–actor 루프.
참조 전략:
- Rolling Window (Floor): 마지막 10개 턴의 고정된 크기 윈도우 (지속적 저장 없음).
- Full History (Ceiling): 매 턴 전체 트랜스크립트를 재전송.

실험 설계

백본(Backbones): gpt-oss-20b 및 Gemma 4 26B A4B 모델을 "낮음(low)" 및 "중간(medium)" 추론 노력 설정에서 평가.
워크로드: 특정 길이( $N$ )와 턴당 토큰 크기( $L$ )를 가진 합성 대화를 최대 400 턴까지 생성.
비용 측정: 세 가지 파이프라인 단계(주입(Ingest), 검색(Retrieval), 답변(Answer))에 걸친 총 청구 가능한 입력 토큰을 모델링.
비용 모델: 메시지 크기( $L$ )와 대화 깊이( $t$ )에 따른 비용( $C$ )을 예측하기 위해 분리 가능한 로그-로그 회귀 모델을 적합시킴:
$\log(C+1) = a + p\log(L+1) + q\log(t+1)$
여기서 $p$ 는 메시지 크기에 대한 비용 민감도를, $q$ 는 대화 깊이에 대한 민감도를 나타냄.
정확도 벤치마크: 비용 측정과 병행하여, 다중 세션 대화에 걸친 LoCoMo 벤치마크의 층화된 하위 집합에서 정확도를 평가.
검증: 일반화 가능성을 테스트하기 위해 leave-one-cell-out cross-validation (LOOCV)을 사용하여 모델을 검증.

주요 결과

1. 비용 모델링 및 예측 가능성

참조 전략: 비용 모델은 참조 전략에 매우 잘 부합함 ( $R^2 \geq 0.91$ ). Full-history 베이스라인은 $p \approx q \approx 1$ (비용이 전체 콘텐츠와 함께 스케일링됨)을 보이며, Rolling window는 $p \approx 0.9$ 이지만 $q \approx 0.1$ (비용이 메시지 크기에는 비례하지만 깊이에는 평탄함)을 보임.
메모리 시스템: 모델은 메모리 시스템의 비용을 예측하는 데 실패함.
- Mem0: $p \approx 0.17, q \approx 0.08$ (둘 모두에 대한 낮은 민감도).
- Hindsight: $p \approx 0.15, q \approx 0.42$ (높은 깊이 민감도).
- Mastra OM: $p \in [0.61, 0.79], q \in [0.23, 0.36]$ .
- 홀드아웃 에러(Held-out Error): 베이스라인은 6.5% 미만의 에러로 일반화되는 반면, 메모리 시스템은 홀드아웃 검증에서 18–69%의 에러를 보임. 이는 메모리 시스템의 서빙 비용이 단순히 대화 길이 나 메시지 크기가 아니라, 내부 메모리 상태(예: 트리거 임계값, 통합 비율)에 의해 결정됨을 나타냄.

2. 손익분기점 분석 (Break-Even Analysis)

연구는 "손익분기 턴(break-even turn)"—메모리 시스템이 전체 트랜스크립트를 재전송하는 것보다 저렴해지는 지점—을 계산했습니다.

높은 가변성: 손익분기점은 시스템, 백본, 워크로드에 따라 매우 민감하게 변함.
- Mastra OM: 즉시(0 턴) 또는 수십 턴 내에 손익분기에 도달할 수 있음.
- Mem0: 큰 메시지의 경우 수십 턴 내에 손익분기에 도달하지만, 작은 메시지의 경우 최대 342 턴까지 걸릴 수 있음.
- Hindsight: 특히 메시지 크기가 작을 경우 400 턴 이내에 손익분기에 도달하지 못하는 경우가 많음.
규모: 메모리 시스템이 손익분점에 도달하면, Full-history 재전송보다 최대 12.7배 더 저렴할 수 있음. 반대로, (작은 메시지의 Hindsight처럼) 손익분점에 도달하지 못하는 시스템은 전체 트랜스크립트보다 최대 3.3배 더 많은 비용이 들 수 있음.

3. 비용-정확도 트레이드오프 (Cost-Accuracy Trade-offs)

정확도 범위: LoCoMo에서의 정확도는 시스템과 백본에 따라 21%~54%로 크게 다양하게 나타남.
지배적인 시스템의 부재: 비용과 정확도 모두에서 승리하는 단일 시스템은 없음.
- gpt-oss-20b (low effort) 환경의 Mastra OM은 가장 낮은 정답당 비용($0.028 at 100 turns)을 달성함.
- Gemma 4 26B A4B 환경의 Mem0는 해당 백본에서 가장 비용 효율적인 옵션이었음.
- Hindsight는 일반적으로 서빙 비용이 가장 높았으나, 일부 구성에서는 더 높은 정확도를 달성함.
백본의 영향: 백본 모델의 선택은 메모리 시스템의 선택만큼이나 비용에 영향을 미침. 예를 들어, Mem0의 비용은 gpt-oss-20b에 비해 Gemma 4 26B A4B에서 추론 토큰 사용량이 적기 때문에 크게 감소함.

의의 및 주장

본 논문은 정확도와 결합된 에이전트 메모리 서빙 비용에 대한 최초의 통제된 교차 시스템 벤치마크를 제공한다고 주장합니다. 주요 기여 및 발견 사항은 다음과 같습니다:

비용은 비선형적이며 상태 의존적임: 메모리 시스템의 서빙 비용은 대화 길이와 메시지 크기만으로는 예측할 수 없음. 메모리 파이프라인의 내부 동작(트리거, 통합)이 비용 변동성을 유발하므로, 단순 회귀 모델은 불충분함.
맥락 의존적 경제성: 메모리 시스템이 전체 트랜스크립트 재전송보다 저렴한지 여부는 시스템의 고유한 속성이 아니라, 워크로드(대화 길이, 메시지 크기)와 백본 모델의 함수임. 손익분기점은 즉시부터 "결코 도달하지 못함"까지 다양함.
결합된 의사결정: 실무자는 비용이나 정확도 중 하나만을 위해 최적화할 수 없음. 백본 모델과 메모리 시스템의 선택은 서로 결합되어 있음. 즉, 한 메모리 시스템의 비용을 줄여주는 백본이 다른 메모리 시스템의 비용은 높일 수도 있음.
현재 벤치마크의 한계: 본 연구는 정확도에만 집중하는 기존 벤치마크가 중요한 생산 제약 조건인 서빙 비용을 놓치고 있음을 강조하며, 현재의 메모리 시스템 비용 모델은 기계론적(mechanistic)이라기보다 기술적(descriptive)이라는 점을 지적함.

저자들은 어떤 "최고의" 시스템도 모든 설정에서 보편적으로 존재하지 않으므로, 메모리 시스템을 선택할 때는 예상되는 대화 길이와 선택한 백본에 대한 구체적인 분석이 필요하다고 결론짓습니다.