🤖 AI

SodaMem: Evidence-Grounded Temporal Graph Memory for LLM Agents

SodaMem은 시간 인지적 그래프 에지를 통해 사실의 유효성과 출처를 추적함으로써 LLM 에이전트의 장기 대화 정확도를 향상시키고, 쿼리당 낮은 비용으로 LongMemEval-S에서 최첨단 성능을 달상하는 증거 기반 시계열 그래프 메모리 시스템입니다.

원저자: Fengrong Wan, Chengcan Wu, Ningtao Lyu

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fengrong Wan, Chengcan Wu, Ningtao Lyu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하고 수다스러운 로봇 친구와 몇 주 동안 함께 지내고 있다고 상상해 보세요. 당신은 그 친구와 수천 개의 메시지를 주고받았습니다. 당신이 가장 좋아하는 매운 음식 이야기부터, 매운 음식을 끊기로 결심했을 때의 이야기까지 말이죠. 그러다 당신이 "오늘 저 night에는 뭐 해 먹을까?"라고 묻습니다. 단순한 로봇은 당신의 대화 기록을 스캔하여 가장 먼저 보이는 것을 찾아낼 것입니다: "나는 매운 음식을 좋아해!" 하지만 이 로봇는 당신이 사흘 전에 마음을 바꿨다는 사실을 놓치고 있습니다. 이것이 바로 인공지능의 장기적 기억(Long-Horizon Memory) 문제입니다. 이는 단순히 건더미 속에서 바늘을 찾는 문제가 아닙니다. 어떤 바늘이 현재의 바늘인지, 그 바늘을 언제 집어 들었는지, 그리고 그것이 여전히 날카로운지를 아는 문제입니다. 과학자들은 단순히 말한 내용을 기억하는 것을 넘어, 시간이 흐르고 새로운 정보가 들어옴에 따라 무엇이 현재 진실인지에 대한 살아있는 모델을 유지하는 AI 에이전트를 구축하기 위해 노력하고 있습니다.

여기에 이러한 AI 친구들을 위한 궁극의 "메모리 관리자"가 되도록 설계된 새로운 시스템, SodaMem이 등장했습니다. SodaMem을 모든 대화가 순서대로 적힌 크고 지저 heavy한 노트가 아니라, 첨단 기술이 접목된 살아있는 시간 여행 탐정의 게시판이라고 생각해보세요.

현재 대부분의 AI 메모리 시스템은 평면적인 일기와 같습니다. 만약 월요일에 "나는 브로콜리가 싫어"라고 쓰고 화요일에 "나는 브로콜리를 좋아해"라고 쓴다면, 단순한 일기는 그저 두 줄의 문장을 가질 뿐입니다. 나중에 당신이 질문할 때, AI는 어떤 것이 사실인지 혼란스러워하거나, 질문과 유사해 보인다는 이유로 잘못된 정보를 가져올 수도 있습니다. SodaMem은 모든 사실을 FactEvent—무엇이 일어났는지뿐만 아니라, 그것이 언제 언급되었는지, 실제로 언제 일어났는지, 그리고 얼마나 오랫동안 유효한지를 담고 있는 특수한 유형의 카드—로 변환함으로써 이 문제를 해결합니다.

작동 원리는 다음과 같습니다:

탐정의 게시판 (그래프)
리스트 대신, SodaMem은 연결망을 구축합니다. AI가 새로운 사실을 배울 때마다 카드를 생성합니다. 만약 당신이 "나 이제 매운 거 줄이려고 해"라고 말한다면, SodaMem은 이 새로운 카드에서 기존의 "나는 매운 음식을 좋아해"라는 카드에 빨간 선을 긋고 이를 "SUPERSEDES"(이 새로운 것이 이전 것을 대체한다는 의미)라고 라벨을 붙입니다. 만약 당신이 모순되는 말을 한다면, "CONTRADICTS"(모순됨)라는 선을 긋습니다. 이렇게 함으로써 AI는 단순히 어떤 사실이 더 최신인지 추측하는 것이 아니라, 타임라인에 대한 명확하고 시각적인 지도를 갖게 됩니다. AI는 어떤 사실이 "현재"의 것인지, 그리고 어떤 것들이 구식인 역사인지 정확히 알게 됩니다.

세 다리 의자 (검색/Retrieval)
당신이 질문을 던지면, SodaMem은 단순히 키워드를 찾지 않습니다. 마치 탐정이 세 가지 다른 도구를 동시에 사용하는 것처럼 "멀티 터널" 검색을 사용합니다:

그래프 터널 (The Graph Tunnel): 빨간색과 파란색 선을 따라가며 관련된 사실을 찾고, 그것들이 여전히 유효한지 확인합니다.
단어 터널 (The Word Tunnel): 클래식한 검색 엔진처럼 정확한 단어와 구절을 스캔합니다.
바이브 터널 (The Vibe Tunnel): 설령 단어가 다르더라도, 질문과 느낌이 "비슷한" 아이디어를 찾습니다.
그 후 이 모든 단서들을 결합합니다. 만약 그래프 터널이 "이 사실은 구식이다"라고 말하지만 단어 터널이 이를 찾아낸다면, 시스템은 증거의 무게를 측정합니다. 시스템은 여러 경로에 의해 뒷받받되며 타임라인에 따라 여전히 "유효한" 사실에 우선순위를 둡니다.

플래너(Planner)와 리더(Reader)
증거가 수집되면, SodaMem은 답변을 위해 2단계 팀을 사용합니다. 먼저, 플래너(프로젝트 매니저 같은 역할)가 증거를 검토하고, 더 깊이 파고들 필요가 있는지 결정하며, 최상의 사실들을 모읍니다. 그다음 리더(기자 같은 역할)가 최종 답변을 작성합니다. 결정적으로, 리더는 반드시 출처를 인용해야 합니다. 단순히 말을 지어내는 것이 아니라, 자신의 답변이 옳다는 것을 증명하는 특정 "FactEvent" 카드를 지목해야 합니다.

결과
연구진은 500개의 긴 대화 질문이 포함된 LongMemEval-S라는 까다로운 챌린지로 이 시스템을 테스트했습니다. SodaMem은 **92.8%**의 정답률(500개 중 464개)을 기록했습니다. 더욱 인상적인 점은, 이 성과를 내면서도 컴퓨터 자원 비용을 매우 적게 썼다는 것입니다 (질문당 평균 약 $0.00161**, 중앙값 **$ 0.00111).

AI 메모리의 세계에서 높은 점수를 받는 다른 많은 시스템들은 훨씬 더 비싼 "두뇌" 모델을 사용하기 때문에 실행 비용이 10배에서 40배 더 많이 듭니다. SodaMem은 높은 정확도를 유지하면서도 "가성비" 영역에 머물러 있습니다. 이는 똑똑하고 최신 상태를 유지하는 메모리를 갖추기 위해 큰돈을 들일 필요가 없으며, 단지 사실을 정리하는 더 나은 방법이 필요하다는 것을 증명합니다.

하지만 저자들은 이것이 하나의 특정 데이터셋에서 테스트된 구성임을 주의 깊게 언급했습니다. 결과는 유망하지만, 인간이 날짜를 잘못 기억할 수 있는 까다로운 시간 관련 질문을 처리하는 데 있어 여전히 성장할 여지가 있음을 시사합니다. 그럼에도 불구하고, 현재로서 SodaMem은 AI 에이전트가 과거에 머물지 않고 현재를 살 수 있게 하는 명확하고 증거 기반적인 방법을 제시합니다.

기술 요약: SodaMem

문제 정의

수 주 동안 사용자를 보조하는 장기 호흡(Long-horizon) LLM 에이전트는 평면적인 RAG 다이어리, 마크다운 로그, 단순 벡터 저장소가 해결하지 못하는 네 가지 결정적인 실패 모드에 직면합니다:

최신성/충돌 (Currency/Conflict): 추가 전용(Append-only) 로그는 선호도가 역전될 때(예: "나는 매운 음식을 좋아해" vs "나는 매운 것을 줄이고 있어") 현재 상태를 결정하는 데 어려움을 겪으며, 이로 인해 LLM이 어떤 청크가 가장 최신인지 추측하게 만듭니다.
시간적 구조 (Temporal Structure): 시스템은 명확한 앵커가 부족하거나 상대적 표현이 시간적 기준을 결여했을 때, 상대적 날짜 쿼리("가장 최근에", "두 달 전")를 처리하는 데 실패합니다.
출처 (Provenance): 손실이 발생하는 요약과 특정 대화 턴에 대한 인용이 없는 불투명한 벡터 히트(vector hits)는 신뢰도를 저하시킵니다.
연관성 (Association): 다중 홉 합성(Multi-hop synthesis)은 문맥 혼란으로 인해 붕괴될 수 있습니다. 즉, 단순히 의미적으로 유사한 기억을 검색할 뿐, 진정한 엔티티/클레임 간의 연결을 구축하지 못하고 에피소드적 불일치를 초래합니다.
분야의 초점은 "모델이 바늘을 찾을 수 있는가?"에서 "에이전트가 사용자에 대한 일관되고 업데이트 가능한 모델을 유지하고 적절한 조건 하에서 이를 사용할 수 있는가?"로 이동했습니다.

방법론: SodaMem

SodaMem은 인용 가능하고 업데이트 가능한 사용자 상태를 유지하도록 설계된 증거 기반의 시계열 그래프 메모리 인프라입니다. 이는 수집(Ingest)–저장(Store)–플래너(Planner)–리더(Reader) 파이프라인을 통해 작동합니다.

1. 핵심 데이터 구조: FactEvents

메모리는 다음과 같이 정의된 FactEvents로 구조화됩니다: $f = (\kappa, \pi, m, \tau, \rho, S, \sigma)$

종류 ( $\kappa$ ) 및 술어 ( $\pi$ ): 유형화된 사실들.
양식 ( $m$ ) 및 시간 필드 ( $\tau$ ): 언급 시간, 발생 시간, 유효 기간을 포함합니다.
엔티티 역할 ( $\rho$ ): 엔티티를 위한 구조화된 역할.
소스 스팬 ( $S$ ): 원시 대화 내의 특정 "MessagePiece"에 대한 필수적인 출처 링크.
상태 ( $\sigma$ ): 활성(Active), 대체됨(Superseded), 또는 무효(Invalid).

2. 수집 및 유지 관리

추출 (Extraction): LLM은 대화 세션에서 후보를 추출하며, 모든 클레임이 반드시 리터럴 소스 스팬(literal source spans)에 매핑되어야 한다는 강력한 제약 조건을 적용합니다.
시간적 해상도 (Temporal Resolution): 선택적 후처리 과정을 통해 상대적 날짜(예: "이틀 전")를 세션 시간을 기준으로 비교 가능한 타임스탬프로 변환합니다.
대체 로직 (Supersession Logic): 새로운 사실이 경쟁하는 주어-술어 슬롯을 업데이트할 때, 시스템은 SUPERSEDES(대체), CONTRADICTS(모순), 또는 UPDATES(업데이트) 엣지를 생성합니다. 기존 사실의 유효 기간을 닫고 상태를 '대체됨'으로 표시합니다.

3. 저장 및 인덱싱

지속성: 사실들은 다음과 같은 하이브리드 인덱싱을 갖춘 SQLite에 저장됩니다:
- 어휘적 (Lexical): 사실 텍스트, 스팬, 원시 턴에 대한 BM25.
- 밀집 (Dense): 의미적 유사성을 위한 벡터 임베딩 (예: MiniLM/GTE).
- 그래프 (Graph): 의미적 이웃 및 유형화된 관계를 통해 사실들을 연결하는 엣지.
그래프 관계: DERIVED FROM(로부터 파생됨) 링크와 시간적 엣지(SUPERSEDES 등)를 포함합니다.

4. 검색: 멀티 터널 및 연결 밀도 융합

검색은 단일 신호(예: 코사인 유사도만 사용)에 의존하는 것을 피하기 위해 세 가지 터널 접근 방식을 사용합니다:

그래프/엔티티 터널 (강함): 엔티티나 사실을 검색 헤드로 삼아 1-홉 또는 제한된 멀티-홉 의미/관계 엣지를 통해 확장합니다.
BM25 터널 (강함): 사실, 스팬 또는 원시 턴에 대한 어휘적 히트를 수행하며, 문맥을 위해 시간적으로 인접한 턴까지 확장합니다.
임베딩 터널 (약함): BM25와 유사한 확장 패턴을 가지나, 관련은 있지만 무관한 에피소드를 검색하는 것을 방지하기 위해 기본 가중치가 낮은 밀집 이웃을 활용합니다.

융합 및 랭킹:

유효성 게이트 (Validity Gates): 무효 또는 대체된 것으로 표시된 사실이나 명시된 유효 기간 밖의 사실을 엄격히 제외합니다.
연결 밀도 (Connection Density): 증거는 여러 터널(직접 및 파생된 히트)에서 축적된 "질량(mass)"에 의해 랭킹됩니다.
소프트 시간 점수 (Soft Temporal Scoring): 하드 타임 필터 대신, 사실이 사용자의 쿼리 창 내에 있는 경우 랭킹 신뢰도에 "시간 보너스"를 추가합니다. 이를 통해 사용자의 날짜 오기(예: 3개월 전 사실을 "두 달 전"이라고 지칭)로부터 시스템이 회복할 수 있도록 합니다.

5. 답변: 플래너–리더 루프

플래너 (Planner): LLM 에이전트는 초기 밀도 랭킹이 충분하지 않을 경우 증거 풀을 확장하기 위해 도구(검색, 조사, 세션 확장)를 반복적으로 호출할 수 있습니다.
리더 (Reader): 별도의 LLM은 선택된 증거 ID를 사용하여 최종 응답을 구성하며, 소스 레코드에 대한 필수 인용을 강제합니다. 이 분리는 인용 규율이 도구 정책과 구별되도록 보장합니다.

주요 기여

문제 프레이밍: 본 논문은 에이전트 메모리 연구를 종합하여, 평면적인 RAG와 마크다운 로그가 해결하지 못한 구체적인 실패 모드로 최신성, 시간적 구조, 출처, 연관성을 격리해 냈습니다.
시스템 아키텍처: SodaMem은 유형화된 FactEvent 스키마, 하이브리드 검색(그래프 + 어휘 + 밀집), 충돌 해결을 위한 대체 세만틱(supersession semantics), 그리고 플래너-리더 루프를 특징으로 하는 파이프라인을 도입합니다.
비용-정확도 평가: 저자들은 추정 가능한 API 비용을 가진 공개 시스템들을 통합된 비용-정확도 맵으로 컴파일하여, 자신들의 시스템과 비교했을 때 나타나는 "지배된(dominated)" 영역(높은 비용, 낮은 정확도)을 분석합니다.

결과

LongMemEval-S(500개 질문, 약 115k 토큰 히스토리)를 통해 평가되었습니다:

정확도: SodaMem은 스토어 오브 레코드(store-of-record) 구성에서 **92.8%**의 정확도(464/500)를 달축했습니다 (N=3 중 최선).
비용 효율성:
- 평균 비용: 질문당 $0.00161 (~18.3k 토크) (deepseek-v4-flash 사용).
- 중앙값 비용: 질문당 $0.00111 (~14.6k 토크).
비교:
- SodaMem은 높은 수준의 정확도를 유지하면서도 "Flash-tier" 수준의 지출 범위 내에서 작동합니다.
- 이는 더 낮은 정확도를 제공하면서도 훨씬 높은 비용(흔히 GPT-4o나 Opus급 모델 사용)을 요구하는 기존의 발표된 시스템들(예: Cersei Embed/Hybrid, AgentOS, MemoryBank)을 엄격하게 압도합니다.
- 상위 티어 시스템인 agentmemory V4(96.2%) 및 Mem0(94.4%)는 더 높은 점수를 달성하지만, 추정되는 비용은 이들보다 한 자릿수 더 높습니다(Opus/GPT-4o 사용 시).

의의 및 주장

본 논문은 고정밀, 증거 기반의 개인 메모를 구현하는 데 값비싼 대규모 컨텍스트 모델이나 비구조화된 로그가 반드시 필요하지 않음을 입증한다고 주장합니다. 메모리를 시계열 지식 그래프로 취급하고 명시적인 대체 로직과 플래너-리더 루프를 사용함으로써, SodaMem은 다음을 달행합니다:

유지 가능한 상태: 선호도 역전을 결정론적으로 처리하는, 사용자에 대한 일관되고 업데이트 가능한 모델.
감사 가능성: 모든 클레임은 소스 스팬에 의해 뒷받침되어, 현재 RAG 시스템의 출처 문제를 해결합니다.
비용 효율성: 최첨단 정확도(92.8%)에 근접하면서도, 고가의 모델을 사용하는 시스템들에 비해 질문당 비용을 약 10~40배 절감하여 "언더컷(undercut)"합니다.

저자들은 셀프 그레이딩(동일한 Flash 모델을 판사로 사용)에 대한 의존성과 비용 비교가 단일 하네스 벤치마크가 아닌 컴파일된 추정치라는 점을 한계로 언급했습니다. 그러나 결과는 구조화되고 증거에 기반한 시계열 그래프가 장기 호흡 에이전트를 위한 유효한 경로임을 시사합니다.