MemX: A Local-First Long-Term Memory System for AI Assistants

이 논문은 Rust 와 libSQL 기반의 로컬 우선 아키텍처를 통해 안정적이고 설명 가능한 장기 기억을 제공하는 AI 어시스턴트용 메모리 시스템 'MemX'를 제안하며, 하이브리드 검색 파이프라인과 재순위화 기법을 통해 대규모 데이터셋에서도 효율적인 정보 검색 성능을 입증합니다.

핵심

메모리 엑스 (MemX): AI 비서의 '개인용 기억장' 이야기

이 논문은 **"AI 비서가 우리와 대화할 때, 이전 이야기를 잊어버리지 않고 기억해낼 수 있을까?"**라는 질문에 대한 답을 제시합니다. 바로 **'MemX'**라는 새로운 시스템을 소개하는데요.

기존의 AI 비서들은 대화만 하면 금방 잊어버리는 '금붕어' 같은 존재였습니다. 하지만 MemX 는 사용자의 컴퓨터 안에 직접 설치되어, 사용자만의 개인적인 기억을 영구적으로 저장하고 찾아주는 '개인용 기억장' 역할을 합니다.

이 복잡한 기술 논문을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. MemX 는 무엇인가요? (집에 있는 나만의 도서관)

대부분의 AI 는 클라우드(인터넷 서버) 에 의존합니다. 하지만 MemX 는 **사용자의 컴퓨터 (로컬)**에 직접 설치됩니다.

• 비유: 마치 인터넷 카페를 이용하지 않고, 집 서재에 내만의 책장을 직접 꾸미는 것과 같습니다.
• 장점: 내 데이터는 내 손에 쥐어집니다 (프라이버시 보호), 인터넷이 끊겨도 작동하며, 검색 속도가 매우 빠릅니다.

2. 어떻게 기억을 찾아낼까요? (스마트한 도서관 사서)

MemX 는 기억을 찾을 때 두 가지 방법을 동시에 사용합니다. 이를 **'하이브리드 검색'**이라고 합니다.

• 방법 1: 의미 찾기 (벡터 검색)
  • 비유: "어제 마신 커피가 맛있었는데..."라고 말하면, '커피'라는 단어 자체보다 '맛있었다', '기분 좋았다'는 느낌을 찾아주는 사서입니다.
  • 역할: 비슷한 의미의 기억을 찾아냅니다.
• 방법 2: 키워드 찾기 (키워드 검색)
  • 비유: "내 프로젝트 이름이 '프로젝트 알파'였지?"라고 말하면, '프로젝트 알파'라는 정확한 단어를 찾아주는 사서입니다.
  • 역할: 구체적인 이름이나 용어를 정확히 찾아냅니다.

이 두 가지 결과를 **RRF(상호 순위 융합)**라는 기술로 합쳐서, 가장 적합한 기억 하나를 골라냅니다. 마치 두 명의 전문가가 의견을 모아 최고의 책을 추천하는 것과 같습니다.

3. 엉뚱한 기억을 막는 '경비원' (낮은 신뢰도 거절 규칙)

가장 중요한 특징 중 하나는 거짓 기억을 막는 것입니다.

• 문제: AI 가 기억이 없는데도 억지로 답을 만들어내면 (할루시네이션), 사용자는 혼란을 겪습니다.
• 해결: MemX 는 "이 질문의 답이 기억장에 확실하지 않으면, 아무것도 알려주지 않는다"는 원칙을 따릅니다.
• 비유: 도서관 사서가 "그 책은 우리 도서관에 없어요"라고 정직하게 말해주는 것입니다. 억지로 없는 책을 찾아주지 않아서, 사용자가 실망하는 것을 막아줍니다. 논문에 따르면 이 '경비원' 덕분에 엉뚱한 답변이 크게 줄었습니다.

4. 기억을 어떻게 정리할까요? (세부적인 정리 vs 큰 묶음)

논문의 실험 결과, 기억을 어떻게 저장하느냐에 따라 성능이 크게 달라졌습니다.

• 세부 정리 (Fact-level): 대화 내용을 하나하나 잘게 쪼개서 저장하는 방식.
  • 결과: 성능이 2 배나 좋아졌습니다.
  • 비유: 장바구니를 통째로 기억하는 것보다, **'우유 1 개, 빵 2 개'**라고 하나하나 적어두는 것이 훨씬 찾기 쉽습니다.
• 큰 묶음 (Session-level): 대화 전체를 한 덩어리로 기억하는 방식.
  • 결과: 중요한 세부 사항을 놓치기 쉽습니다.

5. 속도는 얼마나 빠를까요? (초고속 검색)

기억장이 커질수록 (수십만 건) 검색 속도가 느려지는 문제가 있었습니다.

• 해결: MemX 는 FTS5라는 특수한 색인 기술을 도입했습니다.
• 비유: 책장 전체를 일일이 뒤지는 것 (기존 방식) 과, 책등에 붙은 색인 카드를 보고 바로 찾는 것의 차이입니다.
• 효과: 10 만 개의 기록이 있어도 검색 시간이 1,100 배 빨라져서, 1 초도 걸리지 않습니다.

6. 아직 해결해야 할 과제 (한계점)

MemX 는 훌륭하지만 아직 완벽하지는 않습니다.

• 시간 여행 불가: "어제 한 약속과 내일 할 약속을 비교해줘"처럼, 시간의 흐름을 이해하는 능력은 아직 부족합니다.
• 복잡한 질문: "A 와 B, 두 가지 주제를 모두 포함해서 설명해줘"처럼 여러 주제를 동시에 다루는 질문에는 약합니다.
• 비유: 현재는 '단일 주제'를 찾는 데는 천재지만, '시간을 거슬러 올라가거나 여러 이야기를 엮는' 능력은 아직 배워야 할 단계입니다.

---

요약: 왜 이 기술이 중요한가요?

MemX 는 AI 비서가 단순한 '대화가 가능한 기계'를 넘어, 사용자의 삶을 함께 기억하고 성장하는 '진짜 비서'가 될 수 있는 첫걸음을 떼었습니다.

1. 내 데이터는 내가 소유한다: 클라우드가 아닌 내 컴퓨터에 저장됩니다.
2. 정직한 답변: 기억이 없으면 억지로 답하지 않습니다.
3. 빠른 검색: 수만 개의 기록도 순식간에 찾아냅니다.
4. 구체적인 기억: 대화 내용을 잘게 쪼개서 저장하면 훨씬 정확합니다.

이 기술은 앞으로 AI 가 우리의 개인 비서로서, 더 신뢰할 수 있고 유용한 존재가 되는 데 중요한 기반이 될 것입니다.

기술 요약

MemX: AI 어시스턴트를 위한 로컬 퍼스트 장기 기억 시스템 기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 단일 턴의 이해도에서는 탁월하지만, 세션 간 상태가 유지되지 않아 (stateless) 지속적인 대화나 사용자 선호도, 프로젝트 규칙, 운영 절차 등을 장기적으로 기억하지 못합니다. 기존 RAG(Retrieval-Augmented Generation) 시스템은 대부분 클라우드 기반의 대규모 문서 코퍼스를 대상으로 하며, 사용자의 일상적 상호작용에서 점진적으로 축적되는 개인화된 장기 기억을 처리하는 데는 한계가 있습니다.

특히 로컬 퍼스트 (Local-First) 소프트웨어 패러다임 하에서는 사용자가 데이터를 완전히 소유하고 오프라인에서 작동하며, 제 3 자 서비스에 의존하지 않는 AI 어시스턴트가 필요합니다. 이러한 환경에서 중요한 과제는 다음과 같습니다:

• 안정적인 회수 (Stable Recall): 관련 기억이 있을 때 정확히 찾아내는 것.
• 위양성 억제 (Spurious Recall Suppression): 관련 기억이 없을 때 (Unanswerable queries) 임의의 정보를 생성하거나 잘못된 기억을 찾아내지 않도록 하는 것.
• 설명 가능성과 단순성: 복잡한 그래프 구조나 미세 조정 없이 구조적으로 단순하고 예측 가능한 시스템 구축.

2. 방법론 (Methodology)

MemX 는 Rust 로 구현되었으며, libSQL(SQLite 의 오픈소스 포크) 과 OpenAI 호환 임베딩 API 를 기반으로 합니다. 시스템은 하이브리드 검색 파이프라인과 안정성 중심의 설계 원칙을 핵심으로 합니다.

2.1 핵심 아키텍처 및 파이프라인

1. 하이브리드 회수 (Hybrid Recall):
   • 벡터 회수: 질의 (Query) 를 임베딩하여 벡터 유사도 검색 (DiskANN/brute-force) 수행.
   • 키워드 회수: FTS5(Full-Text Search 5) 를 이용한 정밀 키워드 매칭 수행.
2. 융합 (Fusion): Reciprocal Rank Fusion (RRF) 을 사용하여 두 가지 회수 결과의 랭크를 통합합니다.
3. 4-요소 재순위화 (Four-Factor Re-ranking): 통합된 후보군을 다음 4 가지 요인으로 재점수화합니다.
   • 의미적 유사도 (Semantic Similarity): RRF 점수 기반.
   • 최근성 (Recency): 마지막 검색 시간 (last_retrieved_at) 을 기준으로 지수 반감기 감쇠 적용.
   • 빈도 (Frequency): 검색 횟수 (retrieval_count) 를 로그 정규화하여 적용.
   • 중요도 (Importance): 명시적 주석 (Annotation) 기반.
   • 참고: '접근 (Access)'과 '검색 (Retrieval)'을 분리하여 관리함으로써, 단순 조회가 검색 순위에 왜곡되지 않도록 합니다.
4. 낮은 신뢰도 거부 규칙 (Low-Confidence Rejection Rule):
   • 키워드 회수 결과가 비어 있고, 벡터 유사도 점수가 임계값 ($\tau$) 보다 낮을 경우 빈 결과 집합을 반환하여 위양성을 억제합니다.
5. 중복 제거 (Deduplication):
   • 콘텐츠 및 태그 시그니처 기반 중복 제거를 수행하여 토픽 다양성을 확보합니다.

2.2 데이터 모델

• memories 테이블: 내용, 임베딩, 타입, 태그, 메타데이터, 중요도, 접근/검색 카운터 및 타임스탬프 저장.
• memory_links 테이블: 기억 간의 관계 (유사, 관련, 모순, 확장, 대체, 인과, 시간적) 를 기록하지만, 현재 검색 파이프라인에는 그래프 탐색이 통합되지 않았습니다.

3. 주요 기여 (Key Contributions)

1. 완전한 로컬 장기 기억 시스템 구현: 하이브리드 검색 (벡터 + 키워드) 을 적용하고, 접근/검색 추적을 명시적으로 분리한 시스템 제공.
2. 재현 가능한 벤치마크 프레임워크: 내부 검색 함수를 직접 호출하고 실시간 임베딩 API 를 사용하는 독립형 벤치마크 도구 개발.
3. 성능 및 한계 분석:
   • 2 개의 커스텀 중국어 시나리오 (43 질의) 를 통해 파이프라인의 안정성과 위양성 억제 능력을 검증.
   • LongMemEval 벤치마크 (500 질의, 최대 22 만 건 기록) 를 통해 저장 세분성 (Granularity) 에 따른 성능 변화를 정량화.
4. 저지연 최적화: FTS5 인덱싱을 통해 10 만 건 규모에서 키워드 검색 지연 시간을 1,100 배 단축 (약 90ms 이내 유지).

4. 실험 결과 (Results)

4.1 커스텀 벤치마크 (43 질의)

• 성능: 기본 시나리오에서 Hit@1 이 91.3%, 고혼란 (High-confusion) 시나리오에서 100% 를 기록.
• 위양성 억제: 관련 없는 질의에 대해 시스템이 빈 결과를 반환하는 비율 (Miss-Empty-Rate) 이 50~75% 수준으로 유지되어, 불필요한 할루시네이션을 효과적으로 차단.
• 임계값 (Threshold): $\tau=0.50$일 때 정확도와 위양성 억제 사이의 최적 균형을 이룸.

4.2 LongMemEval 벤치마크 (500 질의, 최대 220,349 건 기록)

• 저장 세분성 (Granularity) 의 중요성:
  • Fact-level(사실 단위) 저장: 세션 단위 저장 대비 Hit@5 가 24.6% → 51.6% 로 약 2 배 향상. MRR 또한 0.183 → 0.380 으로 크게 개선.
  • 지식 업데이트 (Knowledge Update): 사실 단위 추출이 가장 큰 효과 (+44.8%p) 를 보임.
  • 한계: 시간적 추론 (Temporal reasoning) 과 다중 세션 추론 (Multi-session reasoning) 은 Hit@5 가 43.6% 이하로 여전히 낮은 성능을 보임. 이는 단일 질의 벡터 회수만으로는 해결하기 어려운 영역임을 시사.
• 지연 시간 (Latency):
  • 10 만 건 규모에서 LIKE 연산 사용 시 검색 시간이 3,305ms 로 발생했으나, FTS5 인덱싱 적용 시 2.9ms 로 감소 (1,100 배 속도 향상).
  • 전체 검색 지연은 22 만 건 규모에서도 90ms 미만 유지.

4.3 제거 분석 (Ablation Study)

• 거부 규칙 (Rejection Rule): 위양성 (False Positive) 을 줄이는 데 결정적인 역할을 함.
• 중복 제거 (Deduplication): 태그가 있는 템플릿 기반 데이터에서는 성능을 향상시키지만, 태그가 없는 사실 단위 (Fact-level) 데이터에서는 오히려 회수율을 저하시킬 수 있음 (데이터 의존적).

5. 의의 및 결론 (Significance & Conclusion)

MemX 는 AI 어시스턴트의 장기 기억 문제를 해결하기 위해 복잡성보다 안정성과 설명 가능성을 우선시하는 접근법을 제시합니다.

• 실용성: 클라우드 의존 없이 로컬 환경에서 오프라인 작동이 가능하며, FTS5 와 같은 경량 인덱싱을 통해 대규모 데이터에서도 초저지연을 보장합니다.
• 설계 철학: "회수 (Recall) 보다 안정성 (Stability)"을 지향하며, 관련 없는 질문에 대한 거짓 답변을 억제하는 메커니즘을 통해 신뢰할 수 있는 어시스턴트를 구축합니다.
• 향후 과제: 시간적 인덱싱, 크로스-세션 링크, 다중 토픽 쿼리 분해, 그리고 크로스-인코더를 활용한 더 강력한 거부 규칙 도입이 필요함.

결론적으로 MemX 는 로컬 AI 어시스턴트를 위한 **v1 기준 (Baseline)**으로서, 구조적 단순성과 재현 가능한 벤치마크를 바탕으로 향후 확장 가능한 튼튼한 토대를 제공합니다.