Synthius-Mem: Brain-Inspired Hallucination-Resistant Persona Memory Achieving 94.4% Memory Accuracy and 99.6% Adversarial Robustness on LoCoMo

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 에이전트에 장기 기억을 부여하는 것은 여전히 해결되지 않은 난제입니다. 기존 접근 방식들은 다음과 같은 한계를 가지고 있습니다:

• 기존 방식의 결함: 슬라이딩 윈도우 (Sliding Window), 요약 (Summarization), 임베딩 기반 RAG, 평면적 사실 추출 등의 방식은 토큰 비용을 줄이기는 하지만, 치명적인 정보 손실, 의미적 편향 (Semantic Drift), 또는 사용자에 대한 통제되지 않은 환각 (Hallucination) 을 초래합니다.
• 구조적 원인: 현재 LoCoMo 벤치마크에 보고된 모든 기억 시스템은 대화를 "원본 텍스트 또는 요약된 대화 세그먼트의 검색 문제"로만 취급합니다. 이는 인간이 기억을 처리하는 방식 (도메인별 전문화) 을 반영하지 못하며, 특히 사용자가 공개하지 않은 사실에 대해 질문할 때 이를 거부하는 적대적 견고성 (Adversarial Robustness) 을 검증한 시스템이 없습니다.

2. 방법론 (Methodology)

Synthius-Mem 은 인간의 뇌 구조에서 영감을 받아, 대화를 단순히 검색하는 것이 아니라 "사용자에 대해 무엇을 알고 있는지" 를 구조적으로 추출하고 조직화하는 방식을 채택했습니다.

가. 뇌 과학 기반의 6 개 인지 도메인 (6 Cognitive Domains)

인간의 기억이 기능적으로 특화된 하위 시스템 (에피소드 기억, 의미 기억, 사회적 인지 등) 으로 구성되어 있다는 신경과학적 통찰을 적용하여, 메모리를 6 개의 유형화된 도메인으로 분할합니다:

1. Biography (전기): 의미적 자기 지식 (이름, 직업, 거주지 등).
2. Experiences (경험): 에피소드 기억 (시간적/공간적 맥락, 감정적 가치).
3. Preferences (선호): 평가적 기억 (취향, 가치관, 강도).
4. Social Circle (사회적 관계): 사회적 인지 (인간관계, 신뢰도, 역할).
5. Work (직업): 전문적 기억 (프로젝트, 기술, 성과).
6. Psychometrics (심리 측정): 9 가지 검증된 심리 프레임워크 (Big Five, 가치관 등) 를 기반으로 한 성격 프로파일.

나. 파이프라인 아키텍처

• 추출 (Extraction): 대화를 6 개 도메인에 맞춰 병렬로 추출하고, 구조화된 JSON 스키마로 변환합니다.
• 정리 (Consolidation): 도메인별로 중복 제거, 충돌 해결, 계층적 재구성을 수행하여 '활성 정리 (Active Consolidation)'를 구현합니다.
• 검색 (Retrieval - CategoryRAG): 사용자의 질문을 분석하여 (Planner LLM), 관련된 특정 도메인만 선택적으로 조회합니다. 이는 단일 비정형 저장소를 검색하는 기존 RAG 와 달리, 도메인별 전문 검색 경로를 제공합니다.
• 지속적 업데이트: 대화 진행에 따라 점진적으로 메모리를 업데이트하고, 필요 시 롤백이 가능한 역방향 차분 (Reversible Diff) 엔진을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 신경과학 기반 구조화 메모리 아키텍처: 6 개의 유형화된 인지 도메인을 도입하여 정보의 저장, 정리, 검색 방식을 생물학적 기억 체계에 맞게 재설계했습니다.
2. 환각 저항성 (Hallucination Resistance) 달성: 사용자가 공개하지 않은 사실에 대한 질문 (적대적 질문) 에 대해, 증거가 없을 때 "모른다"고 거부하는 구조적 메커니즘을 구현했습니다. 이는 기존 시스템이 보고하지 않았던 핵심 지표입니다.
3. 토큰 효율성 극대화: 전체 문맥 재생 (Full-context replay) 대비 약 5 배의 토큰 효율성을 달성하면서도 더 높은 정확도를 유지합니다.
4. 벤치마크 기록 경신: LoCoMo 벤치마크에서 인간 성능을 상회하는 결과를 기록했습니다.

4. 실험 결과 (Experimental Results)

LoCoMo 벤치마크 (10 개 대화, 1,813 개 질문) 에서 Synthius-Mem 은 다음과 같은 성과를 거두었습니다:

• 전체 정확도: 94.37% (MemMachine 의 91.69%, 인간 기준 87.9% F1 을 상회).
• 적대적 견고성 (Adversarial Robustness): 99.55% (사용자가 언급하지 않은 사실에 대한 환각을 거의 완벽하게 차단). 이는 경쟁 시스템들이 보고하지 않거나, 단순히 거절하는 수준에 그친 것과 대조적입니다.
• 핵심 사실 정확도: 98.64% (인물 정체성과 관련된 핵심 사실).
• 시간적 정밀도: 94.40% (날짜, 기간 등 구조화된 메타데이터 덕분에 우수).
• 성능 비교:
  • 전체 문맥 재생 (Full Context) 대비 정확도는 +8.91%p 높고, 토큰 비용은 약 5 배 절감 (500 메시지 기준).
  • 기존 RAG 기반 시스템 (Embedding RAG) 대비 단일 홉 (Single-hop) 질문에서 +51.1%p, 시간적 추론에서 +67.4%p의 압도적인 우위를 보임.
• 지연 시간 (Latency): CategoryRAG 검색 평균 지연 시간은 21.79ms로 매우 빠릅니다.

5. 의의 및 중요성 (Significance)

• 구조적 혁신: 단순한 텍스트 검색이 아닌, 지식 기반의 구조화 (Structured Knowledge) 를 통해 정보의 신호 대 잡음비 (Signal-to-Noise Ratio) 를 극대화했습니다. 이는 "잃어버린 중간 (Lost in the middle)" 현상을 해결하고, LLM 이 매번 추론을 수행하는 대신 사전에 처리된 사실을 활용하게 합니다.
• 신뢰성 확보: AI 에이전트가 사용자의 프라이버시와 사실에 대해 환각을 일으키지 않는 것은 배포의 전제 조건입니다. Synthius-Mem 은 적대적 견고성을 체계적으로 증명함으로써, 실제 서비스 환경에 적용 가능한 첫 번째 개인화 메모리 시스템임을 입증했습니다.
• 비용 효율성: 장기 대화에서 토큰 비용이 2 차 함수적으로 증가하는 기존 방식과 달리, 추출 비용이 고정되고 검색 비용이 낮아 선형적 (Linear) 으로 확장 가능하여 경제적 효율성이 뛰어납니다.
• 미래 방향: 이 연구는 AI 에이전트의 기억이 단순한 데이터 저장이 아닌, 인간의 인지 구조를 모방한 도메인 특화 시스템으로 진화해야 함을 시사하며, 향후 더 포괄적인 개인화 메모리 벤치마크의 필요성을 제기합니다.

결론적으로, Synthius-Mem 은 LoCoMo 벤치마크에서 인간 수준의 성능을 넘어선 최초의 시스템이며, 특히 환각을 방지하는 능력 (Adversarial Robustness) 과 높은 정확도, 낮은 비용이라는 세 가지 요소를 동시에 달성한 획기적인 아키텍처입니다.