기술 요약: MEMGUARD

문제: 이질적 메모리 오염

메모리 증강형 대규모 언어 모델 (LLM) 은 상호작용 전반에 걸쳐 장기 기억을 유지함으로써 고정된 컨텍스트 창을 넘어선 추론을 확장하는 것을 목표로 합니다. 그러나 기존 시스템은 종종 안정적인 사용자 사실 (의미론적), 에피소드적 사건, 그리고 행동 규칙 (절차적) 과 같은 서로 다른 유형의 지식을 공유된 검색 공간으로 통합하여 붕괴시킵니다. 이러한 기능적 분리의 부재는 이질적 메모리 오염을 초래하는데, 이는 컨텍스트 특정적 사건이 지지되지 않는 사실로 과도하게 일반화되거나, 의미상 관련은 있으나 기능적으로 호환되지 않는 기억들이 생성을 오도하는 실패 양상입니다.

저자들은 이러한 오염이 메모리 수명 주기 전반에 걸쳐 발생함을 규명했습니다:

1. 기록 시 오염 (Write-time contamination): 지지되지 않거나 과도하게 일반화된 지식이 메모리에 기록되어 노이즈로 영구화됩니다.
2. 검색 시 오염 (Retrieval-time contamination): 의미상 관련은 있으나 기능적으로 적합하지 않은 기억들이 함께 검색되어 필요한 증거를 가립니다.
3. 구성 실패 (Composition failure): 모델이 오염된 증거를 통합하여 환각 (hallucinations) 을 유발합니다.

LoCoMo 벤치마크에 대한 분석은 검증 불가능 오류(증거가 불충분할 때 답변하는 경우) 가 주로 기록 시 오염 (97.7%) 에 의해 발생하며, 사실성 오류(사용 가능한 증거에도 불구하고 잘못 답변하는 경우) 는 검색 시 오염 (63.8%) 과 빈번하게 연관됨을 보여줍니다. 평탄한 의미론적 저장소, 그래프 기반 모델, 또는 인지적 계층 구조를 포함한 기존 방법들은 대부분 기능적 경계를 유지하지 못하며, 메모리를 단일화되거나 약하게 구조화된 자원으로 취급합니다.

방법론: MEMGUARD

이를 해결하기 위해 저자들은 메모리 구축, 검색, 그리고 증거 구성 과정에서 기능적 경계를 강제하는 타입 인식형 메모리 프레임워크인 MEMGUARD를 제안합니다. 이 시스템은 장기 기억에 대한 인지 이론에 영감을 받았으며, 이는 추론 목표에 따라 선택적으로 동원되는 기능적으로 특화된 시스템 (에피소드적, 의미론적, 절차적) 을 가정합니다.

1. 기록 시 메모리 재구성

MEMGUARD 는 기능적 분리를 보장하기 위해 저장 전 대화 데이터를 재구성합니다:

• 타입 인식 지식 분해: LLM 은 원시 대화를 겹치지 않는 "메모리 원자 (memory atoms)"로 분해하며, 각 원자에 정확히 하나의 기능적 타입을 할당합니다: 의미론적(시간 무관 사실), 에피소드적(시간 고정 사건), 또는 절차적(반복적 행동).
• 자기 검증 추출: 검증 단계는 분해 과정에서 정보가 누락되지 않도록 보장하며, 타입 제약을 유지하면서 누락된 원자를 복구합니다.
• 관계형 지식 그래프: 원자 내용은 타입별로 격리되지만, 방향성 그래프 $G=(V, E)$는 원자 간의 타입 지정 의존성 (예: supports, leads_to, contradicts) 을 인코딩합니다. 이는 이질적 콘텐츠를 병합하지 않으면서 원자 간 관계를 유지합니다.
• 타입 격리 기록: 원자는 타입별 저장소 ($M_{semantic}, M_{episodic}, M_{procedural}$) 로 라우팅됩니다. 중복 제거 및 업데이트는 동일한 타입 저장소 내에서만 발생하여 기능적으로 구별되는 기억들이 서로를 덮어쓰는 것을 방지합니다.

2. 검색 시 동적 메모리 라우팅

검색 시 MEMGUARD 는 증거를 선택하고 구성하기 위해 2 단계 프로세스를 사용합니다:

• 쿼리 적응형 타입 라우팅: 소프트 라우터는 주어진 쿼리에 대한 각 메모리 타입의 관련성을 추정하여 타입 격리 저장소 간에 검색 예산 $K$를 비례적으로 할당합니다. 이는 관련 없는 메모리 타입이 컨텍스트를 지배하는 것을 방지합니다.
• 관계형 지식 구성: 주요 검색된 원자는 관계형 그래프를 통한 너비 우선 탐색 (BFS, 최대 $h_{max}$ 홉) 을 통해 확장됩니다. 이는 쿼리와는 약하게 유사할 수 있으나 추론에 필수적인 관련 교차 메모리 의존성을 복구합니다. 확장된 컨텍스트는 홉 감쇠 인자로 재순위화되어 관련성과 구조적 깊이의 균형을 맞춥니다.

주요 기여

1. 오염 규명: 본 논문은 기존 메모리 시스템의 약한 기능적 경계로 인해 발생하는 지속적인 환각의 주요 원인으로 이질적 메모리 오염을 규명합니다.
2. MEMGUARD 프레임워크: 명시적 메모리 타입 (의미론적, 에피소드적, 절차적) 에 기반하여 메모리 기록을 구조화하고, 검색을 라우팅하며, 증거 구성을 안내하는 새로운 아키텍처입니다.
3. 실증적 검증: 기능적 경계를 유지함으로써 환각 강건성과 유용성을 향상시키면서 검색된 토큰의 양을 줄인다는 것을 입증했습니다.

실험 결과

저자들은 MEMGUARD 를 환각 벤치마크 (HaluMem) 와 장기 대화 작업 (LoCoMo, PerLTQA, LongMemEval) 에서 평가했습니다.

• HaluMem (환각 평가):

  • MEMGUARD 는 **89.53%**의 반환각 정확도를 달성하여 최선 베이스라인 (Mem0) 대비 28.27% 향상되었습니다.
  • **71.49%**의 메모리 업데이트 정확도를 달성하여 메모리 업데이트 중 누락 및 환각률을 현저히 감소시켰습니다.
  • 검색 정확도는 1 홉 기준 89.87%, 2 홉 기준 **90.24%**에 달하여 추출 재현율과 유사했으며, 이는 타입 인식형 기록이 증거 접근성을 향상시킴을 시사합니다.

• 유용성 평가 (LoCoMo, PerLTQA, LongMemEval):

  • LoCoMo 에서 MEMGUARD 는 GPT-4o-mini 설정에서 **75.53%**의 평균 정확도를 달성하여 최첨단 모델인 MemOS 와 유사한 성능을 보였으나, 검색된 메모리 토큰은 21% 적게 사용했습니다.
  • 일관된 GPT-4.1-mini 설정 하에서 MEMGUARD 는 A-Mem 보다 정확도에서 10.76% 더 높았으며, 검색된 토큰은 4.5 배 적게 사용했습니다.
  • 이 방법은 적대적 쿼리에서 특히 강점을 보였는데, 증거가 불충분할 때 답변을 더 신뢰성 있게 유보함으로써 답변 가능성 보정 (answerability calibration) 이 개선됨을 보여주었습니다.

중요성과 주장

본 논문은 LLM 에서 신뢰할 수 있는 장기 추론은 단순히 검색 용량을 확장하는 데 달려 있는 것이 아니라, 이질적 메모리의 원칙적 조직화와 선택적 사용에 달려 있다고 주장합니다. 기능적 경계가 강제된 구조화된 기질로서 메모리를 취급함으로써 MEMGUARD 는 타입 간 간섭과 지속적인 환각을 완화합니다.

저자들은 그들의 접근 방식이 생성 중 (during generation) 에 기반을 두는 것이 아니라, 생성 전 (기록 및 검색 시) 에 오염을 대상으로 삼는다고 강조합니다. 이 방법은 환각을 현저히 줄이고 메모리 신뢰성을 향상시키지만, 논문은 겸손하게 한계를 인정합니다: 기본 LLM 이 올바른 컨텍스트를 잘못 해석할 경우 구성 오류가 여전히 발생할 수 있어 생성 시 행동을 직접 제어하지는 않으며, 에이전트 기반의 LLM 기반 메모리 구축 및 검색 파이프라인으로 인해 추가적인 추론 비용이 발생합니다. 향후 작업은 경계 보존 관리를 embodied agents 와 의사결정 작업으로 확장하는 것이 제안됩니다.