기술 요약: 에이전트 메모리를 위한 RAG 를 넘어: 분리 및 집계 기반 검색

문제 정의

표준 검색 증강 생성 (RAG) 시스템은 에이전트 메모리의 요구사항과 근본적으로 불일치합니다. 표준 RAG 는 대규모 이질적 문서 코퍼스를 대상으로 설계된 반면, 에이전트 메모리는 많은 구간이 매우 상관관계가 높거나 거의 중복되는 유계된 일관된 상호작용 스트림으로 구성됩니다. 이러한 맥락에서 평면적 최상위-k(top-k) 유사도 검색은 종종 중복된 컨텍스트를 반환하여 유사한 기록들 사이에 숨겨진 결정적 증거를 구분하지 못합니다. 반면, 점진적 압축 (예: 요약) 에 의존하는 기존 계층적 메모리 전략은 작은 업데이트, 제약 조건, 또는 사실적 차이와 같은 후보들을 구분하는 데 필요한 미묘한 세부 사항을 흐리게 만드는 경향이 있습니다. 핵심적인 과제는 단순히 관련 텍스트를 locating 하는 것이 아니라, 매우 유사한 상호작용 로그에서 특정하고 답변에 결정적인 증거를 격리해 내는 것입니다.

방법론: xMemory

저자들은 분리 후 집계 (decoupling before aggregation) 원칙에 기반한 메모리 구조화와 적응형 검색을 결합한 xMemory 프레임워크를 제안합니다. 긴 상호작용 로그를 단일 단위로 취급하는 전통적 접근법과 달리, xMemory 는 역사를 조직하기 전에 미세한 증거 단위로 분해합니다.

1. 계층적 메모리 구축

xMemory 는 세 단계를 통해 수정 가능한 계층적 구조를 구축합니다:

• 분할 (Segmentation): 원시 메시지를 연속적인 세그먼트로 분할하여, 각각이 일관된 지역적 사건을 포착하도록 합니다. 이는 고립된 메시지 검색에서 종종 손실되는 intact 한 지역적 컨텍스트를 보존합니다.
• 분리 (Decoupling): 각 세그먼트는 메모리 구성 요소로 분해됩니다. 이러한 구성 요소는 재사용 가능한 사실, 제약 조건, 속성, 관계, 또는 상태 업데이트를 나타내는 간결하고 구조화된 단위입니다. 이 단계는 주변 서사로부터 독특한 증거를 격리합니다.
• 집계 (Aggregation): 관련 구성 요소는 고수준 그룹으로 그룹화됩니다. 이 집계는 희소성(스캔 비용을 최소화하기 위해 균형 잡힌 그룹 크기를 선호) 과 의미적 충실도(그룹 내 일관성과 탐색 가능한 그룹 간 기하학을 보장) 를 균형 있게 고려하는 목적 함수에 의해 안내됩니다.

2. 동적 유지 관리

메모리 구조는 정적이지 않으며, 새로운 상호작용이 도착함에 따라 점진적으로 진화합니다.

• 첨부 (Attachment): 새로운 구성 요소는 임베딩 유사성에 기반하여 가장 가까운 호환 가능한 그룹에 첨부됩니다.
• 수정 가능성 (Revisability): 시스템은 분할 및 병합 연산을 지원합니다. 과도하게 크거나 불일치하는 그룹은 분할되고, 작거나 고립된 그룹은 병합됩니다. 이러한 연산들은 가이드 목적 함수를 개선할 때 트리거되어, 시스템이 새로운 증거에 기반하여 이전에 저장된 구성 요소를 사후적으로 재구성할 수 있게 합니다.

3. 상향식 적응형 검색

검색은 중복을 최소화하면서 충분한 컨텍스트를 보장하기 위해 두 단계로 진행됩니다:

• 1 단계: 고수준 백본 선택: 시스템은 먼저 보완적인 그룹과 구성 요소의 간결한 집합을 선택합니다. 이는 그룹 간의 사전 유지 관리된 k-최근접 이웃 (kNN) 링크를 활용하여 거의 중복되는 증거를 선택하지 않도록 하면서, 구조적 커버리지와 쿼리 관련성 사이의 트레이드오프를 취하는 탐욕적 선택 전략을 사용합니다.
• 2 단계: 적응형 텍스트 확장: 고수준 백본이 확립된 후에만 시스템은 하위 수준의 텍스트 (세그먼트 및 원시 메시지) 로 확장합니다. 이 확장은 불확실성 주도적입니다: 예측 엔트로피를 통해 측정된 독자의 불확실성을 긍정적으로 감소시키는 경우에만 세그먼트나 메시지가 포함됩니다. 더 이상 불확실성 감소가 불가능할 때 검색이 중단됩니다.

주요 기여

1. 문제 식별: 이 논문은 표준 RAG 가정과 에이전트 메모리의 특성 간의 불일치를 식별하며, 에이전트 메모리는 "분리 후 집계" 원칙이 필요하다고 주장합니다.
2. xMemory 프레임워크: 역사를 분할하고, 세그먼트를 메모리 구성 요소로 분리하며, 구성 요소를 고수준 그룹으로 집계함으로써 수정 가능한 계층적 메모리 구조를 구축하는 프레임워크를 제안합니다.
3. 적응형 검색: 불확실성 감소를 기반으로 원시 텍스트로 확장하기 전에 간결한 증거 백본을 선택하는 상향식 검색 방법을 개발하여, 답변 품질과 추론 토큰 효율성 모두를 향상시키는 것을 입증했습니다.

실험 결과

저자들은 다양한 오픈소스 (Qwen3-8B, Llama-3.1-8B) 및 폐쇄소스 (GPT-5 nano) LLM 을 사용하여 두 가지 벤치마크인 LoCoMo(다중 세션 대화) 와 PerLTQA(개인화된 장기 메모리) 에서 xMemory 를 평가했습니다.

• 답변 품질: xMemory 는 모든 백본 모델과 데이터셋에서 일관되게 가장 높은 평균 BLEU 및 F1 점수를 달성했습니다. 예를 들어, Qwen3-8B 를 사용한 LoCoMo 에서 평균 BLEU/F1 점수를 Nemori 기준 (31.44/40.88) 에서 34.48/43.98 로 향상시켰습니다.
• 효율성: xMemory 는 우수한 토큰 효율성을 보여주었습니다. Qwen3-8B 를 사용한 LoCoMo 에서 답변 품질을 동시에 향상시키면서 추론 토큰 사용량을 7,755(Nemori) 에서 4,711 로 감소시켰습니다.
• 증거 밀도: 분석 결과, xMemory 는 Naive RAG 및 가지치기 기반 베이스라인에 비해 "다중 히트" 블록 (여러 개의 서로 다른 답변 증거 단위를 포함) 의 비율이 더 높은 더 밀집된 증거를 검색하는 것으로 나타났습니다.
• 비용 - 성능 트레이드오프: 메모리 구축 비용과 추론 비용을 모두 고려할 때, xMemory 는 구조화된 메모리 베이스라인보다 품질 면에서 우위를 점하면서도 총 토큰 비용을 낮게 유지하여 가장 유리한 균형을 달성했습니다.

의의 및 주장

이 논문은 효과적인 에이전트 메모리가 단순히 과거 상호작용을 검색하거나 압축하는 것을 넘어, 미묘한 구분을 접근 가능하게 만드는 증거 지향적 구조로 재구성해야 한다고 주장합니다. 상관관계가 높은 메모리를 의미적 구성 요소로 분리하고 상향식으로 검색함으로써 xMemory 는 중복을 줄이면서 시간적으로 연결된 증거를 보존합니다. 저자들은 그들의 작업이 표준 RAG 가 처리하지 못하는 일관되고 중첩된 상호작용 스트림이 제기하는 특정 검색 과제를 해결하여, 장기 범위 LLM 에이전트를 위한 더 적응적이고 효율적인 메모리 시스템으로 나아가는 한 걸음을 제공한다고 주장합니다.

저자들은 한계에 대해 겸손하게 언급하며, 평가가 특정 벤치마크 (LoCoMo 및 PerLTQA) 로 제한되어 있고 LLM 생성 구성 요소에 대한 의존성이 잠재적 추출 오류를 초래할 수 있음을 지적합니다. 그들은 향후 연구가 더 넓은 에이전트 환경과 더 견고한 추출 메커니즘을 탐구해야 한다고 제안합니다.