기술 요약: SaliMory: 대화형 에이전트를 위한 인지적 메모리 오케스트레이션

1. 문제 정의

평생의 동반자(lifelong companions)로 설계된 대화형 에이전트는 상호작용 전반에 걸쳐 맥락을 유지하기 위해 지속적인 메모리가 필요합니다. 그러나 현재의 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

• RAG(Retrieval-Augmented Generation) 노이즈: 단순히 컨텍스트 윈도우를 확장하거나 가공되지 않은 상호작용 이력을 검색하는 것은 종종 노이즈가 많고, 반복적이며, 무관한 데이터를 초래하여 추론 품질을 저하시킵니다.
• 신용 할당 병목 현상(Credit Assignment Bottlenecks): 최종 결과 보상만을 사용하는 표준 강화 학습(RL)을 통해 메모리 에이전트를 학습시키면 심각한 신용 할당 문제를 야기합니다. 다단계 파이프라인에서는 최종 응답의 실패가 부실한 메모리 형성 때문인지, 비효 있는 검색 때문인지, 혹은 생성 오류 때문인지 판단하기 어렵습니다.

LoCoMo 벤치마크에 대한 에러 분석 결과, 메모리 오류(주요 정보의 손실 또는 왜곡)는 최첨단 베이스라인 실패 원인의 최대 52%를 차지하며, 이는 프로필 생성이나 응답 생성에서의 오류를 크게 앞지르는 수치입니다.

2. 방법론: SaliMory 프레임워크

SaliMory는 단일 언어 모델이 구조화된 인지 메모리 시스템을 엔드투엔드로 관리하도록 훈련하는 에이전트 기반 메모리 관리 프레임워크입니다. 이는 인간의 인지 과학, 특히 작업 기억(working memory), 장기 사실 지식(long-term factual knowledge), 그리고 주관적 선호도(subjective preferences)의 구분에서 영감을 받았습니다.

2.1 인지적 메모리 아키텍처

SaliMory는 평면적인 버퍼 대신, 세 가지 전용 저장소로 구성된 구조화된 메모리 뱅크 $M = (\bar{F}, \bar{P}, \bar{W})$를 유지합니다:

1. 사실 뱅크 ($\bar{F}$): 사용자에 대한 객관적이고 검증 가능한 진술 (예: "유당 불내증 있음").
2. 선호 뱅크 ($\bar{P}$): 스타일 맞춤화를 위한 소프트 기준 역할을 하는 주관적 취향 및 성향 (예: "귀리 우유를 선호함").
3. 작업 기억 ($\bar{W}$): 사용자가 여전히 염두에 두고 있을 가능성이 높은 최근의 핵심적인 턴(turns).

2.2 통합 정책 및 역할

단일 정책 모델 $\pi_\theta$는 서로 다른 지시 프롬프트에 따라 세 가지 상호 보완적인 역할을 수행하도록 RL을 통해 훈련됩니다:

• 가용성 필터 (Saliency Filter): 어떤 대화 턴이 기록할 가치가 있는 핵심 정보를 포함하고 있는지 결정합니다.
• 메모리 부스터 (Memory Booster): 사실 및 선호 뱅크를 업데이트하고 통합하며, 작업 기억의 슬라이딩 윈도우를 관리합니다.
• 메모리 활용자 (Memory Utilizer): 세 가지 저장소에서 관련 항목을 검색하고 합성하여, 다운스트림 생성기를 위한 쿼리 적응형 프로필을 만듭니다.

이 아키텍처는 오프라인 메모리 관리 단계와 런타임 생성 단계를 분리합니다. 동결된 대규모 언어 모델($\pi_{gen}$)이 합성된 프로필을 바탕으로 최종 응답을 생성함으로써, 메모리 매니저가 컨텍스트 큐레이션에 특화되어 최적화되도록 보장합니다.

2.3 훈련: 단계별 프로세스 보상 및 대조적 정교화

신용 할당 문제를 해결하기 위해, SaliMory는 두 가지 새로운 메커니즘을 도입합니다.

A. 단계별 프로세스 보상 시스템
최종 결과 보상에만 의존하는 대신, SaliMory는 학습 신호를 세 가지 직교하는 보상으로 분해합니다:

1. 응답 품질 ($R_1$): 최종 답변의 정확도와 개인화 수준을 평가하는 곱셈 게이트입니다. 개인화는 답변이 사실적으로 정확할 때만 보상됩니다.
2. 메모리 품질 ($R_2$): 최종 답변과는 독립적으로, 메모리 뱅크 자체의 사실적 충실도와 모호성을 평가하는 비대칭 페널티입니다. 이는 부스터가 모호한 메모리를 인코딩하기보다 미미한 메모리를 생략하도록 유도합니다.
3. 활용 및 필터 품질 ($R_3$): (방해 요소 없이 제약 조건을 포착하는) 적응된 프로필의 효과성과 가용성 필터의 게이팅 결정 정확도를 평가합니다.

B. 보상 분해 대조적 정교화 (Reward-Decomposed Contrastive Refinement)
표준 GRPO(Group Relative Policy Optimization)는 모든 트레이스에 단일 어드밴티지 스칼라를 할당하여 업스트림 모듈에 부당한 그래디언트를 줄 수 있습니다. SaliMory는 역할별 대조 선호 쌍을 구성합니다:

• 부스터 쌍 (Booster Pairs): 전체 에피소드 보상과 관계없이, 오직 메모리 품질 점수($R_2$)를 기준으로 선택됩니다.
• 활용자 쌍 (Utilizer Pairs): 활용도 점수($R_3$)를 기준으로 선택되지만, 비교되는 롤아웃들의 메모리 뱅크가 매우 유사할 때(Jaccard 유사도 활용)만 형성됩니다. 이러한 인과적 게이팅은 활용자가 우연히 더 나은 업스트림 메모리를 받았기 때문이 아니라, 순수하게 자신의 합성 능력에 대해서만 보상받도록 보장합니다.

3. 주요 기여

1. 인지적 영감을 받은 아키텍처: 사실적 스냅샷, 주관적 선호, 단기 작업 기억을 분리하고, 이를 별도의 역할(필터, 부스터, 활용자)을 수행하는 통합 에이전트가 관리하는 구조.
2. 메모리 고정 RL (Memory-Anchored RL): 계층적 단계별 프로세스 보상과 보상 분해 대조적 정교화를 결합하여 다단계 메모리 시스템을 위한 미세한 신용 할당을 제공하는 새로운 학습 패러다임.
3. 새로운 벤치마크 및 프로토콜: 개인화 쿼리(추천 및 암묵적 개인화)가 포함된 LoCoMo의 확장판인 LoCoMo-P13n과, 정밀한 메모리 회상 및 개인화 품질을 공동으로 평가하는 다단계 평가 프로토콜 도입.

4. 실험 결과

9B 파라미터 모델(Qwen3.5-9B-Instruct)을 정책으로 사용하여 LoCoMo 및 LoCoMo-P13n 벤치마크에서 평가되었습니다:

• 엔드투엔드 성능: SaliMory는 **72.9%**의 엔드투엔드 정확도를 달성하여, SOTA 대비 10% 이상 높은 성능을 보였습니다.
• 개인화: **39.8%**의 "우수한 개인화(Good Personalization)" 비율을 기록하여, 차순위 베이스라인인 Mem-R1(16.3%)의 두 배 이상의 성능을 냈으며, 훨씬 더 큰 규모의 모델을 사용하는 제로샷 에이전트 방식(예: Gemini-3-Flash)을 크게 압도했습니다.
• 오류 감소: SaliMory는 베이스라인 대비 메모리 관련 실패를 1/3 수준으로 줄였습니다. 또한 "나쁜 개인화(Bad Personalization)"(환각 또는 과도한 개입 응답)를 **1.4%**까지 거의 제거했습니다.
• 메모리 품질: 시스템은 모호한 메모리 항목을 19.6%(Mem-R1의 35.7% 대비)로 줄였고, 사실적 충실도를 **93.9%**로 높였습니다.
• 효율성: SaliMory는 메모리 형성 지연 시간을 (제로샷의 38초 대비 0.5초로) 76배 단축했으며, 가공되지 않은 검색 청크를 처리하는 대신 압축된 프로필을 합성함으로써 추론 지연 시간을 5배 감소시켰습니다.
• 일반화 능력: 실제 채팅 AI 트래픽 데이터에서 SaliMory는 우수한 개인화 비율을 3배 이상(1.7%에서 5.5%로) 높였으며, 메모리 사실성을 크게 개선했습니다.

5. 의의 및 주장

본 논문은 대화형 메모리의 근본적인 과제가 저장이 아니라 관리라고 주장합니다. SaliMory는 메모리 아키텍처를 인지 원칙(사실, 선호, 작업 기억의 분리)에 기반하고, 분해된 보상과 대조적 정교화를 통해 신용 할당 문제를 해결함으로써, 컴팩트한 모델이 거대한 제로샷 모델을 능가할 수 있음을 입증했습니다.

저자들은 이 프레임워크가 서로 다른 메모리 작업에 대한 "격리된 감독(isolated supervision)"을 제공하여, 에이전트가 상호작용 이력에 압도되지 않으면서도 사용자의 선호도를 안정적으로 포착할 수 있게 한다고 단언합니다. 이 프레임워크는 고품질의 지속적인 컨텍스트를 유지할 수 있는 효과적인 평생 디지털 동반자를 구축하기 위한 중요한 단계로 제시됩니다.