MemRouter: Memory-as-Embedding Routing for Long-Term Conversational Agents

다음은 논문 "MemRouter: 장기 대화 에이전트를 위한 임베딩 기반 메모리 라우팅"에 대한 상세한 기술 요약입니다.

1. 문제 제기

장기 대화 에이전트는 다중 세션 상호작용 전반에 걸쳐 개인적 사실, 선호도, 계획을 유지하기 위해 외부 메모리가 필요합니다. 그러나 현재 최첨단 시스템은 두 가지 치명적인 한계에 직면해 있습니다.

• 턴별 자기회귀 비용: 기존 접근법 (예: Memory-R1, AgeMem) 은 대화 턴을 저장할지 여부를 결정하기 위해 대규모 언어 모델 (LLM) 자체를 사용합니다. 이는 모든 턴에 대해 완전한 자기회귀 생성을 필요로 하므로 막대한 계산 오버헤드 (예: 600 턴 대화당 약 1,200 회 생성 호출) 와 높은 지연 시간을 초래합니다.
• 백본 결합: 메모리 관리 정책은 종종 하류 답변 모델과 함께 훈련되거나 특정 하류 답변 모델에 의존합니다. 이로 인해 긴밀한 결합이 발생하여 답변 모델을 업그레이드 (예: 더 크거나 새로운 LLM 으로 변경) 할 때마다 메모리 관리 정책을 재훈련해야 합니다.

해결하려는 핵심 질문은 다음과 같습니다: 자기회귀 생성을 호출하지 않고 임베딩 수준에서 턴 저장 결정을 효율적으로 내릴 수 있으며, 이 결정을 답변 생성 백본과 분리할 수 있는가?

2. 방법론: MemRouter

MemRouter 는 메모리 수용을 답변 생성 프로세스에서 분리하여 완전히 임베딩 공간에서 작동하는 쓰기 측 메모리 라우터를 도입합니다.

아키텍처

시스템은 세 가지 주요 구성 요소로 구성됩니다.

1. 메모리 라우터 (쓰기 경로):

   • 입력: 현재 턴 ($x_t$) 과 최근 기록 ($H_t$) 을 처리합니다.
   • 맥락적 청킹: 대화가 고정된 크기의 청크 (최대 청크당 5 턴) 로 분할됩니다.
   • 임베딩 및 투영: 문장 변환기 (BGE-large-en-v1.5) 가 청크를 인코딩합니다. 이러한 임베딩은 경량 2 층 MLP(레이어 정규화 및 GELU 포함) 를 통해 동결된 LLM 백본 (예: Qwen2.5-7B) 의 숨겨진 차원으로 투영됩니다.
   • 백본 맥락화: 투영된 임베딩은 토큰화를 우회하는 연속 입력 인터페이스를 통해 동결된 LLM 백본에 공급됩니다. 백본은 텍스트를 생성하지 않고 단일 순전파로 시퀀스를 맥락화합니다.
   • 분류: 경량 헤드가 작업 (ADD 또는 NOOP) 을 예측하고, ADD 인 경우 콘텐츠 유형 (예: 주요 사실, 계획, 감정) 을 예측합니다.
   • 매개변수: 투영 레이어와 분류 헤드로만 학습 가능 (~12M 매개변수) 하며, 전체 7B 모델의 0.17% 에 불과합니다.

2. 메모리 저장소:

   • 타임스탬프, 화자 신원, 그대로의 텍스트가 포함된 튜플로 승인된 턴을 저장합니다.
   • 의미적 쿼리와 정확한 엔티티/날짜 매칭을 모두 처리하기 위해 밀집 의미 매칭 (코사인 유사도) 과 희소 키워드 검색 (BM25) 을 결합한 하이브리드 검색 전략을 사용합니다.

3. 답변 에이전트 (읽기 경로):

   • 라우터와 별개의 동결된 LLM 이 상위 60 개 관련 메모리를 검색하여 최종 답변을 생성합니다. 이는 텍스트 생성을 수행하는 유일한 구성 요소입니다.

훈련 전략

• 지도 학습: 라우터는 '교사' 모델 (Qwen3.5-35B) 이 생성한 턴 수준 레이블을 사용하여 훈련됩니다.
• 목적 함수: 작업 헤드는 가중 교차 엔트로피를, 콘텐츠 유형 헤드는 표준 교차 엔트로피를 사용합니다.
• 강화 학습 없음: 이전 연구들이 PPO/GRPO 를 사용하는 것과 달리, MemRouter 는 안정적인 지도 학습에 의존합니다.

3. 주요 기여

1. 임베딩 기반 라우팅: 고정된 백본에 구축된 순전파 전용 분류기로 턴별 자기회귀 디코딩을 대체하여 지연 시간을 획기적으로 줄였습니다.
2. 분리된 설계: 수용 정책은 답변 에이전트와 독립적으로 훈련되므로, 라우터를 재훈련하지 않고도 다양한 QA 백엔드에서 동일한 라우터를 재사용할 수 있습니다.
3. 효율적인 훈련 파이프라인: 전체 모델 미세 조정이나 복잡한 RL 루프 없이 약 12M 개의 학습 가능 매개변수만으로 높은 성능을 달성합니다.
4. 제어된 평가: 검색, 프롬프트, 답변 모델을 일정하게 유지하여 수용 정책의 성능을 격리하는 엄격한 '매칭된 하네스' 비교를 제공합니다.

4. 실험 결과

실험은 Memory-R1, A-Mem, Mem0 과 같은 베이스라인과 MemRouter 를 비교하는 LoCoMo 벤치마크에서 수행되었습니다.

성능 지표 (LoCoMo 테스트 세트)

• 정확도: MemRouter(Qwen2.5-7B) 는 전체 F1 점수 52.0을 달성하여 LLM 기반 Memory-R1 베이스라인 (43.1) 과 기타 최첨단 방법들을 능가했습니다.
  • 단일 홉: 57.5 대 33.6 (Memory-R1).
  • 멀티 홉: 52.4 대 23.6 (Memory-R1).
  • 통계적 유의성: MemRouter(51–53) 와 LLM 관리자 (42–49) 의 95% 신뢰 구간이 겹치지 않아 신뢰할 수 있는 개선이 확인되었습니다.
• 백본 전이: 라우터를 재훈련하지 않고 답변 에이전트를 더 큰 Qwen3.5-35B 모델로 교체했을 때, 전체 F1 은 55.5로 상승하여 라우터의 백본 무관성을 입증했습니다.
• LLaMA 전이: 동결된 LLaMA-3.1-8B 백본에서 라우터 헤드를 재훈련한 결과 F1 49.1 을 기록하여 모델 패밀리 간 일반화 가능성을 확인했습니다.

효율성 지표

• 지연 시간: MemRouter 는 메모리 관리 p50 지연 시간을 970ms 에서 58ms 로 감소시켜 16.7 배 개선을 이루었습니다.
• 처리량: 엔드투엔드 처리량은 10.8 배 향상되었습니다 (2.58 QA/초 대 0.24 QA/초).
• 비용: 대화당 약 1,200 회 생성 호출 필요성을 제거하여 서비스 예산을 크게 절감했습니다.

제거 분석

• 예산 매칭: 무작위 또는 휴리스틱 베이스라인과 동일한 턴 비율 (62%) 저장으로 제한되더라도 MemRouter 는 이를 크게 능가하여 선택 논리의 품질을 입증했습니다.
• 요인 분석: 학습된 수용이 가장 큰 이득 (+10.3 F1, 무작위 저장 대비) 을 기여했으며, 다음으로 카테고리별 프롬프팅 (+5.2) 이 뒤를 이었습니다.

5. 의의

MemRouter 는 쓰기 측 메모리 수용이 자기회귀 생성을 필요로 하지 않는다는 것을 입증합니다. 메모리 관리를 임베딩 공간의 분류 작업으로 간주함으로써 이 논문은 다음과 같은 새로운 패러다임을 장기 대화 에이전트에 정립합니다.

• 확장성: 추론 비용의 선형적 증가 없이 수천 개의 턴을 처리할 수 있습니다.
• 모듈성: 메모리 라우터와 답변 모델을 독립적으로 업그레이드할 수 있습니다.
• 효율성: 현재 LLM 기반 관리자가 너무 느리고 비싸서 불가능했던 실시간, 고처리량 애플리케이션을 위한 장거리 메모리를 실현 가능하게 합니다.

코드는 https://github.com/SongW-SW/MemRouter에서 이용 가능합니다.