From Recall to Forgetting: Benchmarking Long-Term Memory for Personalized Agents

1. 문제 정의 (Problem Definition)

현재 대형 언어 모델 (LLM) 기반의 개인화 에이전트는 장기간 사용자와 상호작용할 때 지속적인 기억 (Persistent Memory) 유지와 상황 변화에 따른 기억 업데이트에 심각한 한계를 겪고 있습니다.

• 기존 벤치마크의 한계: 기존의 장기 기억 평가 벤치마크 (LoCoMo, LongMemEval 등) 는 주로 과거 대화에서 특정 사실 (Fact) 을 검색 (Retrieval) 하는 능력에 초점을 맞추고 있습니다. 이는 기억을 단순한 '저장소'로 간주하여, 시간이 지남에 따라 정보가 어떻게 통합 (Consolidation) 되고 변화 (Mutation/Forgetting) 되는지에 대한 평가가 부족합니다.
• 실제 환경과의 괴리: 실제 인간은 과거 대화를 기억할 뿐만 아니라, 새로운 증거가 나타나면 신념을 수정하고 (Reconcile), 시대에 맞지 않는 오래된 정보를 버립니다 (Discard). 그러나 기존 평가는 정보가 영구적으로 유효하다고 가정하거나, 업데이트 횟수가 매우 제한적이어서 에이전트가 진화하는 사용자 상태를 추적하는 능력을 제대로 측정하지 못합니다.
• 평가 지표의 결함: 기존 평가는 모델이 정답을 포함하는지 여부 (Memory Presence) 만 확인하며, 무효화된 (Obsolete) 정보를 잘못 참조하여 정답을 유도하는 경우를 처벌하지 않습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 Memora라는 새로운 벤치마크와 FAMA라는 새로운 평가 지표를 제안했습니다.

A. Memora 벤치마크 구축

Memora 는 시뮬레이션 기반 파이프라인을 통해 주 (Weekly), 월 (Monthly), 분기 (Quarterly) 단위의 장기 대화 데이터를 생성합니다.

• 데이터 생성: 10 가지 전문직 페르소나 (연구자, 엔지니어 등) 를 기반으로 선호도, 활동, 목표 등 세 가지 기억 유형을 정의합니다.
• 기억 역동성 (Memory Dynamics):
  • 통합 (Consolidation): 여러 세션에 걸친 정보를 통합하여 답변해야 하는 정도.
  • 변화 (Mutation): 기억의 추가, 수정, 삭제가 빈번하게 발생하는 정도. 기존 벤치마크 대비 월등히 높은 통합 및 변화 요구사항을 설정했습니다.
• 세 가지 핵심 태스크:
  1. 기억 (Remembering): 저장된 사실의 직접적인 회상 (예: 할 일 목록).
  2. 추론 (Reasoning): 여러 정보 조각을 통합하여 결론 도출 (예: 예산 초과 여부 계산).
  3. 추천 (Recommending): 사용자의 진화하는 선호도에 기반한 추천 (예: 취향 변화 반영).
• 품질 보증: 자동화된 기억 근거 (Memory-grounding) 검증 루프와 인간 평가를 통해 생성된 대화와 기억 상태의 일관성을 엄격하게 검증합니다.

B. FAMA (Forgetting-Aware Memory Accuracy) 평가 지표

기존의 단순 정확도 평가를 대체하여, 무효화된 기억에 대한 의존성을 처벌하는 새로운 지표입니다.

• 구성:
  • Memory Presence Accuracy (MPA): 유효한 정보가 답변에 포함되었는지 확인.
  • Forgetting Absence Accuracy (FAA): 무효화되거나 삭제된 정보가 답변에 포함되지 않았는지 확인.
• 계산식:
  $$FAMA = \max(0, MPA - \lambda \cdot (1 - FAA))$$
  여기서 $\lambda$는 해당 질문의 '무효화 기준' 수와 '유효 기준' 수의 비율로 가중치를 조정합니다.
• 의미: 모델이 정답을 맞추더라도, 삭제된 정보를 참조했다면 점수가 크게 감점됩니다. 이는 에이전트가 단순히 정보를 검색하는 것을 넘어, 기억의 생명주기를 관리하는 능력을 평가합니다.

3. 주요 기여 (Key Contributions)

1. Memora 벤치마크 도입: 주, 월, 분기 단위의 장기 대화에서 기억 통합과 기억 변화 (Mutation) 요구사항을 극대화한 최초의 벤치마크입니다.
2. FAMA 지표 제안: 오래된 정보를 참조하는 오류를 명시적으로 처벌하는 평가 메트릭을 제안하여, 기존 벤치마크에서 숨겨져 있던 에이전트의 실패 모드를 드러냈습니다.
3. 실증적 평가: 4 개의 최신 LLM 과 6 개의 장기 기억 에이전트 (A-Mem, LangMem, Mem-0 등) 를 평가하여, 현재 기술 수준이 장기 기억 유지에 있어 여전히 취약함을 입증했습니다.

4. 실험 결과 (Results)

4 개의 LLM 과 6 개의 기억 에이전트를 Memora 에서 평가한 주요 결과는 다음과 같습니다.

• 시간적 범위에 따른 성능 저하:
  • 주 (Weekly) 에서 분기 (Quarterly) 로 갈수록 모든 모델의 성능이 급격히 하락했습니다.
  • 특히 추론 (Reasoning) 태스크에서 성능이 매우 낮았으며, 기억 에이전트조차 장기 대화에서 일관된 신념 상태를 유지하는 데 실패했습니다.
• 태스크별 차이:
  • 기억 (Remembering): 명시적인 기억 저장소를 가진 에이전트가 LLM 보다 우세했으나, 장기화될수록 성능이 떨어졌습니다.
  • 추천 (Recommending): LLM 이 기억 에이전트와 경쟁하거나 오히려 더 좋은 성적을 내기도 했습니다. 이는 맥락 내의 단서를 통해 선호도를 추론할 수 있기 때문으로 분석됩니다.
  • 추론 (Reasoning): 모든 시스템에서 가장 취약한 영역이었습니다. 여러 세션에 걸친 정보를 통합하여 논리적 결론을 도출하는 것이 매우 어려웠습니다.
• FAMA 의 효과 (기억 무시 평가의 중요성):
  • 기존 '기억 존재 정확도 (Memory Presence Accuracy)'만으로는 높은 점수를 받았지만, FAMA 를 적용하면 점수가 크게 하락했습니다.
  • 패턴: LLM 은 시간이 길어질수록 맥락 창 한계로 인해 정보가 누락되어 점수가 떨어졌으나, 기억 에이전트는 시간이 길어질수록 삭제된 정보를 계속 참조하는 경향이 있어 점수 하락 폭이 더 컸습니다. 이는 에이전트가 오래된 기억을 효과적으로 '잊지 (Forget)' 못함을 의미합니다.
• 오류 분석:
  • 추천 오류: 64% 가 오래된 선호도를 잊지 못해 발생.
  • 기억 오류: 72% 가 필요한 정보를 부분적으로만 검색하여 발생.
  • 추론 오류: 100% 가 관련 기억 요소의 누락으로 통합 실패.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 장기 기억 연구의 패러다임을 '단순 검색 (Retrieval)'에서 '기억 관리 (Consolidation, Mutation, Forgetting)' 로 전환해야 함을 강조합니다.

• 기술적 시사점: 단순히 컨텍스트 창 (Context Window) 을 늘리는 것만으로는 장기 기억 문제를 해결할 수 없습니다. 에이전트는 적극적인 망각 (Active Forgetting), 정보 통합, 그리고 기억 상태의 일관성 유지를 위한 설계 원칙이 필요합니다.
• 벤치마크의 역할: Memora 는 기존 벤치마크가 놓치고 있던 '기억의 무효화'와 '변화'를 평가함으로써, 개인화 에이전트의 실제 배포 가능성을 진단하는 강력한 도구로 작용합니다.
• 미래 방향: 인간과 같은 자연스러운 상호작용을 위한 에이전트를 개발하려면, 기억을 정적인 데이터가 아닌 진화하는 프로세스로 취급하고, 이를 평가하는 FAMA 같은 지표를 표준화해야 합니다.

요약하자면, 이 연구는 현재의 LLM 기반 에이전트가 오래된 정보를 버리지 못하고, 변화하는 상황을 통합하지 못하는 근본적인 한계를 드러냈으며, 이를 해결하기 위한 새로운 평가 기준과 벤치마크를 제시했습니다.