💬 NLP

AdaMem: Learning What to Remember for Personalized Long-Horizon LLM Agents

이 논문은 사용자 피드백으로부터 역할별 쓰기 정책을 학습하여 무관한 정보를 필터링함으로써 메모리 팽창을 줄이고, 균일한 메모리 베이스라인에 비해 장기 문맥 질의응답(long-horizon QA) 정확도를 크게 향상시키는 적응형 메모리 시스템인 AdaMem을 소개한다.

원저자: Xingyu Chen, Rui Wang, Zhaopeng Tu, Liefeng Bo

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xingyu Chen, Rui Wang, Zhaopeng Tu, Liefeng Bo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 매일 몇 달 동안 대화를 나누는 개인 비서가 있다고 상상해 보세요. 처음에는 당신이 한 말을 아주 잘 기억합니다. 하지만 시간이 흐를수록, 그들은 조금씩 버거워하는 기색을 보입니다. 왜 그럴까요? 바로 모든 것을 기억하려고 하기 때문입니다.

그들은 당신이 가장 좋아하는 커피 주문은 기억하지만, 화요일에 당신이 불평했던 날씨, 스치듯 만난 낯선 사람의 이름, 그리고 모든 "안녕"과 "잘 가"까지도 기억합니다. 그들의 뇌(또는 디지털 메모리)가 이러한 "소음"으로 가득 차면서, 당신이 질문을 했을 때 중요한 정보를 찾아내지 못하게 됩니다. 이것을 **메모리 블로트(memory bloat, 기억 비대화)**라고 부릅니다.

이 논문은 이를 해결하기 위한 AdaMem(Adaptive Memory, 적응형 메모리)이라는 새로운 시스템을 소개합니다. 이 시스템이 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

1. 문제점: "수집광" 비서

현재 대부분의 AI 비서는 디지털 수집가처럼 행동합니다. 그들의 규칙은 "모든 사실을 저장하라"입니다.

결과: 몇 주가 지나면, 그들의 기억 저장소는 쓸데없는 잡다한 정보들로 붐비게 됩니다. 당신이 "내 휴가 일정에 대해 어떻게 결정했었지?"라고 물으면, AI는 날씨나 가벼운 농담 같은 수천 개의 무관한 메시지 속을 뒤져야 합니다. 중요한 답변은 파묻히고, AI는 오답을 내놓게 됩니다.

2. 해결책: "스마트 에디터" (AdaMem)

AdaMem은 규칙을 바꿉니다. 모든 것을 저장하는 대신, 다음과 같이 자문합니다: "이 특정 사용자에게 정말로 중요한 것은 무엇인가?"

AdaMem을 당신의 개인적인 취향을 배우는 스마트 에디터라고 생각해보세요.

당신이 바쁜 관리자라면: 에디터는 사소한 잡담은 버리고 회의 마감일과 비즈니스 결정만을 남기도록 학습합니다.
당신이 운동 애호가라면: 에디터는 교통 체증에 대한 당신의 불평은 무시하고, 운동 일정과 식단 목표를 남기도록 학습합니다.

이 시스템은 한 번 추측하고 잊어버리는 것이 아닙니다. 자신의 답변에 대한 당신의 반응을 관찰함으로써 무엇을 남길지 학습합니다.

3. 학습 방법: 주간 "패치(Patch)"

이 시스템은 마치 선생님이 숙제를 채점하고 나서 수업 계획을 업데이트하는 것처럼 주간 단위의 사이클로 작동합니다.

한 주 동안: AI는 매일 당신과 대화하며, 현재의 "규칙"(이를 메모리 정책이라 부름)에 따라 기억을 저장합니다.
테스트: 한 주가 끝나면, AI는 무슨 일이 있었는지에 대한 질문에 답합니다.
실수: 만약 AI가 틀린 답을 냈다면, 단순히 "앗" 하고 넘어가는 것이 아니라, 왜 실패했는지 분석합니다.
- 중요한 것을 잊어버렸는가? (규칙이 너무 엄격했음)
- 쓸데없는 세부 사항 때문에 혼란을 겪었는가? (규칙이 너무 느슨했음)
패치: AI는 자신의 규칙에 적용할 작은 "소프트웨어 패치"(작은 업데이트)를 작성합니다. "다음 주에는 일정만 기억하고 날씨는 잊겠다"라고 말하는 식입니다.
안전장치: 새로운 규칙을 적용하기 전에, AI는 다음을 확인합니다: "이 새로운 규칙이 이전에 맞혔던 것들을 망가뜨리지는 않을까?" 만약 새로운 규칙이 상황을 더 악화시킨다면, 이전 규칙으로 되돌립니다(roll back). 이는 AI가 잘못된 아이디어로 인해 통제 불능 상태가 되는 것을 방지합니다.

4. 결과: 적은 복잡함, 더 나은 답변

연구진은 AI가 다양한 "캐릭터"들과 10주 동안 대화하는 시뮬레이션 환경에서 이를 테스트했습니다.

기존 방식 (균일한 메모리): AI가 모든 것을 기억했습니다. 10주 차에 접어들자, 소음에 휩쓸려 정확도가 떨어졌습니다.
AdaMem 방식: AI는 더 적은 양을 기억했지만(데이터의 약 9% 적게 저장), 올바른 것들을 기억했습니다.
결과: AI는 기존 방식보다 9% 더 많은 질문에 정답을 맞혔습니다. 이는 마치 지저缠한 옷장을 정리하는 것과 같습니다. 낡은 양말은 버리고 실제로 입는 셔츠만 남겨둠으로써, 당신이 좋아하는 셔츠를 훨씬 더 빨리 찾을 수 있게 된 것입니다.

5. 주의점: 명확한 피드백이 필요함

논문은 한 가지 흥미로운 한계점을 발견했습니다.

명시적 피드백: 만약 당신이 AI에게 "틀렸어! 나는 일정을 중요하게 생각한다고 말했잖아"라고 말한다면, AI는 매우 빠르게 학습하여 규칙을 완벽하게 맞춥니다.
암묵적 피드백: 만약 당신이 이유를 설명하지 않고 그냥 "그 답은 틀렸어"라고만 말한다면, AI는 당신이 실제로 무엇을 중요하게 여기는지 파악하는 데 어려움을 겪습니다. 이는 마치 자신이 어떤 규칙을 어겼는지 모른 채 시험을 틀렸다는 사실만 아는 학생과 같습니다.

요약

AdaMem은 AI 에이전트가 모든 것을 기억하려고 애쓰는 것을 막아주는 시스템입니다. 대신, 이 시스템은 무엇이 가치 있는 정보이고 무엇이 소음인지 매주 학습하며 당신에게 최적화되는 개인화된 필터 역할을 합니다. 기억을 작고 집중되게 유지함으로써, 장기간에 걸쳐 AI가 정확하고 유용하게 유지되도록 돕습니다.

기술 요약: AdaMem

문제 정의

대규모 언어 모델(LLM) 에이전트의 장기적 상호작용은 포괄적인 개인화에 대한 욕구와 프로덕션 환경의 제약 사이에서 발생하는 결정적인 충돌에 직면해 있습니다. 기존의 메모리 시스템(예: Mem0, MemoryBank)은 일반적으로 컨텍스트 유지를 극대화하기 위해 대화로부터 사실적 진술을 일률적으로 추출하는 "모든 것을 기억하라"는 패러다임 하에 작동합니다. 그러나 실제 배포 환경에서 이러한 접근 방식은 유한한 컨텍스트 예산 및 추론 비용이라는 엄격한 제약과 충돌합니다.

상호작용이 주 단위 또는 월 단위로 길어짐에 따라, 일률적인 추출은 **메모리 비대화(memory bloat)**를 초래합니다. 메모리 뱅크는 무의한 잡담(예: 가벼운 인사, 사소한 일정 세부 사항)을 축적하여 검색 시 고가치 정보가 밀려나게 만듭니다. 이러한 저하는 시간이 지남에 따라 질의응답(QA) 정확도를 지속적으로 떨어뜨립니다. 식별된 핵심 문제는 에이전트에게 쓰기 제어(write control) 능력이 결여되어 있다는 점입니다. 즉, 에이전트는 사용자의 역할이나 선호도와 상관없이 모든 사실을 동일하게 중요하게 취급함으로써, 특정 사용자가 관심을 갖는 정보와 노이즈를 구분하지 못합니다.

방법론: AdaMem

저자들은 **AdaMem (Adaptive Memory)**을 제안합니다. 이는 메모리 관리를 정적인 통합(static consolidation)에서 능동적이고 선호도에 기반한 쓰기 제어 프로세스로 전환하는 프레임워크입니다. AdaMem은 "무엇을 기억할 가치가 있는가"는 주관적이며 역할에 따라 달라진다(예: 매니저의 에이전트는 비즈니스 결정을 추적해야 하는 반면, 피트니스 버디의 에이전트는 운동 일정을 추적해야 함)는 통찰력을 바탕으로 작동합니다.

핵심 구성 요소

구조화된 메모리 정책 ( $P$ ):
일반적인 추출 규칙 대신, AdaMem은 캐릭터( $C_i$ )를 자연어 추출 선호도( $T_i$ )에 매핑하는 JSON 기반 정책을 유지합니다. 예를 들어, 정책은 "최종 비즈니스 결정과 마감 기한만 추출하고, 일상적인 잡담은 무시하라"고 지시할 수 있습니다.
폐쇄 루프 주간 사이클 (Closed-Loop Weekly Cycle):
시스템은 주간 단위로 다음 4단계 사이클을 실행합니다:
- 일일 추출 (Daily Extraction): 메모리는 현재 활성화된 정책에 따라 저장됩니다. 모호함을 방기하기 위해 상대적 시간 참조(예: "내일")는 시간 앵커링(Time Anchoring) 단계를 통해 절대 날짜로 변환됩니다.
- 주간 평가 (Weekly Evaluation): 축적된 메모리를 기반으로 QA 작업을 통해 에이전트를 테스트합니다.
- 정책 성찰 (Policy Reflection): 시스템은 잘못된 답변( $W_t$ $W_{t}$ )을 다음 두 가지 중 하나로 진단합니다:
  - 회상 실패 (Recall Failure): 정책이 너무 제한적이어서(관련 정보를 놓침) 발생.
  - 정밀도 실패 (Precision Failure): 정책이 너무 허용적이라서(노이즈를 검색함) 발생.
    이를 바탕으로, 에이전트는 추출 규칙을 업데이트하기 위한 **정책 패치( $\Delta P_t$ )**를 생성합니다.
- 실패 롤백 (Failure Rollback): 안정성을 보장하기 위해, 업데이트된 정책은 과거의 QA 쌍을 통해 검증됩니다. 만약 성능이 저하되면 업데이트는 거부되고 정책은 이전 버전으로 되돌아갑니다.
렌더링 (Rendering):
활성 정책은 추출기 프롬프트에 맞춤형 지침으로 컴파일되어, LLM이 각 페르소나를 위해 어떤 특정 정보를 보유할지 안내합니다.

주요 기여

메모리를 쓰기 제어로 재정의: 본 논문은 장기적 메모리를 위한 산업적 배포 문제를 단순한 검색 문제가 아닌 쓰기 제어 문제로 재정의합니다. 에이전트는 대화를 통째로 통합하는 대신, 사용자 선호도에 따라 무엇을 메모리에 쓸지 능동적으로 관리해야 한다고 주장합니다.
AdaMem 프레임워크: 피드백으로부터 역할별 메모리 정책을 학습하는 경량화된 패치 스타일의 자기 성찰 메커니즘입니다. 이는 모델 재학습 없이 기존 RAG 스택에 통합될 수 있습니다.
AdaMem-Bench: 주 단위 QA를 포함하여 수 주간의 상호작용을 시뮬레이션하는 새로운 벤치마크입니다. 이 벤치마크는 다음을 특징으로 합니다:
- 서로 다른 정보 선호도를 가진 멀티 페르소나 추적.
- 그라운드 트루스(ground-truth) 평가를 위한 골든 메모리(golden-memory) 주석.
- 간섭 처리를 테스트하기 위한 높은 의미적 중첩을 가진 시나리오.

결과

두 가지 추출 모델(DeepSeek-V4-Flash, Gemini-3.5-Flash)과 두 가지 피드백 모드(명시적 및 암시적)에 대해 평가한 결과, AdaMem은 균일한 Mem0 베이스라인에 비해 유의미한 개선을 보여주었습니다:

QA 정확도: AdaMem은 정확도를 최대 +9.0% 향상시켰습니다 (DeepSeek 기준 명시적 피드백 사용 시 76.2% 대비 85.2%).
메모리 효율성: 더 높은 정확도를 유지하면서도 메모리 볼륨을 9% 감소시켰습니다 (예: 430개 대비 371개 메모리). 그 결과 더 우수한 메모리 효율성 비율(MER)을 달s했습니다.
카테고리별 이득: 개선은 주로 "소프트 선호도(soft preference)" 카테고리에 집중되었습니다:
- 감정/태도: +15.9%
- 일정/시간: +9.9%
- 결정/결론: +9.0%
- (사실/숫자 카테고리는 표준 추출기에 의해 쉽게 캡처되므로 개선이 미미했습니다).
검색 역학: 10주간의 기간 동안 AdaMem은 안정적인 Recall@5 및 평균 역순위(MRR)를 유지한 반면, 균일한 베이스라인은 클러터(clutter)로 인해 검색 성능 저하를 겪었습니다.

병목 현상 분석:
연구 결과, 정책 준수(policy adherence)보다는 정책 추론(policy inference)(피드백으로부터 선호도를 학습하는 과정)이 주요 병목 현상인 것으로 나타났습니다.

명시적 피드백 (Explicit Feedback): 에이전트는 그라운드 트루스 선호도에 성공적으로 수렴했습니다 (88.3% 일치).
암시적 피드백 (Implicit Feedback): 에이전트는 정답 여부 신호만으로 선호도를 역설계하는 데 어려움을 겪었으며, 정책 일치도가 53.3%에서 63.3% 사이에서 정체되었습니다.

의의 및 주장

본 논문은 AdaMem이 컨텍스트 예산과 개인화 사이의 트레이드오프를 해결함으로써 직접적인 산업적 가치를 제공한다고 주장합니다. 메모리를 압축적이고 사용자 친화적으로 유지함으로써, 검색 및 추론 오버헤드를 낮추는 동시에 정확도를 높입니다. "패치 스타일"의 성찰은 기초 LLM을 재학습시키지 않고도 메모리 정책을 지속적으로 개선할 수 있게 합니다.

저자들은 현대 LLM이 구조화된 지침을 안정적으로 따르지만(정책 준수), 약한(암시적) 피드백으로부터 복잡한 사용자 선호도를 추론하는 능력은 여전히 중요한 개척 분야라고 결론짓습니다. 이 연구는 장기적 상호작용을 수행하는 에이전트의 향후 발전이 이러한 정책 추론 과제를 해결하는 데 달려 있음을 시사합니다.

인정된 한계점:
저자들은 평가가 합성 데이터에 의존하고 있어 실제 세계의 언어적 다양성을 완전히 포착하지 못할 수 있다고 언급했습니다. 또한, 평가 규모는 API 비용(5개 스토리, 10주)에 의해 제한되며, LLM-as-a-judge 방식의 사용은 잠재적 편향을 도입할 수 있습니다. 마지막으로, 암시적 피드백 상황에서 패치 메커니즘은 단일 실패에 과적합(over-fitting)될 위험이 있으나, 롤백 메커니즘이 이를 완화합니다.