🤖 AI

QUMem: Personalized Memory for Query-Conditioned User-State Inference in LLM Agents

QUMem은 상호작용 이력을 의미론적 에피소드로 분할하고, 이를 독립적으로 검색 가능한 메모리 유형으로 분해하며, 다중 에이전트 검색 프로세스를 채택하여 시간적 및 맥락적으로 유효한 사용자 상태를 추론함으로써 개인화 벤치마크에서 최첨단 성능을 달면 LLM 에이전트의 개인화를 향상시키는 구조화된 메모리 프레임워크이다.

원저자: Heng Wang, Yifei Li, Lingling Zhang, Pengyu Li, Xinyu Che, Xinyu Zhang, Zesheng Yang

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Heng Wang, Yifei Li, Lingling Zhang, Pengyu Li, Xinyu Che, Xinyu Zhang, Zesheng Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 진화하는 세상에서, 단순히 질문에 답하는 것을 넘어 과거의 대화를 기억하고 시간에 따라 행동을 조정하며 지속적인 비서 역할을 수행할 수 있는 새로운 세대의 컴퓨터 프로그램이 등장했습니다. '에이전트'라고 불리는 이 시스템들은 효과적으로 기능하기 위해 일종의 디지털 메모리에 의존합니다. 인간 비서가 고객이 가장 좋아하는 커피 주문을 기억하거나 지난주에 프로젝트 마감일이 변경된 것을 기억하는 것처럼, 이 에이전트들도 긴 상호작용의 역사로부터 정보를 저장하고 검색해야 합니다. 그러나 인간의 기억은 모든 대화를 하나의 변경 불가능한 블록으로 저장하는 단순한 파일 캐비닛이 아닙니다. 대신, 우리는 자연스럽게 사실과 감정을 구분하고, 일시적인 기분과 지속적인 선호도를 구별하며, 시간이 흐름에 따라 대화의 맥락이 변한다는 것을 이해합니다. 인공지능이 진정으로 한 사람을 이해하기 위해서는 이와 똑같이 할 수 있어야 합니다. 즉, 수년간의 대화를 걸러내어 관련 세부 사항과 노이즈를 분리하고, 현재 사용자가 누구인지에 대한 명확한 그림을 재구성할 수 있어야 합니다.

오랫동안 연구자들은 이러한 디지털 대화를 더 잘 저장하고 검색하는 방법을 구축함으로써 이 문제를 해결하려고 노력해 왔습니다. 지배적인 접근 방식은 사용자의 쿼리를 검색어로 삼아 가장 유사한 텍스트 조각들을 불러오는 도서관처럼 메모리를 취급하는 것이었습니다. 이 방식은 단순한 질문에는 효과적이지만, 상황이 복잡해지면 어려움을 겪습니다. 만약 사용자가 몇 주에 걸쳐 특정 주제에 대한 생각을 바꾼다면, 혹은 단일 대화 안에 일시적인 불평과 사용자가 따르기를 원하는 영구적인 규칙이 공존한다면, 표준 시스템은 종종 혼란을 겪습니다. 그들은 서로 관련 없는 사건들을 섞어버리거나, 과거의 결정이 현재의 요청과 어떻게 연결되는지 파악하지 못할 수도 있습니다. 그 결과, 단어는 기억하지만 의미는 놓치며, 일시적인 선호도와 핵심 가치를 구분하지 못하는 비서를 만들게 됩니다.

시안 교통 대학교(Xi'an Jiaotong University)의 연구팀은 이 과제를 해결하기 위한 새로운 방법인 QUMem이라는 시스템을 도입하며 새로운 방식을 제안했습니다. 단순히 유사한 텍스트를 찾는 대신, 이 시스템은 대화의 구조와 그 안에서 정보가 갖는 구체적인 역할을 이해하도록 설계되었습니다. 연구진은 진정으로 개인화된 비서를 구축하려면, 컴퓨터가 먼저 대화의 자연스러운 흐름에 기반하여 원시 상호작용의 역사를 의미 있는 이야기, 즉 '에피소드'로 조직화해야 한다고 주장합니다. 그런 다음 이 이야기를 세 가지 뚜렷한 유형의 정보, 즉 일어난 일에 대한 구체적인 사실, 사용자가 진술한 특정 선호도나 규칙, 그리고 새로운 상황에 적용할 수 있는 더 넓은 통찰력이나 원칙으로 나눕니다. 이러한 요소들을 분리함으로써, 시스템은 사건의 전체 맥락을 유지하면서도 현재의 순간에 필요한 특정 세부 사항만을 골라낼 수 있습니다.

핵심적인 혁신은 시스템이 새로운 요청을 처리하는 방식에 있습니다. QUMem은 컴퓨터에게 무엇을 찾아야 할지 추측하게 하는 대신, 3단계 추론 과정을 사용합니다. 첫째, 에이전트는 사용자의 현재 질문을 분석하여 이를 적절히 답변하기 위해 정확히 어떤 정보가 필요한지 결정합니다. 시스템은 이 작업이 특정 사실을 요구하는지, 과거의 선호도를 요구하는지, 아니면 일반적인 규칙을 요구하는지 스스로에게 묻습니다. 다음으로, 두 번째 에이전트는 검색을 계획하며, 시스템이 전체 역사를 한꺼번에 검색하는 대신 해당 유형의 정보가 저장된 특정 '선반'을 보도록 지시합니다. 마지막으로, 세 번째 에이전트는 검색된 증거 조각들을 가져와 사용자의 현재 상태에 대한 일관된 그림으로 엮어냅니다. 이 최종적인 그림은 단순히 오래된 기억들의 목록이 아닙니다. 그것은 선호도가 어떻게 진화했는지와 어떤 규칙이 여전히 적용되는지를 고려하여, 이 특정 순간에 사용자가 누구인지에 대한 합성된 이해입니다.

이 접근 방식을 테스트하기 위해, 연구진은 AI가 사용자를 얼마나 잘 기억하고 적응하는지를 측정하도록 설계된 두 가지 서로 다른 벤치마크를 사용하여 기존의 여러 방법과 이 시스템을 비교했습니다. 한 테스트에서 시스템은 긴 대화 속에서 변화하는 사용자의 선호도에 관한 질문에 답해야 했습니다. 새로운 방식은 다른 방식들을 크게 앞질렀으며, PersonaMem 벤치마크에서 최첨단 성능을 달축했습니다. GPT-4o-mini 모델을 사용했을 때 QUMem은 전체 정확도를 61.02%로 향상시켰고, Gemini-3.5-flash를 사용했을 때는 70.58%에 도달했는데, 이는 차순위 시스템들이 각각 약 53%와 63%를 기록한 것과 대조적입니다. 이러한 개선은 비서가 선호도가 시간에 따라 어떻게 변했는지 추적하거나 과거의 교훈을 완전히 새로운 시나리오에 적용해야 하는 과업을 수행할 때 더욱 두드러졌습니다. 사용자의 습관에 기반하여 작업을 수행해야 하는 모바일 비서가 포함된 두 번째 테스트에서도, 이 시스템은 다시 한번 가장 높은 성공률을 기록하며, 이러한 구조화된 사고 방식이 컴퓨터가 단순히 더 나은 답변을 주는 것을 넘어 더 나은 행동을 취하도록 돕는다는 것을 증명했습니다.

연구진은 또한 시스템이 구축된 방식이 더 효율적이라는 점을 발견했습니다. 기존 방식은 메시지가 도착할 때마다 중요 여부와 상관없이 무거운 계산 과정을 실행하는 경우가 많습니다. 반면 새로운 시스템은 대화가 자연스럽게 하나의 주제를 마무리할 때까지 기다린 다음, 정보를 분류하기 위해 고정된 적은 수의 단계를 사용합니다. 이는 메모리를 구축하는 데 훨씬 적은 컴퓨팅 파워를 사용하게 하여, 시스템이 속도가 느려지지 않고 긴 역사를 처리할 수 있게 해줍니다. 이 연구는 장기적인 개인화를 위한 핵심이 단순히 더 많은 데이터를 저장하는 것이 아니라, 사실, 선호도, 그리고 교훈 사이의 차이를 존중하는 방식으로 데이터를 조직하는 데 있다는 점을 시사합니다. 사용자의 이력을 평면적인 단어의 목록이 아닌, 구조화되고 진화하는 이야기의 집합으로 다룸으로써, 시스템은 자신이 서비스하는 사람에 대해 훨씬 더 명확하고 정확한 이해를 추론할 수 있습니다.

기술 요약: QUMem

문제 정의

대규모 언어 모델(LLM) 에이전트는 장기적인 개인화를 지원하기 위해 외부 메모리 시스템에 점점 더 의존하고 있습니다. 그러나 기존의 메모리 프레임워크는 효과적인 사용자 상태 추론을 방해하는 세 가지 결정적인 한계에 직면해 있습니다:

경직된 경계 (Rigid Boundaries): 고정된 턴, 고정된 토큰 또는 세션 기반의 경계는 서로 무관한 대화를 혼합하거나, 하나의 사건에서 원인, 결정, 결과를 분절시킵니다. 이는 후속 검색에 필요한 이벤트 수준의 문맥(event-level context)을 저해합니다.
결합된 정보 (Coupled Information): 단일 상호작용에서 추출된 여러 정보를 단일 메모리 단위로 저장하면 서로 다른 의미적 기능(예: 일반적인 선호도와 특정 맥락적 제약 조건)이 결합됩니다. 이는 시스템이 특정 쿼리에 유효한 구성 요소만을 선택적으로 검색하는 것을 방지합니다.
부적절한 쿼리 정식화 (Inadequate Query Formulation): 현재의 과업을 단일 top- $k$ 유사도 검색 쿼리로 취급하는 방식은 개별적으로는 관련이 있을지라도, 선호도의 진화, 시간적 유효성 및 맥락적 적용 가능성을 공동으로 포착하는 데 실패하는 파편들을 결과로 내놓습니다.

핵심 과제는 단순히 관련 메모리를 검색하는 것이 아니라, **태스크 관련 사용자 상태(task-relevant user state)**를 추론하는 것입니다. 즉, 역사적 근거에 의해 뒷받침되며, 현재 쿼리에 관련 있고, 현재 맥락에 적용 가능한 구조화된 사용자 정보 표현을 도출하는 것입니다.

방법론: QUMem

QUMem은 쿼리 조건부 사용자 상태 추론을 위해 설계된 구조화된 메모리 프레임워크입니다. 이는 세 가지 순차적 모듈을 통해 작동합니다:

1. 동적 에피소드 구축 (Dynamic Episode Construction)

이벤트 수준의 문맥을 보존하기 위해, QUMem은 고정된 경계 대신 **의미적 연속성(semantic continuity)**을 채택합니다.

메커니즘: 경량화된 미세 조정 분류기( $f_\theta$ )가 인접한 사용자 발화들을 분석하여 이들이 동일한 이벤트 또는 태스크에 속하는지 판단합니다.
프로세스: 시스템은 열린 후보 에피소드를 유지합니다. 분류기가 연속성( $c_t=1$ )을 판단하면 해당 발화를 추가합니다. 만약 연속성이 끊기면( $c_t=0$ ), 현재 에피소드를 확정(finalize)하고 새로운 에피소드를 시작합니다.
이점: 이를 통해 동일한 이벤트의 원인, 결정, 피드백, 결과가 함께 유지되도록 보장하며, 메모리 저장 전 이벤트 문맥이 단절되는 것을 방지합니다.

2. 유형별 메모리 분해 (Typed Memory Decomposition)

에피소드가 형성되면, 세 가지 뚜렷한 기능적 역할에 따라 **독립적으로 검색 가능한 원자적 메모리(atomic memories)**로 분해됩니다:

사실적 메모리 (Factual Memories, $F$ ): 추론된 성향이 배제된 구체적인 사용자의 경험, 행동, 활동 또는 상태입니다.
선호 메모리 (Preference Memories, $P$ ): 특정 대상이나 맥락과 관련된 사용자의 선택, 성향, 요구사항 및 제약 조건을 포함하며, 그 근거(rationale)를 함께 담습니다. 이러한 정보는 무기한 유효하다고 가정되지 않으며, 시간적 위치가 추적됩니다.
전이 가능한 통찰 메모리 (Transferable Insight Memories, $I$ ): 구체적인 선택과 피드백으로부터 도출된 추상화된 결정 원칙으로, 새로운 대상이나 맥락에도 적용 가능합니다.
저장: 각 메모리는 내용( $v$ ), 유형( $d$ ), 시간적 위치( $p$ ), 그리고 출처 근거( $E$ )를 유지합니다. 이를 통해 세밀한 검색과 출처 추적이 가능합니다.

3. 쿼리 조건부 사용자 상태 추론 (Query-Conditioned User-State Inference)

단일 검색 작업 대신, QUMem은 세 개의 순차적인 에이전트를 사용하여 태스크 목적을 구조화된 사용자 상태( $Z_q$ )로 변환합니다:

정보 필요 에이전트 ( $A_1$ ): 현재 쿼리를 위해 어떤 역사적 정보가 검증되어야 하는지 식별하고, 구체적인 검색 쿼리를 규정하지 않은 채 그 관련성을 설명합니다.
검색 계획 에이전트 ( $A_2$ ): 정보 필요 사항을 자립적인 쿼리로 재작성하고, 각 쿼리에 적합한 메모리 저장소(사실, 선호 또는 통찰)를 선택합니다. 이는 검색 계획 $P_q$ 를 생성합니다.
사용자 상태 추론 에이전트 ( $A_3$ ): 후보 메모리를 검색하고, 태스크 관련 근거를 선택하여 다음과 같은 구조화된 사용자 상태 $Z_q = (F_q, T_q, I_q)$ $Z_{q} = (F_{q}, T_{q}, I_{q})$ 로 조직합니다:
- $F_q$ : 연대순으로 정리된 사실들.
- $T_q$ : 선호도의 진화 및 맥락 적용 가능한 제약 조건.
- $I_q$ : 현재 태스크에 적용되는 추상화된 결정 원칙.

이 구조화된 상태는 이후 다운스트림 응답 모델( $\Psi$ )에 입력되어 개인화된 출력을 생성합니다.

주요 기여

구조화된 메모리 프레임워크: QUMem은 상호작용 이력을 의미적 에피소드로 구성하고, 이를 상호 보완적이며 독립적으로 검색 가능한 사실, 선호, 통찰 메모리로 분해합니다. 이는 이벤트 문맥을 보존하는 동시에 세밀한 재사용을 가능하게 합니다.
3-에이전트 추론 메커니즘: 정보 필요성 식별, 유형화된 저장소에 대한 검색 계획, 근거 기반 상태 추론을 분리하는 쿼리 조건부 파이프라인을 도입했습니다. 이를 통해 분산되고 시간적으로 떨어진 근거들의 공동 해석을 가능하게 합니다.
실증적 검증: 본 프레임워크는 PersonaMem 및 KnowU-Bench에서 평가되었으며, 장기 개인화 태스크에서 최첨단(SOTA) 성능을 입증했습니다.

실험 결과

본 논문은 QUMem을 A-MEM, Mem0, Zep의 세 가지 베이스라인과 비교 평가합니다.

PersonaMem 벤치마크: QUMem은 GPT-4o-mini와 Gemini-3.5-flash 베이스 모델 모두를 사용하여 모든 컨텍스트 길이(32K, 128K, 1M 토큰)와 쿼리 카테고리에서 최고의 성능을 달 기록했습니다.
- GPT-4o-mini의 경우, QUMem은 전체 정확도를 최상위 베이스라인인 52.99%에서 **61.02%**로 향상시켰습니다.
- Gemini-3.5-flash의 경우, 가장 강력한 베이스라인인 63.29%에서 **70.58%**로 향상시켰습니다.
- 성능 향상은 전체적인 선호 진화 추적, 선호도 일치 추천, 그리고 교차 맥락 전이가 필요한 태스크에서 가장 두드러졌습니다.
KnowU-Bench: QUMem은 평가된 방법들 중 가장 높은 성공률(전체 17.4%)과 평균 점수(0.53)를 달성하였으며, 가장 강력한 베이스라인보다 성공률을 4.6 퍼센트 포인트 높였습니다. 이는 역사적 선호도를 구체적인 행동으로 전환하는 데 있어 본 방법론의 효과를 나타냅니다.
효율성: Q-Mem은 메모리 구축 측면에서 우수한 효율성을 보였습니다. 매 100 턴당 호출되는 LLM 호출 횟수가 가장 적었으며(81.4회), 매 턴마다 구축을 트리거하거나 복잡한 검증 루프를 사용하는 베이스라인들에 비해 가장 낮은 토큰 비용(1,221.2)을 기록했습니다.
절제 연구 (Ablation Studies): 세 가지 핵심 구성 요소(에피소드 구축, 메모리 분해, 또는 상태 재구성) 중 하나라도 제거하면 성능이 일관되게 저하되었으며, 이는 이들의 상호 보완적인 역할을 확인시켜 줍니다. 또한 연구를 통해 최적의 검색 깊이( $k=5$ )를 식별했습니다.

의의 및 주장

본 논문은 QUMem이 고립된 사실을 검색하는 것과 일관된 사용자 상태를 추론하는 것 사이의 근본적인 단절 문제를 해결한다고 주장합니다. 정보 필요성의 식별, 유형화된 저장소에 대한 검색 계획, 그리고 근거의 공동 해석을 명시적으로 분리함으로써, QUMem은 에이전트가 진화하는 선호도와 맥락 의존적 제약 조건을 더 효과적으로 다룰 수 있게 합니다.

저자들은 본 프레임워크의 가치가 다음의 세 가지에 있다고 강조합니다:

구축 단계에서의 이벤트 수준 문맥 보존.
역사적 근거의 기능적 역할(사실 vs 선호 vs 통찰) 구분.
단순한 유사도 매칭이 아닌 태스크 중심의 사용자 상태 추론 수행.

결과는 구조화되고 쿼리 조건부인 추론이, 특히 상호작용 이력이 길어지고 복잡해짐에 따라 견고한 장기 개인화를 향한 중요한 단계임을 시사합니다. 다만, 저자들은 QUMem이 선호도 추론을 개선함에도 불구하고, "새로운 아이디어 제안" 태스크와 같이 참신하면서도 완벽하게 선호에 부합하는 응답을 동시에 생성하는 것은 여전히 도전 과제로 남아있다고 겸허히 언급하였습니다.