💬 NLP

Learning What to Share and What to Personalize: Hierarchical Strategy Co-Evolution for Agent Memory

이 논문은 전역적으로 공유되는 메모리 전략과 사용자별 적응형 규칙을 함께 진화시켜, 개인화된 상호작용을 위해 에이전트가 어떤 정보를 유지하거나 폐기할지를 동적으로 최적화하는 계층적 프레임워크인 HiPS를 제안한다.

원저자: Yupeng Han, Shuochen Liu, Kai Zhang, Ze Liu, Zhihong Pan, Xianquan Wang

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

원저자: Yupeng Han, Shuochen Liu, Kai Zhang, Ze Liu, Zhihong Pan, Xianquan Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 발전하는 세상에서, 연구자들은 컴퓨터 프로그램이 긴 대화를 나누고 대화 상대방에 대한 세부 사항을 기억할 수 있는 개인 비서 역할을 수행하도록 가르치고 있습니다. 이러한 디지털 에이전트가 진정으로 도움이 되기 위해서는 단순히 현재 나누는 말을 처리하는 것을 넘어, 사용자의 과거 선호도, 감정 상태, 그리고 삶의 사건들을 기억하는 지속적인 프로필을 구축해야 합니다. 그러나 인간의 대화는 수천 번의 차례로 이어질 수 있으며, 이는 어떤 컴퓨터도 한 번에 즉각적인 메모리에 담을 수 없는 방대한 양의 정보를 생성합니다. 과제는 무엇을 남기고 무엇을 잊을 것인지 결정하는 데 있습니다. 만약 에이전트가 너무 적게 기억하면 망각이 심하고 일반적인 수준에 머물게 되며, 너무 많이 기억하면 무관한 세부 사항에 압도되어 중요한 것에 집중하는 능력을 잃게 됩니다. 목표는 에이전트가 대화가 아무리 길게 이어지더라도 일관성과 배려를 가지고 응답할 수 있도록, 한 사람의 역사를 압축적이고 유용한 요약본으로 큐레이션하는 방법을 찾는 것입니다.

오랫동안 이 문제에 대한 표준적인 접근 방식은 모든 사람에게 동일한 단일하고 경직된 규칙 세트를 적용하는 것이었습니다. 마치 사서가 일반 독자든 연구 학자든 상관없이 모든 이용자에게 똑같은 분류 체계를 사용하는 것과 같습니다. 이 "원사이즈-핏-올(one-size-fits-all)" 방식은 흔한 상황에서는 잘 작동하지만, 사용자가 독특한 요구 사항을 갖거나 시간이 흐름에 따라 행동이 변할 때는 실패합니다. 이러한 시스템을 더 똑똑하게 만들기 위한 최근의 시도들은 경험으로부터 배우도록 가르치는 것을 포함했지만, 심지어 이러한 고급 방법들조차 학습이 시작되기 전에 고정된 전략을 설정하거나 모든 사용자를 완전히 동일하게 취급하는 경우가 많았습니다. 그 결과는 종종 평균적인 사용자에게는 만족스럽지만, 대화를 개인적인 느낌이 들게 만드는 미묘한 뉘앙스를 놓쳐 다소 어색하게 느껴지는 응답을 남기는 타협점이 되곤 했습니다.

중국과학기술대학교의 한 연구팀은 이를 해결하기 위한 새로운 방법인 HiPS 프레임워크를 제안했습니다. 모든 사용자를 하나의 틀에 강제로 맞추는 대신, 이들의 시스템은 메모리 관리 작업을 두 부분으로 나눕니다. 즉, 모두에게 적용되는 공유된 기초와 개인에게 특화되어 적응하는 유연한 계층으로 분리하는 것입니다. 이것은 마치 모든 사람이 말하는 보편적인 문법과 당신만이 사용하는 개인적인 방언이 결합된 것과 같습니다. 공유된 부분은 상충하는 사실을 처리하거나 긴 이야기를 요약하는 방법과 같이 정보를 효과적으로 조직하는 방법에 대한 일반적인 원칙을 학습합니다. 그러나 개인적인 부분은 대중과 다르게 행동하는 사용자들을 관찰합니다. 만약 어떤 사용자가 일반적인 규칙이 잘 포착하지 못하는 특정한 상호작용 방식을 가지고 있다면, 시스템은 오직 그 사람만을 위한 맞춤형 지침을 생성합니다.

이 접근 방식이 차별화되는 점은 이러한 규칙들이 정적인 상태가 아니라 에이전트의 성능과 함께 진화한다는 것입니다. 시스템은 에이전트가 자신의 직무를 얼마나 잘 수행하는지 관찰함으로써 자신의 전략을 끊임없이 테스트합니다. 만약 어떤 규칙이 에이전트가 더 나은 답변을 제공하는 데 도움이 된다면, 그 규칙은 더 강력해지고 사용될 가능성이 높아집니다. 만약 어떤 규칙이 혼란이나 오류를 야기한다면, 그 규칙은 약화되거나 폐기됩니다. 이는 공유된 규칙과 개인적인 규칙이 서로 영향을 주고받는 개선의 순환을 만듭니다. 때때로 한 사용자를 위한 개인적인 특이점으로 시작된 규칙이 매우 유용하다고 판단되면, 시스템은 이를 모든 사람이 사용할 수 있는 공유 기초로 승격시킵니다. 반대로, 일반적인 규칙이 특정 유형의 사용자에게 해로운 것으로 드러나면, 시스템은 그 사람을 위한 맞춤형 대안으로 이를 교체합니다. 이러한 역동적인 조정을 통해 메모리 시스템은 효율적이면서도 깊이 있게 개인화된 상태를 유지합니다.

연구진은 다양한 유형의 사용자와 함께하는 길고 복잡한 대화를 시뮬레이션하는 여러 도전적인 벤치마크를 사용하여 이 방법을 기존 시스템들과 비교 테스트했습니다. 이 테스트에서 새로운 프레임워크는 특히 매우 긴 기록이나 소음이 섞인 방해 요소가 있는 상황에서 기존의 다른 방식들을 일관되게 능가했습니다. 128,000 단어의 대화 기록이 포함된 특정 테스트에서, 새 시스템은 62.01의 정확도 점수를 기록하며, 그다음으로 높은 점수인 55.37을 기록한 차순위 방식보다 유의미하게 높은 성과를 냈습니다. 이러한 향상은 시스템이 매우 다양한 성격을 가진 사용자들을 처리해야 할 때 더욱 두드러졌습니다. 예를 들어, 금융 애호가를 대상으로 한 테스트에서 개인화된 계층은 에이전트가 일반적인 시스템이라면 요약해 버렸을 구체적인 투자 세부 사항을 기억하도록 도와, 해당 사용자에 대해 18.6 퍼센트 포인트의 성능 향상을 이끌어냈습니다. 한편, 일반적인 규칙에 의해 요구 사항이 이미 충분히 충족된 사용자들에 대해서는, 시스템은 불필요한 복잡성을 추가하지 않음으로써 성능이 떨어지는 것을 방지했습니다.

이 연구는 또한 시스템이 견고하고 적응력이 높다는 것을 보여주었습니다. 학습된 규칙들은 특정 컴퓨터 모델에 묶여 있지 않고 서로 다른 기반 기술로 전이될 수 있었으며, 이는 발견된 원칙들이 메모리가 어떻게 작동해야 하는지에 대한 근본적인 것임을 시사합니다. 또한, 시스템은 대화이 길어짐에 따라 메모리 크기를 효과적으로 제어하여, 신호를 잃지 않으면서도 노이즈를 효과적으로 걸러낼 수 있음을 증명했습니다. 연구진은 가장 큰 이득이 보편적으로 모든 사용자에게 참인 것과 개인에게 특수한 것을 구별하는 능력에서 온다는 것을 발견했습니다. 이 두 가지 문제를 분리하고 이들이 함께 진화하도록 함으로써, 시스템은 너무 경직되거나 너무 혼란스러운 함정을 피할 수 있었습니다.

결과가 유망하기는 하지만, 연구진은 자신들의 작업이 주로 영어 대화와 특정 유형의 과업에 초점을 맞추고 있다는 점을 언급했습니다. 그들은 이러한 시스템이 며칠이 아닌 몇 년 동안 사용자와 상호작용함에 따라, 한 사람의 성격의 근본적인 본질이 더욱 정교한 업데이트를 필요로 하는 방식으로 변화할 수 있음을 인정합니다. 그럼에도 불구하고, 이 연구는 당신이 누구인지를 진정으로 기억하고, 당신의 이야기를 미리 만들어진 템플릿에 맞추는 것이 아니라 당신의 고유한 이야기에 맞춰 메모리를 적응시키는 에이전트를 구축하기 위한 명확한 경로를 제공합니다. 이 발견은 개인화된 AI의 미래가 모든 것을 암기하는 것이 아니라, 무엇을 공유하고 무엇을 자신을 위해 남겨둘지를 정확히 배우는 데 있다는 것을 시사합니다.

기술 요약: HiPS (계층적 개인화 전략)

1. 문제 정의

메모리 증강 에이전트는 전체 대화 이력을 모두 처리하지 않고도 장기적인 대화 과정에서 개인화되고 일관된 응답을 가능하게 하기 위해 압축된 사용자 프로필을 유지하는 것을 목표로 합니다. 핵심 과제는 메모리 관리 전략에 있습니다. 즉, 각 단계에서 어떤 정보를 유지, 압축 또는 폐기할지를 결정하는 것입니다.

기존 방식들은 두 가지 주요 한계점을 가집니다:

정적이고 일률적인 전략 (Static, One-Size-Fits-All Strategies): 대부분의 방법은 모든 사용자에게 동일하게 적용되는 고정된 사전 정의 규칙(수동으로 제작되거나 학습 전 정의됨)을 채택합니다. 이는 최적의 메모리 결정이 본질적으로 사용자별로 상이하며, 정책 최적화와 함께 동적으로 진화한다는 사실을 반영하지 못합니다.
적응성 부족 (Lack of Adaptability): 최근의 강화 학습(RL) 접근 방식들은 메모리 작업을 학습 가능한 행동으로 취급하지만, 종종 인구 통계학적 평균 보상(population-averaged rewards)을 위해 최적화됩니다. 이로 인해 틈새 사용자 행동에 대한 신호가 다수의 패턴에 의해 압도되어, 개별적인 뉘앙스를 포착하지 못하는 타협안을 내놓게 됩니다. 또한, 명시적 전략을 사용하는 방법들은 대개 훈련 중에 이러한 규칙들을 고정시키는데, 이는 정책이 진화함에 따라 규정된 전략과 실제 실행 궤적(rollout trajectories) 사이의 불일치를 야기합니다.

본 논문은 공유된 보편적 규칙과 사용자별 적응 사이의 경계가 사전에 정의되는 것이 아니라 경험적으로 발견되어야 하며, 전략은 정책과 함께 공진화(co-evolve)해야 한다고 주장합니다.

2. 방법론: HiPS 프레임워크

저자들은 메모리 관리를 글로벌 공유 기반( $S_u$ )과 사용자별 적응 계층( $\Delta_p$ )으로 분리하는 HiPS (Hierarchical Personalized Strategy) 프레임워크를 제안합니다. 이 프레임워크는 전략 발견과 정책 최적화가 서로 맞물려 돌아가는 연속적인 공진화 루프를 통해 작동합니다.

핵심 구성 요소

1. 보편적 전략 증류 (Universal Strategy Distillation, USD)

목표: 전체 인구 집단에 적용 가능한 공유 규칙( $S_u$ )을 진화시킵니다.
메커니즘: USD는 다양한 페르소나를 가로질러 top-k 및 bottom-k 궤적을 샘플링합니다. LLM 메타 최적화 도구는 자유 형식의 요약 대신, 이 대조적인 세트들을 비교하여 구조화된 차이(structured diffs) (검증, 가설 설정, 수정 단계 포함)를 생성합니다.
증거 추적 (Evidence Tracking): 노이즈를 방지하기 위해 규칙에는 증거 수준(잠정적, 지원됨, 확립됨)이 할당됩니다. 규칙은 검증 신호와 예측 이득(Predictive Gain, PG) 지표에 따라 승격되거나 강등됩니다. PG는 규칙을 준수하는 궤적과 그렇지 않은 궤적 간의 작업 성공률의 절대적 차이를 측정합니다.

2. 페르소나 델타 증류 (Persona Delta Distillation, PDD)

목표: 인구 통계적 규범에서 벗어난 사용자들을 위한 적응형 규칙( $\Delta_p$ )을 생성합니다.
이탈 게이팅 (Divergence Gating): 계산 낭비와 과적합을 피하기 위해, PDD는 규칙 효능의 총체적 불일치( $D_p$ )가 임계값( $\theta_{div}$ )을 초과하는 사용자에게만 트리거됩니다. 임계값 미만의 사용자는 $S_u$ 에만 의존합니다.
행동 조건부 증류 (Behavior-Conditioned Distillation): 이탈한 사용자의 경우, LLM은 $S_u$ 와 엄격히 구별되면서도 관리 중심적(사실적 단언이 아닌 행동을 규정함)인 관리 행동을 공식화하여, 보지 못한 사용자에게도 일반화될 수 있도록 합니다.

3. 계층 간 규칙 흐름 (Cross-Level Rule Flow)

목표: $S_u$ 와 $\Delta_p$ 사이의 경계를 동적으로 조정합니다.
일반화 ( $\Delta_p \to S_u$ ): 개인화된 규칙이 충분한 비율의 페르소나( $\ge \theta_{flow}$ )에서 유익하다고 증명되면, 해당 규칙은 보편적 수준으로 승격되고 개별 델타에서 제거됩니다.
특수화 ( $S_u \to \Delta_p$ ): 보편적 규칙이 USD에 의해 수정되거나 강등되면, 해당 규칙에 의존하던 사용자들에게는 성능 저하를 방지하기 위한 페르소나별 대체 규칙이 제공됩니다.

4. 전략 주입 및 공진화 (Strategy Injection and Co-Evolution)

서브모듈 선택 (Submodular Selection): 활성 전략 $S_p = S_u \cup \Delta_p$ 는 토큰 예산 $B$ 에 의해 제한됩니다. 탐욕적 서브모듈 선택 알고리즘은 중복을 억제하면서 커버리지(PG 기반)를 최대화합니다.
보상 분리 (Reward Separation): 자기 강화적 확증 편향을 방지하기 위해 프레임워크는 보상을 분리합니다:
- $R_{ans}$ (작업 정확도): 증류 버퍼 업데이트 및 전략 개선을 위한 궤적 순위 지정에만 독점적으로 사용됩니다.
- $R_{follow}$ (전략 준수): 모델을 활성 전략에 정렬시키기 위한 GRPO (Group Relative Policy Optimization) 정책 업데이트에만 사용됩니다.
- 이러한 분리는 전략 진화가 단순히 결함이 있을 수 있는 규칙에 대한 순응이 아니라, 객관적인 작업 결과에 엄격히 고정되도록 보장합니다.

3. 주요 기여

문제 정식화: 본 논문은 공유 규칙과 사용자별 규칙 사이의 경계가 사전에 정의되는 것이 아니라 경험적으로 발견되고 공진화되어야 하는 문제로 전략 개인화를 정식화했습니다.
HiPS 프레임워크: 증거 기반 증류(USD/PDD) 및 계층 간 규칙 흐름을 통해 보편적 전략과 사용자별 적응 규칙을 공진화시키는 RL 프레임워크를 도입했습니다.
경험적 발견: 실험을 통해 "구성 요소 중요도 반전(component importance flip)" 현상을 밝혀냈습니다. 즉, 보편적 규칙은 도메인 내 성능을 지배하는 반면, 적응형 메커니즘(PDD 및 Flow)은 도메인 외 일반화에 필수적입니다.

4. 실험 결과

프레임워크는 PersonaMem (선호도 진화), PrefEval (명시적/암시적 쿼리), PersonaBench (개인화된 검색/QA), PERMA (이벤트 기반 선호도) 등 4개의 벤치마크에서 평가되었습니다.

전반적인 성능: HiPS는 모든 12개 평가 설정에서 롱 컨텍스트(Long Context), RAG, retrieval 기반 메모리 뱅크(Mem0/A-Mem), RL 기반 에이전트(MemAgent/MemSkill)를 포함한 베이스라인들을 일관되게 능가했습니다.
- **PersonaMem (128K)**에서 HiPS는 **62.01%**의 정확도를 달 기록하며, 차순위 베이스라인(MemSkill 55.37%)과 롱 컨텍스트 베이스라인(20.74%)을 크게 앞질렀습니다.
- PrefEval에서 HiPS는 명시적(Explicit) 질문에서 89.20%, 암시적(Implicit) 질문에서 **69.40%**를 달성하며 모든 도메인 카테고리에서 선두를 차지했습니다.
절제 연구 (Ablation Studies):
- USD를 제거했을 때 도메인 내 작업에서 가장 큰 하락이 발생하여, 보편적 규칙의 필요성을 확인했습니다.
- Cross-Level Flow를 제거했을 때 도메인 외 설정에서 가장 심각한 성능 저하가 발생하여, C-S 정확도가 66.95에서 45.39로 감소하고 평균 PERMA가 19.4 포인트 하락했습니다. 이는 동적 규칙 이동의 중요성을 강조합니다.
- PDD를 제거했을 때는 완만하지만 지속적인 하락이 나타나, 선택적 개인화의 필요성을 입증했습니다.
스케일링 및 전이 (Scaling and Transfer):
- 스케일링: 대화 길이가 128K 토큰으로 증가함에 따라, HiPS는 약 1,900 토큰의 제한된 메모리 성장과 선형 시간 스케일링을 유지하며 초장기 컨텍스트에서의 효율성을 입증했습니다.
- 교차 모델 전이: 하나의 백본(예: Qwen2.5-7B)을 사용하여 증류된 전략이 다른 모델들(GPT-4o-mini, Gemini 2.5 flash, GPT-5 등)로 효과적으로 전이되어, 학습된 전략의 모델 불가지론적(model-agnostic) 특성을 확인했습니다.

5. 의의 및 주장

본 논문은 HiPS가 다계층 전략과 활성 정책 사이의 연속적인 공진화 루프를 구축한다고 주장합니다. 메모리 관리를 보편적 기준과 사용자별 델타로 분리함으로써, 이 프레임워크는 정적인 파이프라인의 경직성과 인구 통계적 평균을 향한 RL의 "일률적인" 타협 문제를 해결합니다.

저자들은 이 접근 방식이 다음과 같은 진정한 개인화된 장기 메모리 시스템을 가능하게 한다고 강조합니다:

기초적인 규칙은 보편적으로 유익하며 공유됩니다.
틈새 행동은 모든 사용자에 대한 중복 계산 없이 맞춤형 처리를 받습니다.
시스템은 정책이 진화함에 따라 동적으로 적응하여, 전략이 실제 실행 궤적과 정렬된 상태를 유지하도록 합니다.

이 연구는 직접적인 이력 유지로 인한 토큰 팽창이나 컨텍스트 제한 없이, 확장된 개인화 상호작용을 처리할 수 있는 강력한 에이전트를 향한 단계로 제시됩니다. 저자들은 다국어 적용 가능성과 극도로 긴 기간(수년 단위)의 성격 변화(personality drift)에 관한 제한 사항을 언급하며, 이를 향후 연구 과제로 남겨두었습니다.