🤖 AI

The Retriever Should Remember: Experience-Amortized Reranking for Long-Term Agent Memory

이 논문은 인과적 행렬 완성을 통해 이전에 획득한 LLM 관련성 점수를 재사용하는 법을 학습함으로써, 장기 에이전트 메모리 검색 정확도를 크게 향상시키는 동시에 추론 오버헤드를 실질적으로 줄이는 경험 분할 재순위화 프레임워크인 EARM을 소개한다.

원저자: Qi Feng, Chris Ding, Jicong Fan

게시일 2026-08-25

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Qi Feng, Chris Ding, Jicong Fan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수개월 또는 수년에 걸쳐 이어지는 대화를 상상해 보십시오. 한 사람이 아주 오래전에 일어난 사건에 대해 질문하거나, 수십 번의 이전 대화 속에 흩어져 있는 사실들을 하나로 엮어내는 상황 말입니다. 유용한 조수 역할을 하도록 설계된 컴퓨터 프로그램에게 이러한 방대한 이력을 추적하는 것은 엄청난 과업입니다. 흔히 '에이전트'라고 불리는 이 프로그램들은 과거의 상호작용을 외부 메모리 라이브러리에 저장합니다. 하지만 라이브 library를 가지고 있는 것과 적절한 책을 찾는 방법을 아는 것은 별개의 문제입니다. 새로운 질문이 들어올 때마다, 시스템은 수천 개의 저장된 기억들 사이를 빠르게 뒤져 실제로 유용한 몇 가지를 찾아내야 합니다. 전통적으로 시스템은 단어 유사성에 기반한 빠르고 광범위한 검색을 사용하며, 더 정밀한 작업이 필요할 경우 강력한 언어 모델에게 질문과 후보 기억들을 읽고 관련성을 판단하도록 요청합니다. 하지만 여기에 좌절스러운 비효율성이 존재합니다. 새로운 질문이 던져질 때마다 시스템은 처음부터 다시 시작한다는 점입니다. 시스템은 지난번 검색에서 배웠던 교훈을 잊어버리고, 계산했던 점수와 포착했던 패턴을 폐기합니다. 마치 시험을 위해 공부하고 나서 시험이 끝나자마자 모든 것을 잊어버려, 다음 시험을 위해 똑같은 내용을 다시 학습해야 하는 학생과 같습니다.

심천 홍콩중국대학교(The Chinese University of Hong Kong, Shenzhen)의 연구진은 이러한 망각의 순환을 끊을 수 있는 방법을 제안했습니다. 그들은 EARM, 즉 '메모리를 위한 경험적 재순위화(Experience-Amortized Reranking for Memory)'라는 새로운 프레임워크를 도입했습니다. 핵심 아이디어는 단순하면서도 심오합니다. 시스템이 과거 대화의 내용만을 기억하는 것이 아니라, 과거에 정보를 어떻게 성공적으로 찾아냈는지까지 기억해야 한다는 것입니다. 관련성을 판단하는 것을 일회성 비용으로 취급하는 대신, 연구진은 이러한 판단을 에이전트의 생애 동안 축적되는 일종의 '경험'으로 취급하도록 설계했습니다. 어떤 기억이 어떤 유형의 질문에 유용했는지를 기록함으로써, 시스템은 자신의 메모리에 대한 지도를 학습하게 됩니다. 이 지도는 강력한 언어 모델에게 모든 것을 일일이 읽게 하지 않고도 새로운 메모리의 관련성을 예측할 수 있게 해줍니다.

실험에서 연구진은 에이전트가 서로 다른 시점의 정보를 연결해야 하는 복잡한 질문이 포함된 긴 대화 데이터셋을 통해 이 접근 방식을 테스트했습니다. 그들은 이 새로운 방식을 두 가지 표준 방식, 즉 단어 유사성에만 의존하는 기본 시스템과 모든 후보 메모리에 대해 언어 모델에게 점수를 매기도록 요청하는 더 강력한 시스템과 비교했습니다. 결과는 새로운 방식이 직접적인 점수 산출과 학습된 예측을 혼합하여 사용함으로써 기본 시스템보다 성능이 현저히 우수함을 보여주었습니다. 이 방법은 답변의 정확도를 최대 6.62%까지 향상시켰는데, 이는 작은 개선조차 얻기 어려운 분야에서 상당한 진전입니다. 아마도 더 중요한 점은, 시스템이 단 17.5%의 후보만을 직접 점수 매길 수 있는 희소한 설정에서도 매우 효과적으로 작동했다는 것입니다. 이 희소한 환경에서 시스템은 축적된 경험을 사용하여 나머지 메모리의 관련성을 추정함으로써 공백을 메웠습니다.

이 성공의 메커즘은 관련성이 무작위가 아니라는 생각에 기초합니다. 특정 기억은 특정 종류의 질문에 유용하며, 특정 질문은 여러 기억에 걸쳐 유사한 관련성 패턴을 유발합니다. 연구진은 이러한 연결 고리를 구조적인 방식으로 기록하는 시스템을 구축했습니다. 새로운 질문이 도착하면 시스템은 언어 모델이 직접 점수를 매길 수 있도록 작고 전략적인 샘록의 메모리를 선택합니다. 그런 다음 과거 점수의 이력을 사용하여 나머지 메모리의 관련성을 추정합니다. 이 과정은 노련한 사서가 특정 역사적 사건에 대해 묻는 이용자가 설령 아직 언급하지 않았더라도, 아마도 특정 문서 세트가 필요할 것임을 알아차리는 것과 비슷합니다. 시스템은 맹목적으로 추측하는 것이 아니라, 과거 검색의 '경험'을 사용하여 검색을 안내함으로써 자신의 지식 베이스에 접근하는 법을 효과적으로 학습합니다.

가장 놀라운 발견 중 하나는 시스템이 전체적인 전수 조사를 수행할 때의 이점을 단 4분의 1의 계산량만으로도 대부분 회복할 수 있었다는 점입니다. 시스템이 견고한 이력을 구축할 만큼 충분한 질문을 처리하고 나면, 매우 적은 새로운 입력만으로도 높은 정확도의 결정을 내릴 수 있었습니다. 연구진은 학습된 추정을 통해 선택된 메모리들이 단순히 빈자리를 채우는 것이 아니라, 직접 점수를 매긴 메모리들이 제공하는 것보다 0.78%에서 2.79% 더 높은 추가적인 가치를 더해준다는 것을 발견했습니다. 이는 시스템이 초기 빠른 검색에서 놓쳤던 유용한 정보를, 자신의 메모리에 내재된 구조를 인식함으로써 성공적으로 찾아냈음을 시사합니다.

이 연구는 우리가 인공지능의 메모리를 어떻게 생각해야 하는지에 대한 관점의 변화를 강조했습니다. 전통적으로 초점은 더 많은 정보를 저장하거나 정보를 더 잘 표현하는 데 맞춰져 왔습니다. 이 연구는 진정으로 장기적인 생존이 가능한 에이전트라면, 그 정보를 어떻게 효율적으로 인출할지도 학습해야 한다고 제안합니다. 연구진은 에이전트가 단순히 콘텐츠를 축적하는 것이 아니라, 그 콘텐츠가 어떻게 유용하게 쓰였는지에 대한 경험을 축적해야 한다고 주장합니다. 검색 점수를 일회성 부산물이 아닌 지속적인 상태로 취급함으로써, 시스템은 검색 행위를 반복적인 비용에서 학습된 능력으로 변모시킵니다. 이 접근 방식은 에이전트가 단순히 더 많이 아는 것을 넘어, 자신이 이미 알고 있는 것을 찾는 법을 더 잘 익힘으로써 시간이 흐를수록 더 똑똑해지도록 만듭니다.

연구진은 이 방법이 효과적으로 작동하기 위해 특정 조건이 필요하다는 점을 인정합니다. 이는 질문들이 시간이 지나도 공통된 주제나 구조를 공유하며, 메모 자체도 안정적으로 유지된다는 가정을 전제로 합니다. 만약 모든 질문이 지난 질문과 완전히 무관하거나, 저장된 메모의 의미가 급격하게 변한다면 시스템은 패턴을 학습하는 데 어려움을 겪을 것입니다. 그러나 사용자가 종종 유사한 주제로 돌아오거나 이전의 생각을 발전시켜 나가는 긴 대화의 맥락 속에서, 이 방법은 견고함을 입증했습니다. 시스템은 직접적인 점수 매기기가 줄어드는 상황에서도 축적된 경험이 신뢰할 수 있는 가이드 역할을 함으로써 그 우위를 유지할 수 있었습니다.

궁극적으로, 이 연구는 인공지능의 효율성에 대한 새로운 관점을 제시합니다. 시스템이 보유한 정보량이 늘어난다고 해서 이를 똑똑하게 만드는 비용이 선형적으로 증가할 필요는 없다는 것을 보여줍니다. 시스템이 자신의 검색 이력을 기억하도록 함으로써, 연구진은 지식과 효율성을 모두 갖춘 에이전트를 구축하는 것이 가능하다는 것을 증명했습니다. 시스템은 매번 모든 것을 처음부터 다시 평가할 필요 없이, 자신의 과거 결정 위에 올라설 수 있습니다. 이 접근 방식은 에이전트가 단순히 경험하는 것뿐만 아니라, 자신의 역사를 탐색하는 법을 배우는 인간처럼, 상호작용을 통해 스스로를 적응시키고 정교화하며 진정으로 장기간 작동할 수 있는 단계로 우리를 이끌고 있습니다.

기술 요약: 장기 에이전트 메모리를 위한 경험적 분할 상환 재순위화 (EARM)

문제 정의

장기 생존형 언어 모델(LLM) 에이전트는 상호작용 전반에 걸쳐 방대한 양의 메모리를 축적하지만, 기존의 검색 메커니즘은 과거의 검색 경험으로부터 학습하는 데 실패하는 경우가 많습니다. 현재의 시스템은 대개 효율성을 위해 시맨틱 검색(임베딩 유사도)에 의존하며, 그 후 쿼리 조건부 관련성을 평가하기 위해 선택적으로 LLM 재순위화(reranking)를 수행합니다. 그러나 이 재순위화 과정은 상태 비저장(stateless) 방식입니다. 즉, 매 새로운 쿼리에 대해 시스템은 대규모 후보군을 점수화하고 사용 직후 관련성 점수를 즉시 폐기합니다.

이는 근본적인 비대칭성을 초래합니다. 메모리 저장소는 진화하지만, 검색 절차는 매 쿼리마다 초기 상태로 리셋됩니다. 시맨틱 유사도만으로는 불충분합니다. 표현상의 근접성이 증거로서의 관련성을 보장하지는 않기 때문입니다. 어떤 메모리는 주제적으로는 유사하지만 관련이 없을 수 있고, 반대로 주제적으로는 멀지만 시간적 또는 인과적 추론에는 결정적일 수 있습니다. 또한, 모든 후보에 대해 매번 전체 LLM 재순위를 수행하는 것은 막대한 추론 비용( $T \times N$ 연산)을 발생시키며, 이는 에이전트의 상호작용 횟수와 메모리 풀의 크기에 따라 선형적으로 증가합니다.

방법론: EARM 프레임워크

저자들은 EARM(Experience-Amortized Reranking for Memory)을 제안합니다. 이 프레임워크는 LLM 관련성 점수를 일회성 추론 흔적이 아니라 지속적인 **검색 경험(retrieval experience)**으로 취급합니다. EARM은 관찰되지 않은 쿼리-메모리 쌍에 대한 관련성을 추정하기 위해 "잠재적 메모리 접근성 지도(latent memory accessibility map)"를 학습함으로써, 점수 산출 비용을 에이전트의 수명 전반에 걸쳐 분할 상환(amortize)합니다.

이 프레임워크는 다섯 가지 핵심 구성 요소로 작동합니다:

시맨틱 후보 생성: 표준 시맨틱 리트리버가 각 유입되는 쿼리 $q_t$ 에 대해 크기 $N$ 인 고재현(high-recall) 후보 집합 $C_t$ 를 생성합니다.
검색 경험 행렬: EARM은 행은 지속적인 메모리 식별자를, 열은 쿼리를 나타내는 희소 행렬 $R(t)$ 를 유지합니다. 관찰된 항목에는 LLM 관련성 점수가 포함되며, 관찰되지 않은 항목(회색 또는 흰색 셀)은 검색되었으나 점수가 매겨지지 않았거나, 스토어에는 존재하지만 후보 집합에서 제외된 쌍을 나타냅니다.
단계별 경험 습득: 추론 예산을 관리하기 위해, EARM은 에이전트가 경험을 쌓음에 따라 관찰 비율(LLM에 의해 직접 점수화되는 후보의 비율)이 감소하는 단계별 스케줄을 채택합니다(예: 초기 단계의 100%에서 후기 단계의 17.5%까지). 각 쿼리에 대해, 층화 전략(stratified strategy)을 사용하여 크기 $B_t$ 인 부분 집합 $O_t$ 를 직접 점수화 대상으로 선택합니다. 이 전략은 예산의 절반은 고유사도 후보에서 샘플링하여 활용(exploitation)하고, 나머지 절반은 남은 풀에서 샘플링하여 탐색(exploration)함으로써 행렬의 커버리지를 확보합니다.
인과적 관련성 완성: 행렬의 누락된 항목은 **편향 인식 저계수 모델(bias-aware low-rank model)**을 사용하여 추정됩니다. 이 모델은 관련성을 다음으로 분해합니다:
- 글로벌 관련성 수준 ( $\mu$ ).
- 메모리 특화 편향 ( $\alpha_i$ ) 및 쿼리 특화 편향 ( $\beta_\tau$ ).
- 공유된 관련성 패턴을 포착하는 잠재적 상호작용 요인 ( $p_i^\top z_\tau$ ).
  모델은 웜 스타트(warm starts)를 갖춘 교대 최소제곱법(ALS)을 통해 최적화되며, 관찰된 항목에 대한 마스킹된 재구성 오차를 최소화합니다. 결정적으로, 이 모델은 **인과적(causal)**입니다. 즉, 미래의 쿼리로부터 발생하는 데이터 누출을 피하기 위해 오직 과거의 데이터와 현재의 앵커만을 사용하여 미래의 점수를 예측합니다.
혼합 재순위화: 최종 순위는 샘플링된 부분 집합에 대한 직접 관찰된 LLM 점수와 나머지 후보(및 잠재적으로 초기 시맨틱 풀 외부의 메모리)에 대한 추정된 점수를 결합합니다. 상위 $K$ 개의 메모리가 선택되어 연대순으로 복원된 후 답변 생성기로 전달됩니다.

주요 기여

본 논문은 두 가지 주요 기여를 합니다:

EARM 프레임워크: LLM 관련성 점수를 지속적인 검색 상태로 유지하는 새로운 접근 방식을 제시합니다. 이는 층화된 앵커 점수화, 인과적 저계수 행렬 완성, 혼합 관찰-추정 순위화를 통합하여 순차적 쿼리 스트림을 처리합니다.
실증적 검증: EARM이 표준 시맨틱 검색보다 정확도를 크게 향상시키는 동시에 LLM 추론 오버헤드를 획기적으로 줄임을 입증합니다. 이 프레임워크는 직접 점수화 비율이 낮아져도 효과적으로 작동하며, 축적된 검색 경험이 직접 점수화를 대체할 수 있음을 증명합니다.

실험 결과

프레임워크는 LoCoMo 데이터셋(장기 대화형 메모리)에서 평가되었습니다. 파이프라인은 시맨틱 리트리버가 후보를 선택하고, EARM이 이를 재순위화하며, GPT-4o-mini가 답변을 생성하고 평가하는 방식으로 구성되었습니다.

정확도 향상: 시맨틱 검색과 비교했을 때, EARM은 전체 답변 정확도를 최대 6.62%(Top-10 검색) 및 2.99%(Top-20 검색)까지 향상시켰습니다.
전체 재순위화와의 근접성: EARM 설정은 전체 LLM 재순위화(200개 후보 모두 점수화)가 제공하는 성능 향상의 약 **70%**를 회복하면서도, LLM 호출 횟수는 **25.57%**만을 사용하여 (74.43%의 비용 절감) 달성했습니다.
희소 점수화에 대한 강건성: 직접 점수화 비율이 17.5%(200개 중 35개 후보만 점수화)로 떨어졌을 때도, EARM은 시맨틱 검색 대비 유의미한 정확도 우위(예: Top-10에서 +5.53%)를 유지했습니다.
구성 요소 절제 실험(Ablation): 연구 결과, 개선이 단순히 직접 점수화된 소수의 메모리 때문만은 아님을 보여주었습니다. "완성된" 점수(행렬 완성을 통해 추정됨)는 "관찰된 것만 사용한" 베이스라인보다 정확도를 0.78%에서 2.79% 추가로 높였으며, 이는 학습된 구조가 샘플링된 앵커 이상의 가치를 더한다는 것을 확인시켜 줍니다.

의의 및 주장

본 논문은 에이전트 메모리를 어떻게 개념화할 것인가에 대한 패러다임 전환을 주장합니다. 전통적으로 메모리 시스템은 콘텐츠 메모리(에이전트가 무엇을 경험했는가)에 집중합니다. EARM은 검색 메모리(에이전트가 그 경험에 접근하는 법에 대해 무엇을 배웠는가)라는 개념을 도입합니다.

저자들은 장기 생존형 에이전트가 과거의 콘텐츠를 기억할 뿐만 아니라, 그 콘텐츠가 검색에 얼마나 유용했는지도 기억해야 한다고 주장합니다. 관련성 점수를 일시적인 추론 출력값이 아닌 재사용 가능한 경험으로 취급함으로써, EARM은 재순위화를 반복적인 쿼리당 비용에서 에이전트의 수명 전반에 걸쳐 학습되고 정교해지는 능력으로 변모시킵니다. 이 접근 방식은 장기 에이전트 시스템에서 LLM 재순위화의 확장성 병목 현상을 해결하여, 실질적으로 줄어든 계산 오버헤드로 고품질의 검색을 가능하게 합니다.