💬 NLP

Learning What Not to Forget: Long-Horizon Agent Memory from a Few Kilobytes of Learning

이 논문은 장기 실행 에이전트를 위해 중요한 상호작용 이력을 식별하고 유지하는 법을 학습하며, 최소한의 계산 비용과 주석 없는 학습 과정으로 작동하면서도 기존 베이스라인들에 비해 우수한 정확도와 효율성을 달성하는 경량화된 CPU 전용 언어 모델 프리 스코어러인 LRE(Learned Relevance Eviction)를 소개한다.

원저자: Nusrat Jahan Lia, Aritra Mazumder

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nusrat Jahan Lia, Aritra Mazumder

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 비서(고도로 발달한 AI 같은 존재)라고 상상해 보세요. 복잡한 퍼즐을 풀거나 친구와 긴 대화를 나누려고 합니다. 문제는 당신의 뇌에 엄격한 크기 제한이 있다는 것입니다. 한 번에 담을 수 있는 "활성 메모리"의 양이 정해져 있습니다.

작업을 진행하다 보면, 방대한 양의 노트, 행동 기록, 대화 내용이 쌓이게 됩니다. 결국 이 기록이 너무 커져서 뇌에 다 들어가지 않게 됩니다. 이때 새로운 생각을 담기 위해 기존의 것들을 버려야 하는데, 이를 **교체(Eviction)**라고 합니다.

이 논문은 이 문제를 해결하기 위한 새로운 방법인 LRE(Learned Relevance Eviction, 학습된 관련성 교체)를 소개합니다. 이해를 돕기 위해 쉬운 비유를 들어 설명하겠습니다.

문제점: "너무 커서 들어가지 않는" 뇌

여행 가방을 싸고 있는데, 지퍼가 절반밖에 열리지 않는 상황을 상상해 보세요. 당신에게는 수백 개의 물건(대화 기록이나 작업 단계들)이 있습니다.

기존 방식 (FIFO/최신성 기반): 새로운 것을 넣기 위해 가장 오래된 항목들을 맨 아래에서부터 그냥 버립니다.
- 위험 요소: 당신은 여권이나 로그인을 위해 필요한 특정 코드 토큰처럼 "하중을 견디는(load-bearing)" 핵심 아이템을 버릴 수도 있습니다. 만약 그 아이템을 잃어버린다면, 공간이 충분히 남아 있더라도 당신의 여행(또는 작업)은 실패하게 됩니다.
비싼 방식 (LLM 압축): 전문 편집자(다른 AI)를 고용하여 당신의 노트를 읽고 짧은 문단으로 요약하게 합니다.
- 위험 요소: 편집자가 내용을 간결하게 만들려다 중요한 세부 사항을 실수로 빠뜨릴 수 있습니다. 또한, 노트를 추가할 때마다 편집자를 고용하는 것은 느리고 많은 비용(컴퓨팅 파워)이 듭니다.

해결책: LRE (작고 영리한 사서)

LRE는 일반 컴퓨터 칩(CPU)에서 실행되는 작고 매우 빠른 "사서"입니다. 이 사서는 일을 하기 위해 슈퍼컴퓨터나 두 번째 AI를 필요로 하지 않습니다.

1. 작고 빠릅니다
LRE를 주머니 크기의 체크리스트(단 몇 킬로바이트 크기)라고 생각하세요. LRE는 노트를 새로 쓰지 않고, 어떤 노트를 유지할지만 결정합니다. 매우 빠르게 작동하여 초당 1,000개 이상의 노트를 확인할 수 있는 반면, "전문 편집자"(밀집 인코더)들은 36개 정도밖에 처리하지 못할 수도 있습니다.

2. 무엇이 중요한지 학습합니다 ("하중을 견디는" 개념)
LRE는 기록을 살펴보며 다음과 같이 자문합니다. "나중에 이 특정 정보가 필요할까?"

비유: 집을 짓고 있다고 상상해 보세요. 당신 앞에는 벽돌, 나무, 그리고 잡동사니가 섞인 더미가 있습니다.
- "최신성" 방식은 방금 만진 마지막 몇 가지 아이템을 보관합니다.
- LRE는 더미를 보고 말합니다. "3단계에서 사용한 저 특정 벽돌은 17단계에서 지을 지붕의 기초가 될 거야. 저것은 있는 그대로 유지해야 해."
- LRE는 원문 그대로(verbatim) 보관하므로, 나중에 비밀번호나 특정 ID 번호가 필요하더라도 변형 없이 그대로 남아 있게 됩니다.

3. 스승이 필요 없습니다 (자기 지도 학습)
보통 컴퓨터에게 무엇을 남길지 가르치려면, 인간이 수천 개의 예시에 대해 "이것을 남겨라", "저것을 버려라"라고 라벨을 붙여줘야 합니다.

LRE의 비법: LRE는 스스로를 관찰하며 배웁니다. 자신의 과거 행동을 되돌아봅니다.
- 대화에서: AI가 어떤 사실(예: "나는 트랜스젠더이다")을 언급하고, 400번의 대화가 지난 후 그 사실을 이용해 질문에 답한다면, LRE는 이렇게 학습합니다. "아, 저 사실이 중요했구나! 저것을 보관했어야 했어."
- 작업에서: AI가 로그인 토큰을 생성하고 이후 세 번 동안 그 토큰을 사용한다면, LRE는 학습합니다. "저 토큰은 하중을 견디는 핵심 요소다. 그대로 유지하자."
- 즉, LRE는 인간이 데이터를 라벨링하기 위해 비용을 지불할 필요 없이 스스로 학습할 수 있습니다.

결과: 왜 승리하는가?

1. 에이전트 (로봇 일꾼)

시나리오: 항공권을 예약하거나 이메일 계정을 관리하는 일련의 단계를 수행하는 AI.
결과: 메모리 제한이 엄격할 때, 다른 방식들은 로그인 토큰이나 특정 ID 번호를 버려버렸기 때문에 실패했습니다. 하지만 LRE는 이러한 정확한 세부 사항들을 유지했습니다.
비유: 다른 방식들이 로그인을 하기 위해 계속 뱅뱅 돌며 시간을 낭비하는 동안, LRE는 주머니에 열쇠를 넣어두고 있었기에 작업을 완수했습니다. L-RE는 37% 적은 단계만으로도 작업을 마쳤습니다. 모든 것을 다 보관했을 때만큼 정확하면서도, 공간은 52% 적게 사용했습니다.

2. 대화 상대 (채팅 파트너)

시나리오: 몇 주 전에 나누었던 긴 대화의 세부 사항을 기억하는 것.
결과: LRE는 대화를 요약하려고 시도하는 복잡하고 비싼 AI 모델들보다 적절한 정보를 찾아내는 데 더 뛰어났습니다.
비유: 만약 당신이 "캐롤린이 400번 전 메시지에서 가족에 대해 뭐라고 했지?"라고 묻는다면, LRE는 그 정확한 메시지를 즉시 찾아냅니다. 다른 방식들은 그 내용을 잊어버리거나, 요약을 너무 형편없이 해서 답변이 유실되었습니다.

핵심 요약

LRE는 저렴하고, 빠르며, 정밀한 메모리 관리 방법입니다.

정보를 요약하거나 새로 쓰지 않습니다 (오류를 방지합니다).
무엇을 남길지 결정하기 위해 비싼 슈퍼컴퓨터를 필요로 하지 않습니다.
자신의 실수와 성공을 통해 스스로 학습합니다.

이 논문은 AI 에이전트와 챗봇에게 필요한 것은 정보를 버리거나 요약하기 위해 비싼 편집자를 고용하는 것이 아니라고 주장합니다. 대신, 우리의 역사가 무너지지 않도록 "하중을 견디는" 벽돌을 보관할 줄 아는 작고 똑똑한 필터가 필요할 뿐입니다.

기술 요약: 무엇을 잊지 말아야 할지 배우기 (LRE)

문제 정의

장시간 실행되는 대규모 언어 모델(LLM) 에이전트 및 대화형 어시스턴트는 상호작용 이력이 결국 모델의 컨텍스트 창(context window)을 초과하여 축적됩니다. 고정된 토큰 예산 내에서 작동하기 위해 시스템은 오래된 이력을 제거(evict)(폐기)해야 합니다. 핵심 과제는 제거가 선제적이고, 쿼리에 무관한(query-blind) 결정이라는 점입니다. 즉, 시스템은 해당 정보가 필요한 미래의 쿼리나 행동이 존재하기 전에 무엇을 유지할지 결정해야 합니다.

표준적인 접근 방식들은 이러한 환경에서 실패합니다:

반응형 휴리스틱 (최신성/FIFO): 시간만을 기준으로 오래된 정보를 폐기하며, 이 과정에서 종종 미래 단계에 필요한 "하중을 견디는(load-bearing)" 세부 사항(예: 액세스 토큰, 식별자)을 제거하여 에이전트가 루프에 빠지거나 실패하게 만듭니다.
LLM 기반 압축: LLM 호출을 통해 이력을 요약하는 방식은 비결정론적 동작, 패러프레이징 오류(정확한 식별자 손실), 그리고 상당한 지연 시간 및 비용을 초래합니다.
신경망 검색/스코어링: 밀집 임베딩(dense embeddings)이나 어텐션 기반 스코어링을 사용하는 방법들은 매 단위마다 신경망 순전파(forward pass)를 요구하거나 특정 모델 레이어에 종속되어, 확장이 어려운 추론 비용을 발생시킵 most.

본 논문은 메모리 제거가 근본적으로 충실도(fidelity) 문제라고 주장합니다. 즉, 시스템은 미래의 행동이 성공하기 위해 정확하고 구절 그대로의 상태(단순한 개념적 요약이 아닌)를 유지해야 하지만, 이를 저렴하고 선제적이며 호스트 LLM과 독립적인 정책으로 수행해야 합니다.

방법론: LRE (Learned Relevance Eviction)

저자들은 어떤 이력 단위가 "하중을 견디는(load-bearing)" 것인지 학습하도록 설계된, 가볍고 CPU 전용이며 언어 모델을 사용하지 않는 스코어러인 LRE를 제안합니다.

핵심 메커니즘

단위 정의: 이력은 불연속적인 단위(예: 대화 턴 또는 에이전트 행동-관찰 쌍)로 분할됩니다.
인과적 특징 추출: 각 단위 $u_i$ $u_{i}$ 에 대해, LRE는 오직 접두사(prefix) 이력만을 기반으로 하는 특징 벡터 $\phi(u_i, u_{\le i})$ $ϕ (u_{i}, u_{\leq i})$ 를 계산합니다. 특징에는 다음이 포함됩니다:
- 구조적(Structural): 궤적 내 위치, 최신성, 길이.
- 어휘적(Lexical): TF-IDF, 숫자 개수, 대문자 단어, URL/ID 존재 여부.
- 도메인 특화(Domain-Specific): 에러 지표, 코드 토큰 존재 여부(에이전트용), 의문문 마커(대화용).
스코어링: 작고 L2 정규화된 로지스틱 회귀 모델( $f_\theta$ $f_{θ}$ )이 각 단위에 대한 관련성 확률 $p_i$ $p_{i}$ 를 할당합니다.
- 비용: 모델은 매우 작으며(예: 에이전트용 1.7 KB), 추론 시점에 신경망 순전파 없이 CPU에서 실행됩니다.
선택 (배낭 문제/Knapsack Problem): 토큰 예산 $B$ $B$ 가 주어졌을 때, LRE는 토큰 비용 제약 조건 $\sum c_i \le B$ $\sum c_{i} \leq B$ 를 만족하면서 스코어의 합 $\sum p_i$ $\sum p_{i}$ 를 최대화하는 오래된 단위들의 부분 집합 $S^*$ $S^{*}$ 를 선택합니다.
- 이 선택은 **추출적(extractive)**입니다: 단위들은 있는 그대로(verbatim) 유지됩니다. 요약이나 재작성이 발생하지 않으므로 정확한 식별자와 값을 보존합니다.
- 최근 윈도우 $R_k$ (예: 마지막 5단계)는 항상 제한 없이 유지됩니다.

자기 지도 학습 (Self-Supervised Training)

비싼 인간 주석 작업을 피하기 위해, LRE는 시스템 자체의 행동(사후 관찰)으로부터 레이블을 도출합니다:

에이전트 도메인 (AppWorld): 특정 단계가 도입한 식별자(예: ID, 토큰)가 이후 $\ge 3$ 개의 단계에서 재사용되는 경우 해당 단계를 양성( $y=1$ )으로 레이블링합니다. 이는 "하중을 견디는 상태"를 식별합니다.
대화 도메인 (LoCoMo/LongMemEvalS): 특정 턴의 내용 토큰이 세션 후반부에 제기된 질문에 대한 최종 답변과 $\ge 40\%$ 의 중복을 보이는 경우 양성으로 레이블링합니다.
결과: 이 접근 방식은 LongMemEvalS에서 인간 골드 레이블로 학습된 전체 지도 학습 모델 성능의 **95%**를, LoCoMo에서는 **82%**를 회복합니다.

주요 기여

쿼리에 무관한 선제적 정책: LRE는 미래의 쿼리에 접근할 수 없는 최초의 학습된 제거 정책이며, 따라서 다음 단계가 알려지지 않은 실시간 에이전트 루프에 적합합니다.
구절 그대로의 충실도 (Verbatim Fidelity): 패러프레이징을 하는 압축 방식과 달리, LRE는 나타난 그대로의 단위를 추출합니다. 이는 요약이 파괴할 수 있는 불투명한 자격 증명(토큰, ID 등)을 보존하는 데 매우 중요합니다.
극도의 효율성:
- 제로 신경망 비용: 스코어러는 GPU 순전파나 LLM 호출 없이 CPU에서 실행됩니다.
- 속도: 초당 약 1,181개의 단위를 스코어링하며, 이는 밀집 인코더(~~103 단위/초)나 토큰 프루닝 LLM(~~36 단위/초)보다 훨씬 빠릅니다.
- 모델 크기: 스코어러는 단 몇 킬로바이트에 불과합니다.
주석이 필요 없는 감독: "관련성"이 외부의 인간 레이블링 없이도 시스템 로그(재사용 패턴)로부터 학습될 수 있음을 입증했습니다.

실험 결과

에이전트 성능 (AppWorld)

태스크 성공: 2048-토큰 예산에서, LRE는 **41.1%**의 태스크 성공률을 달성하여 전체 이력을 유지했을 때의 성공률인 **44.0%**와 일치하는 성능을 보였습니다.
비교:
- FIFO (최신성): 성공률이 34.5%로 떨어집니다. 에이전트가 자격 증명을 잃어 루프에 빠집니다.
- ACON (LLM 압축): 성공률이 26.2%로 떨어집니다. 요약 과정에서 정확한 토큰을 잃어 재인증 루프가 발생합니다.
- LRE: 다른 어떤 정책(일부 엣지 케이스의 전체 이력 유지 포함)도 완료하지 못한 14개의 태스크를 해결했습니다.
효율성: LRE는 평균 19단계만에 태스크를 완료하며, 이는 FIFO(30.6단계) 및 ACON(33.5단계)보다 빠릅니다. 또한 ACON이 태스크당 약 5.45회의 호출을 요구하는 것과 달리, LRE는 압축기 호출이 전혀 필요 없습니다.
컨텍스트 감소: 최악의 경우인 무제한 베이스라인과 비교하여 피크 컨텍스트 크기를 최대 **52%**까지 줄이면서도 높은 정확도를 유지합니다.

대화형 메모리 (LoCoMo & LongMemEvalS)

관련성 랭킹: LRE는 LoCoMo에서 0.829, LongMemEvalS에서 0.708의 Macro-AUC를 달합니다.
베이스라인 비교: 밀집 임베딩 인코더(0.643)와 토큰 프루닝 방법(0.402)이 신경망 순전파를 사용함에도 불구하고, LRE는 이들을 능가합니다. 최신성 및 감쇠(decay) 모델은 무작위 수준(0.478)에 머뭅로 있습니다.
다운스트림 QA: QA 모델의 유지 정책으로 사용되었을 때, LRE는 최신성 및 콘텐츠 살리언스(salience) 베이스라인보다 고정된 예산 하에서 가장 좋은 답변 품질을 제공합니다.

의의 및 주장

본 논문은 저렴한 학습된 관련성(learned relevance)이 LLM 에이전트의 선제적 메모리 유지를 위해 충분하다고 주장합니다.

압축보다 충실도: 기존 시스템의 주요 실패 모드는 단순히 "잊는 것"이 아니라, 요약(압축)을 통해 상태를 "왜곡"하거나 최신성(recency)을 통해 상태를 "잃는" 것입니다. LRE는 추출적 방식을 우선시함으로써 이를 해결합니다.
배포 가능성: LRE는 쿼리에 무관하고, CPU 전용이며, 주석이 필요 없기 때문에 지연 시간과 비용이 제약 조건인 실제 운영 시스템에 실용적인 정책입니다.
자기 완결성: 시스템은 외부의 감독 없이도 자신의 운영 로그로부터 무엇을 유지할지 학습할 수 있습니다.

저자들은 선제적 제거가 모든 미래의 필요를 완벽하게 예측할 수는 없다는 점(근본적인 한계)을 인정하면서도, LRE와 같은 학습된 추출적 정책이 현재의 베이스라인들이 따라올 수 없는 정확도, 비용, 충실도의 파레토 최적(Pareto-optimal) 균형을 제공한다고 결론짓습니다.