💬 NLP

Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

이 논문은 메모리 작업을 학습 가능한 마르코프 결정 과정(Markov Decision Process)으로 취급하여 경량 컨텍스추얼 밴딧(contextual bandit)을 통해 검색, 주입 및 공고화 전략을 동적으로 조정하는 프레임워크인 MemCon을 소개하며, 이를 통해 다양한 벤치마크에서 정적이고 휴리스틱에 기반한 메모리 시스템과 비교하여 LLM 에이전트의 성능과 효율성을 크게 향상시킨다.

원저자: Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

게시일 2026-07-16

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 똑똑한 로봇에게 새로운 비디오 게임을 가르치고 있다고 상상해 보세요. 당신은 로봇이 플레이할 때마다 더 나아지기를 원하므로, 무엇이 효과가 있었고 무엇이 효과가 없었는지 적어둘 수 있는 공책을 줍니다. 이것이 바로 거대 언어 모델(LLM) 에이전트의 세계입니다. LLM 에이전트는 대화하고, 계획을 세우고, 도구를 사용하여 문제를 해결할 수 있는 AI 프로그램입니다. 이들을 진정으로 똑똑하게 만드는 핵심은 단순히 로봇의 두뇌뿐만이 아닙니다. 그것은 바로 공책, 즉 **메모리(memory)**입니다. 만약 로봇이 과거의 실수를 기억할 수 있다면, 같은 실수를 반복하지 않을 것입니다. 만약 어제 효과가 있었던 영리한 기술을 기억한다면, 오늘 그것을 사용할 수 있을 것입니다.

오랫동안 과학자들은 이 공책을 정적인 라이브러리(도서관)라고 생각했습니다. 그들은 "항상 마지막 세 페이지를 본다"라거나 "항상 가장 유사한 이야기를 검색한다"와 같은 규칙을 만들었습니다. 이는 마치 어떤 책을 요구하더라도 변하지 않는 엄격한 대본을 따르는 사서와 같습니다. 하지만 현실 세계는 복잡합니다. 때로는 인덱스(색인)를 빠르게 훑어봐야 할 때가 있고, 다른 때에는 한 장 전체를 읽어야 할 때도 있습니다. 때로는 새로운 노트를 위한 공간을 만들기 위해 오래된 노트를 버려야 할 때도 있습니다. 이 논문이 다루는 큰 질문은 이것입니다: 우리가 로봇에게 경직된 대본을 따르는 대신, 언제 읽고, 언제 쓰고, 무엇을 잊을지를 결정하며 스스로의 공책을 관리하도록 가르칠 수 있을까?

문제점: 고장 난 사서를 둔 로봇

우리의 로봇 에이전트를 만나봅시다. 이 로봇은 퍼즐을 풀거나, 가상 주택을 탐색하거나, 까다로운 질문에 답하려고 노력 중입니다. 이 로봇은 메모리 시스템을 가지고 있지만, 지금까지 그 시스템은 다소 서툴렀습니다. 대부분의 기존 시스템은 "고정된 파이프라인"을 사용합니다. 당신이 무엇을 묻든 상관없이 항상 선반에서 상위 5권의 책을 꺼내 당신에게 건네주는 사서를 상상해 보세요.

만약 당신이 "날씨가 어때?"와 같은 단순한 질문을 한다면, 사서는 당신의 책상 위에 무거운 백과사전 다섯 권을 쏟아부을지도 모릅니다. 그것은 너무 많은 소음(noise)입니다! 하지만 만약 당신이 "1990년대 도구만을 사용하여 고장 난 엔진을 어떻게 고칠 수 있을까?"와 같은 복잡한 질문을 한다면, 똑같은 사서는 더 깊이 찾아보는 것을 두려워하여 단 하나의 관련 없는 팸플릿만을 건네줄 수도 있습니다. 로봇은 너무 많은 정보 때문에 혼란에 빠지거나, 꼭 필요한 단 하나의 결정적인 단서를 놓쳐서 갇혀버리게 됩니다.

이 논문의 저자들은 이러한 "일률적인(one-size-fits-all)" 접근 방식이 로봇이 더 빨리 배우지 못하는 주요 원인이라고 주장합니다. 그들은 최선의 메모리 행동은 상황에 따라 달라져야 한다고 믿습니다:

게임 초기 단계: 로봇은 아직 경험이 없으므로, 빈 공책을 뒤지며 시간을 낭비해서는 안 됩니다.
막혔을 때: 로봇이 똑같은 잘못된 행동을 반복하고 있다면, 기존의 방식과는 다른 종류의 탐색이 필요합니다.
기술을 알고 있을 때: 만약 로봇이 이미 유사한 퍼즐을 해결했다면, 단서를 찾기 위해 검색할 것이 아니라, 이전에 적어두었던 "치트 시트(계획)"를 꺼내기만 하면 됩니다.

해결책: MEMCON, 똑똑한 사서

MEMCON(Memory as a Controlled Process)이 등장합니다. 저자들은 새로운 유형의 공책을 만든 것이 아니라, 어떠한 기존 메모리 시스템 위에서도 작동하는 똑-똑하고 적응력 있는 사서를 만들었습니다.

MEMCON을 로봇이 공책을 펼치기도 전에 스스로에게 세 가지 질문을 던지는 작고 매우 빠른 의사결정자라고 생각해보세요:

언제 찾아봐야 하는가?
무엇을 찾아봐야 하는가?
얼마나 많이 가져와야 하는가?

하드코딩된 규칙을 사용하는 대신, MEMCON은 메모리 관리를 전략 게임처럼 취급합니다. MEMCON은 **마르코프 결정 과정(Markov Decision Process)**이라는 수학적 접근 방식(모든 선택이 새로운 상태로 이어지는 순서도를 상상해 보세요)을 사용합니다. 이 게임의 "플레이어"는 메모리 컨트롤러이며, 그 "수(moves)"에는 다음이 포함됩니다:

검색(Retrieving): 오래된 노트를 꺼내옵니다.
계획 주입(Injecting a Plan): 미리 작성된 "치트 시트"를 로봇의 정신 속으로 밀어 넣습니다.
재검색(Re-retrieving): 첫 번째 검색이 실패했기 때문에 새로운 검색 쿼리를 시도합니다.
통합(Consolidating): 지저한 노트들을 깔끔한 요약본으로 합칩니다.
망각(Forgetting): 공간을 만들기 위해 오래되고 쓸모없는 쓰레기를 버립니다.

마법은 MEMCON이 학습하는 방식에 있습니다. MEMCON은 방대한 데이터에 대해 사전 훈련될 필요가 없습니다. 대신, 로봇이 게임을 플레이하는 동안 실시간으로(on the fly) 학습합니다. 로봇이 작업을 마칠 때마다 MEMCON은 점수를 받습니다: "성공!" 또는 "실패." 만약 로봇이 성공했다면, 그 성공으로 이어진 메모리 선택들은 "하이파이브(보상)"를 받습니다. 만약 실패했다면, 그 선택들은 "엄지 아래로(벌점)"를 받습니다.

단 몇 십 개의 작업만으로도 MEMCON은 완벽한 전략을 파악해냅니다. MEMCON은 "초기 단계"의 작업에는 얕은 검색이 가장 좋다는 것을 배웁니다. 로봇이 "막혔을 때"는 완전히 다른 각도로 검색을 시도해야 한다는 것을 배웁니다. 복잡한 수학 문제의 경우, 특정 사례를 검색하는 것보다 일반적인 계획을 주입하는 것이 더 낫다는 것을 배웁니다.

결과: 더 똑똑하고, 더 빠르고, 더 저렴하게

연구팀은 가상 주택 탐색(ALFWorld)부터 과학 퍼즐 해결(ScienceWorld), 까다로운 상식 퀴즈 답변(GAIA)에 이르기까지 6가지 서로 다른 벤치마크에서 MEMCO를 테스트했습니다. 그들은 세 가지 서로 다른 로봇 프레임워크와 세 가지 서로 다른 "두뇌"(기저 AI 모델)와 함께 이를 테스트했습니다.

결과는 인상적이었습니다. MEMCON은 일관되게 기존의 가장 우수한 메모리 시스템들을 능가했습니다.

더 높은 점수: 일부 테스트에서 MEMCON은 로봇의 성공률을 최대 15.2 포인트까지 향상시켰습니다. 예를 들어, ALFWorld 벤치마크에서 MEMCON은 **67.9%**의 성공률을 달성했으며, 이는 테스트된 모든 메모리 시스템 중 가장 높은 점수였습니다.
적은 낭비: 보통 시스템을 더 똑똑하게 만들면 더 많은 컴퓨터 자원을 사용하게 됩니다. 하지만 MEMCON은 반대로 동작했습니다. 정확히 무엇을 검색해야 할지 알았기 때문에, 쓸모없는 정보를 끌어오는 것을 피했습니다. 이를 통해 로봇이 처리해야 하는 데이터 양을 **5%에서 20%**까지 줄였습니다.
추가 비용 없음: AI에게 무엇을 기억할지 "생각"하도록 요청하여 추가 비용이 발생하는 다른 시스템들과 달리, MEMCON은 단순한 룩업 테이블(lookup table)을 사용하여 밀리초 단위로 결정을 내립니다. 이는 AI 모델에 대한 호출을 **제로(0)**로 유지합니다.

이것이 왜 중요한가

이 논문은 똑똑한 로봇의 미래가 단순히 더 큰 두뇌나 더 큰 공책을 만드는 것에 있지 않다고 제안합니다. 그것은 그 공책을 위한 더 나은 관리자를 만드는 것에 있습니다.

저자들은 메모리가 단순히 데이터를 들이붓고 제대로 나오길 바라는 정적인 파이프라인이 되어서는 안 된다는 것을 보여줍니다. 대신, 메모리는 **제어된 프로세스(controlled process)**가 되어야 합니다. 에이전트가 자신의 경험에 접근하는 방법을 학습하게 함으로써, 우리는 더 똑똑할 뿐만 아니라 더 효율적인 로봇을 만들 수 있습니다. 이들은 더 빨리 배우고, 실수를 덜 하며, 자신의 기록에 휩쓸리지 않습니다.

요약하자면, MEMCON은 로봇에게 자신의 메모리를 다스리는 주인이 되는 법을 가르쳐, 클루(단서)가 필요할 때 관련 없는 노트의 바다에서 길을 잃지 않고 적절한 시점에 정확한 단서를 찾을 수 있도록 보장합니다. 이는 메모리를 관리하는 방식의 작은 변화이지만, 이러한 디지털 에이전트들이 얼마나 잘 배우고 성장할 수 있는지에 있어 엄청난 차이를 만들어내는 것으로 보입니다.

기술 요약: 제어된 프로세스로서의 메모리 (MEMCON)

문제 정의

대규모 언어 모델(LLM) 에이전트는 과업 전반에 걸쳐 경험을 축적하기 위해 외부 메모리 시스템에 점점 더 많이 의존하고 있습니다. 그러나 그래프 구조 메모리부터 성찰적 통찰 저장소(reflective insight stores)에 이르기까지 기존의 접근 방식들은 일반적으로 고정된, 수동으로 설계된 휴리스틱을 통해 메모리에 접근합니다. 이러한 시스템은 에이전트의 현재 상태와 관계없이 단일한 글로벌 리트리버(global retriever)를 하드코딩된 파라미터(예: top- $k$ , 그래프 홉 깊이, 쿼리 템플릿)와 함께 호출하는 정적인 파이프라인을 채택합니다.

저자들은 이러한 정적인 관점이 에이전트 학습에 있어 근본적인 병목 현상이라고 주장합니다. 왜냐하면 최적의 메모리 동작은 **문맥 의존적(context-dependent)**이기 때문입니다:

과업 초기 단계: 메모리가 희소하므로 최소한의 검색이 유리합니다. 무분별한 검색은 프롬프트를 희석시킵니다.
반복되는 목표 유형: 일반적인 최근접 이웃(nearest-neighbor) 조회보다는 계획 재사용(정제된 템플릿)이 유리합니다.
막힌 에이전트: 실패한 top- $k$ 결과를 다시 읽기보다는 대안적인 쿼리를 사용하여 재검색(re-retrieval)하는 것이 유리합니다.
긴 과업 스트림: 메모리 저장소가 압도적으로 커지는 것을 방지하기 위해 통합(consolidation)과 제거(pruning)가 필요합니다.

단 하나의 고정된 휴리스틱도 이 모든 상황을 만족시킬 수 없습니다. 또한, MemGPT와 같은 일부 연구는 LLM 자체를 컨트롤러로 사용하여 메모리를 적응형으로 만들지만, 이는 메모리 작업당 추가적인 LLM 호출 비용을 발생시킵니다. 본 논문은 추가적인 LLM 호출 없이도 적응 가능한 **학습된 경량 컨트롤러(learned, lightweight controller)**의 필요성을 제기합니다.

방법론: MEMCON

저자들은 메모리 작업을 순차적 의사결정 문제로 모델링하는 MEMCON(Memory as a Controlled Process) 프레임워크를 소개합니다.

1. 메모리 마르코프 결정 과정 (MDP)

MEMCON은 메모리 접근을 MDP, $\mathcal{M}_{mem} = (\mathcal{S}, \mathcal{A}, \mathcal{T}, \mathcal{R}, \gamma)$ 로 재구성합니다:

상태 ( $\mathcal{S}$ ): 과업 진행 신호(목표 유형, 단계 페이즈, "막힘" 지표, 방문 위치)와 메모리 상태(크기, 계획 가용성, 학습 단계)의 융합입니다. 상태는 테이블 학습을 가능하게 하기 위해 압축 가능한 해시 가능한 키 $\phi(s)$ 로 이산화됩니다.
행동 ( $\mathcal{A}$ ): 유한한 메모리 작업 및 그 파라미터 세트입니다:
- 작업: RETRIEVE(검색), PLANINJECT(정제된 성공 계획 삽입), RE-RETRIEVE(대안 쿼리 사용), CONSOLIDATE(통합), FORGET(망각), NOOP(동작 없음).
- 파라미터: top-k, insight-k, hop 깊이.
보상 ( $\mathcal{R}$ ): 환경 피드백(성공/실패) 및 효율성(토큰/스텝 수)을 바탕으로 과업 종료 시 관찰됩니다. 성공적이고 효율적인 궤적은 더 높은 점수를 받습니다.
전이 ( $\mathcal{T}$ ): 환경 전이는 컨트롤러에게 불투명합니다. 시스템은 MDP를 에피소드 수준의 (몬테카를로) 피드백을 갖는 **컨텍스트드 멀티 암드 밴딧(contextual bandit)**으로 취급합니다.

2. 온라인 정책 학습

MEMCON은 사전 훈련 없이(zero pretraining), 그리고 추가적인 LLM 호출 없이(zero additional LLM calls) 배포 중에 온라인으로 정책 $\pi: \mathcal{S} \to \mathcal{A}$ 를 학습합니다.

알고리-즘: 상한 신뢰 구간(Upper Confidence Bound, UCB) 탐색을 사용하는 경량 테이블 컨텍스트드 밴딧을 사용합니다.
웜 스타트 사전 확률(Warm-Start Priors): 초기 수렴을 가속화하기 위해 Q-값을 해석 가능한 사전 확률로 초기화합니다 (예: RETRIEVE와 PLANINJECT에는 양수, NOOP에는 음수).
신용 할당(Credit Assignment): 업데이트는 **역방향 할인 몬테카를로 리턴(reverse-discounted Monte-Carlo return)**을 사용합니다. 종단 결과에 가까운 시점에 수행된 행동은 더 강한 신용을 받으며, 이를 통해 시스템은 어떤 메모리 작업이 성공이나 실패에 기여했는지 학습할 수 있습니다.
지속성(Persistence): Q-테이블은 디스크에 저장되어 실행 및 과업 스트림 전반에 걸쳐 학습이 이어질 수 있도록 합니다.

3. 백엔드 불가지론적 래퍼 (Backend-Agnostic Wrapper)

MEMCON은 새로운 메모리 저장소가 아니라, 기존 메모리 백엔드의 추상적인 retrieve 및 `store$ entry point를 가로채는 **얇은 래퍼(thin wrapper)**입니다.

이는 학습된 정책에 따라 백엔드를 호출하는 방법(어떤 작업과 파라미터를 사용할지)을 결정합니다.
다음 두 가지 확장된 작업을 지원합니다:
1. 일반화된 계획 삽입(Generalized Plan Injection): 성공적인 과업에서 행동 시퀀스를 추출하여, 인스턴스 특정 식별자를 플레이스홀더(예: shelf 3 $\to$ [shelf])로 교체한 후, 동일한 유형의 미래 쿼리에 템플릿을 삽입합니다.
2. 목표 분해(Goal Decomposition): 복합 과업(예: "두 개의 휴대폰을 놓아라")에 대해 객체를 순차적으로 처리하는 전략을 주입하는 결정론적 휴리스틱입니다.

주요 기여

정식화: 저자들은 에이전트 메모리 관리를 Memory MDP로 정식화하고, 저장 백엔드와 제어 정책을 분리하여 기존의 어떤 메모리 시스템도 적응형 제어를 상속받을 수 있게 하는 백엔드 불가지론적 래퍼를 도입했습니다.
알고리즘: UCB 탐색, 웜 스타트 사전 확률, 역방향 할인 몬테카를로 신용 할당을 사용하는 온라인 컨텍스트드 밴딧 정책을 제안합니다. 이 정책은 추가적인 LLM 호출 없이 수십 개의 과업 내에서 수렴합니다.
평가: 6개의 벤치마크(대화형 의사결정 및 QA/웹/도구 사용), 3개의 에이전트 프레임워크, 3개의 LLM 백본에 대한 광범위한 평가를 통해 일관된 정확도 향상과 토큰 절감을 입증했습니다.

실험 결과

저자들은 MEMCON을 9개의 강력한 메모리 베이스라인(벡터 검색, 스킬 라이브러리, 궤적 요약, 인사이트 기반 학습, 그래프 구조 메모리 포함) 및 메모리가 없는 베이스라인과 비교 평가했습니다.

성능: MEMCON은 일관되게 최고 또는 최상위 수준의 과업 성공률을 달al했습니다.
- GPT-4.1-mini에서 MEMSON은 18개의 프레임워크 $\times$ 벤치마크 셀 중 9개에서 최고 점수를 기록했습니다.
- Claude Sonnet-4에서 18개 셀 중 15개에서 최고를 기록했습니다.
- DeepSeek-V3.2에서 9개의 인터랙티브 셀 모두와 18개 셀 전체 중 15개에서 최고를 기록했습니다.
- 이득은 특히 인터랙티브 의사결정 과업(예: ALFWorld, PDDL, ScienceWorld)에서 두드러졌으며, MEMCON은 베이스라인 대비 성공률을 최대 15.2 포인트 향상시켰습니다.
효efficiency: 더 많은 컨텍스트가 더 나은 성능을 요구한다는 직관과 달리, MEMCON은 정확도를 개선하면서도 과업당 토큰 소비량을 5~20% 감소시켰습니다. 학습된 정책은 메모리가 희소하거나 관련이 없을 때 검색을 억제하고, 템플릿이 존재할 때 최근접 이웃 검색을 계획 삽입으로 성공적으로 대체했습니다.
일반화: MEMCON은 QA 및 웹/도구 사용 벤치마크(TriviaQA, WebWalkerQA, GAIA)에서도 잘 일반화되었으며, 이는 적응형 제어가 순수하게 인터랙티브한 환경을 넘어 유익함을 보여줍니다.
절제 연구(Ablation): 구성 요소 분석 결과, 학습된 UCB 컨트롤러가 성능 향상의 가장 큰 기여자(정적 백엔드 대비 대부분의 개선을 차지)였으며, 확장된 작업(계획 삽입, 목표 분해)은 특정 시나리오에서 추가적이지만 선택적인 이점을 제공했습니다.

의의 및 주장

본 논문은 LLM 에이전트를 위한 효과적인 장기 메모리는 무엇을 저장하느냐뿐만 아니라, 시간에 따라 메모리를 어떻게 접근하고 관리해야 하는지를 학습하는 것에 달려 있다고 주장합니다.

메모리 작업을 정적인 파이프라인이 아닌 제어된 의사결정 과정으로 취급함으로써, MEMCON은 다음을 입증합니다:

적응성이 필수적이다: 단일 고정 휴리스틱은 다양한 과업 단계, 메모리 상태 및 에이전트 진행 상황에 걸쳐 메모리 접근을 최적화할 수 없습니다.
경량 제어가 가능하다: 학습된 컨트롤러는 단순한 테이블 방식의 밴딧을 통해 구현될 수 있으며, (MemGPT처럼) 컨트롤러로서 LLM 자체를 사용하는 데 따르는 계산 오버헤드를 피할 수 있습니다.
분리가 유익하다: 메모리 제어 정책을 저장 백엔드와 분리함으로써, 어떤 메모리 시스템이라도 저장 계층을 재설계하지 않고도 즉각적으로 적응형 능력을 갖출 수 있는 모듈형 개선이 가능합니다.

저자들은 고정된 메모리 파이프라인을 경량화된 학습된 컨트롤러로 교체하는 것이 계산 비용을 줄이는 동시에 일관된, 프레임워크 및 백본 불가지론적인 정확도 이득을 가져온다고 결론짓습니다.