🤖 AI

AdMem: Advanced Memory for Task-solving Agents

이 논문은 LLM 기반 에이전트의 장기 과업 수행을 위한 확장 가능한 적응형 학습과 성능 향상을 가능하게 하기 위해, 의미적, 일화적, 절차적 기억을 멀티 에이전트 아키텍처 내에 통합하는 통일된 자동 메모리 프레임워크인 AdMem을 소개한다.

원저자: Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하지만 잘 까먹는 조수가 있다고 상상해 보세요. 이 조수는 퍼즐을 하나씩 해결하는 데는 매우 뛰어나지만, 며칠에 걸쳐 길고 복잡한 일련의 퍼즐을 풀라고 시키면 길을 잃곤 합니다. 첫 번째 퍼즐의 첫 단계는 기억할지 몰라도, 두 번째 퍼즐의 세 번째 단계를 어떻게 풀었는지는 잊어버릴 수 있습니다. 혹은 어제 했던 실수를 배우지 못해 똑같은 실수를 반복하기도 합니다.

이 논문은 이러한 AI 조수들에게 체계적인 '슈퍼차지된 뇌'를 부여하여, 혼란 없이 길고 복잡한 업무를 처리할 수 있도록 설계된 새로운 시스템인 AdMem을 소개합니다.

작동 원리는 다음과 같습니다. 이해하기 쉽게 개념별로 나누었습니다.

1. 문제점: "주의 집중 시간이 짧은" AI

현재의 AI 모델은 매우 짧은 단기 기억을 가진 사람과 같습니다. 긴 대화나 여러 단계의 과제가 주어지면, 최근의 몇 문장만을 머릿속에 담아둘 수 있습니다.

기존 방식: 이전의 해결 시도들은 AI에게 거대한 공책을 주는 것과 같았습니다. 그들은 사실(예: "하늘은 파랗다")이나 일어난 일의 요약본을 기록했습니다. 하지만 그들은 주로 '방법'을 잊어버렸습니다. 만약 AI가 단계에서 실패한다면, 공책는 왜 실패했는지, 혹은 다음에 어떻게 고쳐야 하는지를 알려주지 못했습니다.
공백: AI에게는 단순히 무엇이 일어났는가뿐만 아니라, 어떻게 결정을 내려야 하는지(방법)를 기억할 방법이 필요했으며, 어떤 기억이 실제로 유용한지, 어떤 것이 단순한 잡동사니인지 구분할 능력이 필요했습니다.

2. 해결책: 3인 팀 구성

하나의 AI가 모든 것을 하려고 하는 대신, AdMem은 함께 협력하는 세 명의 특화된 "에이전트"(AI 작업자)로 구성된 작은 팀을 설정합니다.

배우 (The Actor, 실행자): 당신과 대화하며 실제 업무를 수행하는 메인 AI입니다. 현재 진행 중인 즉각적인 과제를 위해 "단기 기억"(포스트잇 같은 것)을 유지합니다.
비평가 (The Critic, 코치): 이 시스템에서 가장 똑똑한 부분입니다. 배우가 작업하는 동안 비평가는 면밀히 관찰합니다. 배우가 단계를 밟을 때마다 비평가는 묻습니다: "그게 효과가 있었나? 목표를 달est 달성했나?" 만약 배우가 실수를 했다면, 비평가는 왜 실패했는지와 다음에 어떻게 더 잘할 수 있는지에 대한 노트를 작성합니다. 배우가 성공했다면, 비평가는 그 성공의 레시피를 기록합니다.
사서 (The Librarian, 기억 관리자): 거대하고 조직화된 장기 기억 도서관을 관리합니다. 단순히 모든 것을 저장하는 것이 아니라, 세 가지 특정 섹션으로 분류하여 정리합니다:
1. 의미 기억 (Semantic Memory, 백과사전): 일반적인 사실과 지식 (예: "도구 사용법").
2. 일화 기억 (Episodic Memory, 일기): 과거 사건의 요약 (예: "지난 화요일, 우리는 비행기를 예약하려 했으나 실패했다").
3. 절차 기억 (Procedural Memory, 요리책): 가장 중요한 부분입니다. 과거의 성공과 실패를 바탕으로 한 "방법 가이드"를 저장합니다. 이는 "만약 X를 시도한다면, 지난번에 Z가 실패했으므로 Z 대신 Y를 하라"고 적혀 있는 요리책과 같습니다.

3. 협업 방식: "피드백 루프"

배우가 케이크를 굽는 과정(과제)을 상상해 보세요.

계획: 배우는 "요리책"(절차 기억)을 살펴보고 이전에 이 케이크를 구워본 적이 있는지 확인합니다.
실행: 배우가 재료를 섞습니다.
검토: 비평가가 지켜봅니다. 만약 케이크가 타버린다면, 비평가는 단순히 "나쁨"이라고 말하지 않습니다. 대신 구체적으로 적습니다: "다음에는 열을 10도 낮출 것."
저장: 사서는 그 노트를 가져와서 그것이 유용한지 확인한 후, 요리책에 추가합니다. 또한 그 노트에 "점수"를 부여합니다. 만약 그 노트가 나중에 배우의 성공을 돕는다면 점수가 올라갑니다. 만약 그 노트가 거의 사용되지 않거나 실수를 유발한다면, 사서는 공간을 확보하기 위해 결국 그것을 버립니다.

4. "스마트 필터" (왜 혼란스러워지지 않는가)

기억 시스템의 흔한 문제는 너무 많은 쓰레기로 가득 차는 것입니다. AdMem은 보상 시스템을 통해 이를 해결합니다.

AI가 도서관의 기억을 사용하려고 할 때마다, 시스템은 확인합니다: "이 기억이 우리가 승리하는 데 도움이 되었는가?"
만약 어떤 기억이 AI의 성공을 돕는다면, 높은 점수를 받고 도서관에 남습니다.
만약 어떤 기억이 거의 사용되지 않거나 실패로 이어진다면, 그 점수는 떨어집니다. 점수가 너무 낮아지면 사서는 그것을 삭제합니다.
이를 통해 AI는 오직 "최고의 레시피"만을 유지하고 나쁜 것은 잊어버리게 되어, 시간이 지남에 따라 더 똑똑해집니다.

5. 결과: 연습을 통한 발전

저자들은 다양한 디지털 환경(비디오 게임, 웹 브라우징, 도구 사용 등)에서 이 시스템을 테스트했습니다.

연구 결과: 다른 방법들과 비교했을 때, AdMem은 길고 여러 단계가 있는 과제를 완수하는 데 훨씬 뛰어났습니다.
"자기 개선": AI에게 동일한 유형의 과제(예: 게임을 2라운드 또는 3라운드 플레이하기)를 반복해서 요청했을 때, 성능이 현저히 향상되었습니다. AI는 과거의 실수와 성공으로부터 학습한 반면, 다른 방법들은 계속해서 똑같은 오류를 범했습니다.

요약

AdMem은 AI에게 개인 코치와 스마트한 파일 보관함을 주는 것과 같습니다. 단순히 사실을 기억하는 것이 아니라, 어떻게 생각하고 어떻게 행동해야 하는지를 기억합니다. AI는 끊임없이 자신의 성과를 검토하고, 좋은 교훈은 간직하며, 나쁜 교훈은 버리고, 그 지식을 사용하여 복잡한 문제를 해결하는 능력을 키워나갑니다.

기술 요약: AdMem – 태스크 해결 에이전트를 위한 고급 메모리

문제 정의

대규모 언어 모델(LLM)은 추론 및 도구 사용 측면에서 상당한 진전을 보여주었으나, 세션 전반에 걸쳐 지식을 기억하고, 조직하며, 재사용해야 하는 장기적 호라이즌(long-horizon) 태스크에서는 여전히 한계를 보이고 있다. 기존 연구들은 구조적 변화(예: 미분 가능한 어텐션)나 기호적/텍상적 저장소(예: 검색 증강 생성, 컨텍스트 페이징)를 통해 메모리 문제를 다루어 왔으나, 기존 방식들은 다음과 같은 구체적인 한계점을 갖는다:

사실적/일화적 데이터에 집중: 많은 시스템이 사실적 정보의 저장이나 이력 압축을 우선시하며, 절차적 메모리(procedural memory)(의사결정 가이드)를 간과한다.
비효적인 절차적 메모리: 최근의 절차적 메모리 연구들은 성공적인 궤적을 단순히 재생하는 수준에 그치며, 실패 사례를 다루거나 모델이 일반적으로 실패하는 결정적인 단계에 대해 세밀한 피드백을 제공하지 못한다.
온라인 확장성 부족: 대부분의 절차적 메모리 시스템은 희소하고 이진적인 태스크 수준의 피드백만을 사용하는 오프라인 학습-추론 환경에서 작동한다. 이들은 온라인, 평생 학습(lifelong) 환경을 위한 자동 메모리 평가, 능동적 삭제, 재순위 지정 및 적응형 호출 메커니즘이 부족하다.
이론-실제 간의 격차: 이론적 프레임워크는 단기/장기, 의미/일화/절차적 메모리 및 피드백 루프를 갖춘 이상적인 에이전트를 제안하지만, 실제 구현에서는 보상 기반 업데이트, 신념 모델링, 신용 할당(credit assignment)과 같은 핵심 구성 요소를 생략하는 경우가 많다.

방법론: AdMem 프레임워크

저자들은 평생 학습 태스크 해결 에이전트를 위해 설계된 통합 자동 메모리 프레임워크인 AdMem을 소개한다. 이는 이중 계층 설계(단기 및 장기) 내에서 의미적, 일화적, 절차적 메모리를 통합하며, Actor(행위자), Critic(비판자), **Memory Agent(메모리 에이전트)**로 구성된 다중 에이전트 아키텍처를 활용한다.

1. 다중 에이전트 아키텍처

Actor Agent (행위자 에이전트): 환경과 상호작용하는 LLM 기반 에이전트이다. 매 턴마다 업데이트되고 태스크 종료 시 초기화되는 단기 메모리(Short-Term Memory, STM) 상태를 유지한다. STM은 장기 메모리로 인코딩된다. Actor는 메모리 도구를 사용하여 계획, 생각, 하위 목표를 생성한다.
Critic Agent (비판자 에이전트): 절차적 메모리 생성을 담당하는 LLM 기반 에이전트이다. Actor로부터 전달받은 "미완성된(half-baked)" 메모리 항목(컨텍스트, 행동, 예상 결과)과 실제 관찰 결과를 받는다. 예상 결과와 실제 결과를 비교하여 다음을 수행한다:
- 컨텍스트와 행동 요약.
- 더 나은 대안 제안.
- 보상 신호( $r_t \in \{0, 1\}$ ) 및 성찰(reflection) 할당.
- 향후 의사결정을 가이드할 절차적 메모리 항목 생성.
Long-Term Memory (LTM) Agent (장기 메모리 에이전트): 지속적인 저장소 $M$ $M$ 을 관리하는 검색 기반 에이전트이다. 세 가지 유형의 메모리를 저장한다:
- 의미적 메모리 ( $M_S$ ): 환경 또는 태스크에 관한 사실 및 일반 지식.
- 일화적 메모리 ( $M_E$ ): 과거 상호작용 이벤트의 요약.
- 절차적 메모리 ( $M_P$ ): 과거 행동에서 추출된 의사결정 가이드로, 예상 결과와 보상 주석을 포함한다.

2. 메모리 관리 및 검색

이중 계층 아키텍처:
- 단기 메모리 (STM): 컴퓨터 프로그램 실행에서 영감을 받은 스택 기반 구조를 사용한다. 현재의 하위 목표와 계획을 유지하며, 컨텍스트 길이를 효율적으로 관리하기 위해 현재 하위 목표 이외의 턴들을 압축한다.
- 장기 메모리 (LTM): **보상 기반 평가, 병합 및 가지치기(pruning)**를 통해 관리된다.
절차적 메모리 검색 및 평가:
- 시스템은 적응형 파라미터 $v_m \in [0, 1]$ 를 사용하여 절차적 메모리 항목 $m$ 의 효과성을 모델링한다.
- 태스크 성공은 검색된 메모리가 도움이 되는지에 따라 영향을 받는 이진 확률 과정이라고 가정한다.
- 기댓값 최대화(Expectation-Maximization, EM) 알고리즘이 관찰된 보상을 바탕으로 $v_m$ 을 업데이트한다.
- 검색 점수는 컨텍스트 유사도(밀집 임베딩)와 추정된 효과성( $v_m$ )을 결합한다.
가지치기 및 병합:
- 빈도 임계값 $\epsilon$ 미만으로 검색된 메모리는 삭제된다.
- 지속적으로 함께 검색되는 메모리(빈도 $> 1-\epsilon$ )는 검색 효율성을 높이기 위해 병합된다.

3. 실행 파이프라인

Actor는 행동과 결과에 대한 명시적 **기대치(expectations)**를 생성한다. Critic은 이러한 시나리오를 캐싱한다. Actor가 실제 관찰을 받으면, Critic은 기대치와 결과를 비교하여 보상을 생성하고 메모리 저장소를 업데이트한다. 이를 통해 시스템은 성공과 실패 모두로부터 학습할 수 있으며, 다단계 태스크에서의 신용 할당 문제를 해결한다.

주요 기여

통합 메모리 프레임워크: AdMem은 의미적, 일화적, 절차적 메모리를 이중 계층(단기/장기) 설계가 있는 통합 자동 시스템에 통합한 최초의 프레임워크이다.
피드백이 포함된 절차적 메모리: 단순히 성공적인 워크플로우를 저장하는 기존 연구와 달리, AdMem은 Critic 에이전트를 사용하여 절차적 메모리에 보상 신호와 성찰을 주석으로 달아, 에이전트가 실패 사례와 결정적인 단계로부터 학습할 수 있게 한다.
적응형 메모리 관리: 본 프레임워크는 절차적 메모리를 평가, 병합 및 가지치기하기 위한 보상 기반 메커니즘을 도입하여, 온라인 환경에서의 확장성과 지속적인 개선을 보장한다.
다중 에이전트 협업: 관심사의 분리(실행을 위한 Actor, 평가를 위한 Critic, 저장/검색을 위한 Memory Agent)를 통해 수동 정책 설계 없이 자동 메모리 생성 및 적응형 검색을 가능하게 한다.

실험 결과

저자들은 다양한 도메인(Embodied AI, Text Games, Web Research, Tool Calling)에 걸친 평생 학습 스트리밍 멀티 태스크 설정을 시뮬레이션하는 AgentBoard 환경에서 AdMem을 평가하였다. 백본 LLM은 Claude Haiku 4.5를 사용하였다.

베이스라인: ReReAct(교차 태스크 메모리 없음) 및 AWM(Agent Workflow Memory, 절차적 메모리 베이스라인)과 비교하였다.
성능:
- AdMem은 대부분의 도메인에서 베이스라인을 크게 앞질렀으며, 특히 AlfWorld(AWM의 47.0% 대비 63.4% 완료)와 Tool-query(55.0% 대비 94.7%)에서 두드러졌다.
- 메모리 전이가 이점이 적은 도메인에서도 AdMem은 베이스라인과 대등하거나 약간 더 나은 성능을 유지하며, 단순한 메모리 구현에서 흔히 발생하는 "혼란(confusion)" 현상을 방지했다.
어블레이션 연구(Ablation Studies):
- **단기 계획(Short-term planning)**만 사용하는 경우 진전은 개선되었으나 호라이즌 길이에 따라 확장되지 않았다.
- **장기 메모리(Long-term memory)**만 사용하는 경우 단기 계획 도구의 지원 없이는 초기 성능 저하("burn-in")를 유발했다.
- 전체 AdMem은 가장 좋은 결과를 보였으며, 에이전트가 메모리를 축적하고 정교화함에 따라 여러 에포크에 걸쳐 성능이 향상되었다.
효율성: 다중 에이전트 파이프라인으로 인해 추가적인 LLM 호출이 발생하지만(단순 태스크의 경우 최대 3배), 에이전트의 병렬 실행이 레이턴시를 최소화하며, 시스템은 최소한의 단계당 비용보다 견고성과 학습 능력을 우선시한다.

의의 및 주장

본 논문은 AdMem이 이론적 인지 아키텍처와 실제 LLM 에이전트 구현 사이의 간극을 메운다고 주장한다. 적응형 절차적 학습을 넘어선 데서 출발함으로써, 이 프레임워크는 에이전트가 다음과 같은 능력을 갖추게 한다:

온라인 환경에서 경험을 통해 **자기 진화(Self-evolve)**한다.
사용자 및 태스크 요구 사항에 따라 동작을 커스터마이징한다.
표준 LLM이 컨텍스트 제한과 신용 할당 문제로 어려움을 겪는 장기 호라이즌, 다회차 태스크에서 견고성을 향상시킨다.

저자들은 포괄적이고 적응적인 메모리가 LLM 기반 에이전트의 발전에, 특히 지속적인 상호작용과 반복적인 개선이 필요한 시나리오에서 매우 중요하다고 강조한다. 본 연구는 성공적인 에이전트 설계에는 단순히 정보를 저장하는 것뿐만 아니라, 보상 신호를 바탕으로 정보를 능동적으로 평가, 정제 및 검색하는 과정이 필요함을 시사한다.