🤖 AI

AdaMEM: Test-Time Adaptive Memory for Language Agents

이 논문은 모델 파라미터를 업데이트하지 않고도 언어 에이전트가 동적인 환경에 지속적으로 적응할 수 있도록 장기 궤적 저장과 동적으로 생성된 단기 전략을 결합하여, ALFWorld 및 WebShop과 같은 벤치마크에서 상당한 성능 향상을 달와낸 테스트 타임 적응형 메모리 프레임워크인 AdaMEM을 소개한다.

원저자: Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

게시일 2026-06-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yunxiang Zhang, Yiheng Li, Ali Payani, Lu Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 길고 복잡한 퍼즐을 풀고 있다고 상상해 보세요. 거대한 미로를 헤매거나, 거대한 웹사이트에서 특정 아이템을 쇼핑하는 것 같은 일 말이죠. 당신에게는 똑똑한 비서(AI 에이전트)가 도움을 주고 있습니다.

문제점: "한 번 하고 끝나는" 가이드
현재 대부분의 AI 비서들은 여행 시작 시점에 단 하나의 정적인 지도를 받는 관광객처럼 작동합니다. 그들은 지도를 읽고, 암기하고, 나서 걷기 시작합니다.

문제: 만약 관광객이 막다른 길에 다다르거나, 지도에는 "왼쪽으로 도세요"라고 되어 있는데 그곳에 벽이 있다면, 관광객은 갇히게 됩니다. 그들은 지도를 바꿀 수 없습니다. 왜냐하면 지도는 시작할 때 한 번 인쇄되었기 때문입니다. 그들은 벽을 향해 왼쪽으로 돌려고 계속 시도하며 좌절하다가 결국 포기하게 됩니다.
논문의 용어: 이것은 "정적 검색(static retrieval)"이라고 불립니다. AI가 계획을 한 번 검색하면 상황이 변하더라도 그것을 고수하는 것입니다.

해결책: ADAMEM (적응형 여행자)
저자들은 ADAMEM이라는 새로운 시스템을 제안합니다. 정적인 지도 대신, 당신의 비서에게는 두 가지 특별한 도구가 있습니다:

거대한 도서관 (장기 기억): 이것은 다른 사람들이 성공적으로 다녀온 모든 여정이 담긴 방대한 기록 보관소입니다. 여기에는 "나는 여기에 갔고, 이렇게 했으며, 성공했다"와 같은 가공되지 않은 이야기들이 가득합니다.
스마트 코치 (단기 기억): 이것이 마법 같은 부분입니다. 비서는 단순히 도서관 전체를 읽는 대신, 여정의 매 단계마다 멈춰 섭니다. 비서는 현재 자신이 어디에 있는지 확인하고, 도서관에서 유사한 상황을 찾아낸 뒤, 스마트 코치에게 묻습니다: "이 정확한 지점에서 다른 사람들이 했던 방식 중 무엇이 효과적이었나요? 다음에 무엇을 해야 할까요?"

코치는 이 순간만을 위해 작성된 작고 신선한 메모(전략)를 작성합니다. 예를 들어, "좋아, 지도는 왼쪽으로 가라고 했지만, 다른 사람들은 모두 아이템이 캐비닛이 아니라 카운터 위에 있다는 것을 발견했어. 카운터를 확인해 보자." 라고 적을 수 있습니다.

실제 사례에서의 작동 방식

1단계: 에이전트가 갈림길에 서 있습니다.
2단계: 에이전트는 도서관에 묻습니다: "여기에 와본 사람이 있나요?"
3단계: 도서관은 성공 사례들을 찾아냅니다.
4단계: 에이전트의 두뇌(LLM)는 그 이야기들을 읽고 즉시 다음 동작을 위한 새롭고 맞춤화된 지침을 작성합니다.
5단계: 에이전트는 그 새로운 지침을 따릅 어려운 길을 갑니다.

만약 나중에 계획이 실패하더라도, 에이전트는 당황하지 않습니다. 그저 과정을 반복합니다: 도서관을 확인하고, 코치의 새로운 노트를 받고, 다른 경로를 시도합니다. 이는 마치 길을 잘못 들 때마다 경로를 재탐색하는 GPS와 같습니다. 단순히 사고가 날 때까지 "계속 가세요"라고 말하는 내비게이션과는 다릅니다.

"학습" 기술 (STEP-MFT)
논문은 또한 에이전트가 더 나은 코치가 되도록 가르치는 방법도 소개합니다.

문제: 때때로 코치는 "조심하세요!"와 같이 실제로 도움이 되지 않는 모호한 조언을 작성합니다.
해결책: 저자들은 STEP-MFT라는 기술을 만들었습니다. 그들은 에이전트가 조언이 실제로 결과를 바꾼 순간들로부터만 배우도록 가르쳤습니다.
비유: 학생이 시험 공부를 한다고 상상해 보세요. 만약 어떤 단원을 공부했는데 그 내용을 읽든 말든 똑같이 정답을 맞히거나 틀린다면, 그 단원은 도움이 되지 않은 것입니다. 하지만 특정 팁을 읽고 답을 바꿨더니 정답을 맞혔다면, 바로 그것이 가치 있는 교훈입니다. STEP-MFT는 지루한 내용들을 걸러내고, 오직 "판도를 바꾸는" 조언에 대해서만 에이전트를 훈련시킵니다.

결과
논문은 세 가지 다른 "게임"에서 이를 테스트했습니다:

ALFWorld: 에이전트가 물건을 찾고 옮겨야 하는(예: 비누를 쓰레기통에 넣기) 가상의 집입니다.
WebShop: 에이전트가 특정 제품을 찾아야 하는 가상의 온라인 상점입니다.
HotpotQA: 어려운 질문에 답하기 위해 많은 문서를 검색해야 하는 트리비아 게임입니다.

발견한 점:

더 높은 성공률: ADAMEM 에이전트는 "정적 지도" 에이전트보다 훨씬 더 많은 과제를 해결했습니다 (일부 사례에서 최대 13% 더 높음).
재학습 불필요: 에이전트는 처음부터 다시 배울 필요 없이 게임 도중에 더 똑똑해집니다. 그저 자신의 기억을 더 잘 사용할 뿐입니다.
효율성: 긴 이야기를 짧고 영리한 노트로 요약함으로써, 에이전트는 다른 에이전트들을 느려지게 만드는 너무 많은 정보에 압도되지 않습니다.

요약
ADAMEM은 경직되고 고집스러운 AI를 유연하고 학습하는 여행자로 변화시킵니다. 시작할 때 만든 계획을 맹목적으로 따르는 대신, 끊임없이 자신의 기록을 확인하고, 과거의 성공으로부터 배우며, 바로 다음 단계를 위한 더 나은 계획을 작성합니다. 이것은 표지판을 무시해서 길을 잃는 관광객과, 현재 교통 상황에 따라 정확히 어디로 가야 할지 아는 현지 가이드의 차이입니다.

기술 요약: ADAMEM – 언어 에이전트를 위한 테스트 시점 적응형 메모리 (Test-Time Adaptive Memory for Language Agents)

1. 문제 정의

언어 에이전트는 동적인 장기 과업(long-horizon tasks)에 적응하기 위해 과거의 경험을 활용하는 데 있어 핵심적인 과제에 직면해 있습니다. 최근 에이전트 메모리 메커니즘의 발전이 유망한 성과를 보여주고 있으나, 기존 시스템은 일반적으로 에피소드 시작(episode initiation) 단계로 메모리 검색을 제한합니다. 이는 "경직성 병목 현상(rigidity bottleneck)"을 초0로 만듭니다. 즉, 에이전트가 정적인 가이드(예: 단일 검색된 궤적 또는 증류된 전략)에 의존하게 되어, 과업 진행 중에 발생하는 중간 실패, 변화하는 하위 목표, 또는 분포 변화(distribution shifts)에 대응하지 못하게 됩니다.

온라인으로 모델 파라미터를 업데이트하는 방식과 같은 전통적인 테스트 시점 적응(test-time adaptation) 방법은 장기 과업 설정에서 비용이 너무 많이 듭니다. 반대로, 훈련이 필요 없는 프롬프트 적응 방법은 과업이 전개됨에 따라 검색된 컨텍스트가 정렬되지 않는(misaligned) 한계가 있습니다. 본 논문은 두 가지 주요 연구 질문을 제기합니다:

에이전트 메모리는 어떻게 정적인 검색의 경직성을 극 overcome하여 추론 과정 중 지속적인 적응을 가능하게 할 수 있는가?
에이전트가 이러한 테스트 시점 적응을 명시적으로 최적화하는 전략을 합성하도록 어떻게 효율적으로 훈련할 수 있는가?

2. 방법론

저자들은 모델 파라미터를 업데이트하지 않고도 단계별 테스트 시점 적응을 가능하게 하기 위해, 메모리 저장과 추상화를 분리한 하이브리드 메모리 프레임워크인 ADAMEM(Adaptive Memory Agent)을 제안합니다.

2.1 하이브리드 메모리 아키텍처

ADAMEM은 두 가지 별개의 메모리 구성 요소를 통해 작동합니다:

장기 궤적 메모리 ( $M$ ): 원시 경험(raw experiences)을 저장하는 확장 가능한 오프라인 저장소입니다. 이는 상태 임베딩(state embeddings)에 의해 인덱싱된 성공적인 궤적 $\tau = \{(s_t, a_t, r_t)\}$ 를 저장합니다. 지식 증류된 통찰력을 저장하는 시스템과 달리, $M$ 은 신뢰할 수 있는 컨텍스트 검색을 보장하기 위해 전체 상호작용 이력을 유지합니다.
단기 전략 메모리 ( $z_t$ ): 추론 중에 실시간으로 생성되는 동적이고 상태 특화된 전략입니다. 에이전트는 원시 로그를 직접 검색하는 대신, 현재 상태 $s_t$ 와 검색된 경험 $E_{ret}$ 에 조건화된 간결한 자연어 전략을 합성합니다. 이 전략은 다음 행동을 위한 구체적인 가이드 역할을 합니다.

2.2 추론 모드

토큰 효율성과 적응성 사이의 균형을 맞추기 위해, ADAMEM은 두 가지 추론 모드를 도입합니다:

ADAMEM-HIGH (높은 적응 노력): 에이전트가 검색이 필요하다고 판단할 경우 매 결정 단계마다 새로운 전략 $z_t$ 를 재생성함으로써 견고성을 우선시합니다. 이 전략은 일시적이며 사용 후 폐기되므로, 에이전트가 오래된 가이드에 의존하는 것을 방지합니다.
ADAMEM-LOW (낮은 적응 노력): 컨텍스트 내에 지속적인 전략 $z_{curr}$ 를 유지함으로써 효율성을 우선시합니다. 에이전트는 현재 상태를 기반으로 전략을 "새로고침(refresh)"할지 여부를 예측합니다. 새로고침이 필요하지 않으면 기존 전략이 여러 단계를 안내하며, 새로고침이 트리거되면 새로운 전략이 합성되어 지속적인 전략을 대체합니다.

2.3 STEP-MFT: 단계별 메모리 미세 조정 (Step-wise Memory Fine-Tuning)

ADAMEM은 제로샷 프롬프팅을 통해 작동할 수 있지만, 저자들은 고효율 전략을 생성하도록 정책을 훈련시키기 위해 STEP-MFT를 도입했습니다.

과제: 표준 결과 기반 감독(outcome-based supervision)은 노이즈가 많습니다. 특정 전략이 불필요하거나 오해의 소지가 있었더라도 성공적인 궤적의 모든 단계에 동일한 공로를 돌리기 때문입니다.
해결책: STEP-MFT는 데이터 큐레이션을 위해 이중 필터 메커니즘을 갖춘 리젝션 샘플링(rejection sampling) 접근 방식을 사용합니다:
1. 결과 성공: 궤적이 성공적이어야 합니다.
2. 행동 변화: 생성된 전략이 메모리 없이 행동하는 베이스라인 정책과 비교했을 때 에이전트의 행동을 인과적으로 변화시켜야 합니다 ( $a_t \neq a'_t$ ).
이론적 근론: 저자들은 전략이 베이스라인보다 엄격하게 긍정적인 이점을 가지려면 에이전트의 행동을 변화시켜야 함을 증명합니다. 이 필터는 모델이 단순히 컨텍스트를 복사하는 것이 아니라, 의사결정을 능동적으로 유도하는 전략을 생성하도록 학습하게 합니다.
훈련: 필터링된 데이터셋은 교차 엔트로피 손실을 통한 지도 미세 조정(SFT)에 사용되며, 이를 통해 성공률을 높이는 "실버(silver)" 전략을 합성하도록 정책을 최적화합니다.

3. 주요 기여

ADAMEM 프레임워크: 정적인 아티팩트를 검색하는 대신 컨텍스트 인식 전략을 동적으로 합성함으로써 지속적인 테스트 시점 적응을 가능하게 하는 새로운 하이브리드 메모리 시스템을 제시합니다.
STEP-MFT 기술: 프로세스 수준의 보상(특히 행동 변화)을 사용하여 에이전트가 고효율 전략을 생성하도록 가르치는 훈련 방법으로, 결과 중심의 감독에서 발생하는 노이즈를 피합니다.
새로운 스케일링 차원: 본 연구는 동적 메모리 큐레이션이 에이전트 추론의 중요한 스케일링 차원임을 입증하며, 추론 비용과 과업 성능 사이의 우수한 파레토 프런티어(Pareto frontier)를 제공합니다.

4. 실험 결과

저자들은 세 가지 벤치마크인 ALFWorld(체화된 내비게이션), WebShop(웹 쇼핑), HotpotQA(멀티홉 검색)에서 ADAMEM을 평가했습니다.

성능 향상:
- ALFWorld: ADAMEM-LOW는 미학습 분할(unseen split)에서 정적 메모리 베이스라인 대비 **13%**의 상대적 이득을 달성했습니다 (Synapse의 52.2% 대비 58.2%).
- WebShop: ADAMEM-LOW는 **11%**의 상대적 이득을 달성했습니다 (Synapse의 65.4% 대비 74.2%). 특히, 정적 베이스라인은 WebShop에서 부정적 전이(negative transfer)를 겪어 메모리가 없는 베이스라인보다 성능이 낮아진 반면, ADAMEM은 이 추세를 역전시켰습니다.
- HotpotQA: ADAMEM은 반복적인 크로스 에피소드 검색 설정에서 일관된 선도적 성능(성공률 41.1%)을 보였습니다.
STEP-MFT의 영향: STEP-MFT로 훈련된 경우 추가적인 개선이 나타났습니다. ALFWorld에서 MFT 변형은 정적 베이스라인 대비 **17%**의 상대적 이득(성공률 65.5%)을 달ر성하며, 훈련 없는 ADAMEM 및 결과 기반 MFT 변형을 크게 앞질렀습니다.
효율성 vs 적응성:
- ADAMEM은 검색 예산( $k$ )에 따라 단조롭게 스케일링되는 반면, Synapse와 같은 정적 베이스라인은 원시 궤적 주입으로 인한 컨텍스트 오버플로 때문에 성능이 저하됩니다.
- ADAMEM은 긴 원시 로그를 처리하는 대신 간결한 전략을 합성함으로써 추론 지연 시간을 Synapse 대비 16% 단축했습니다.
교차 모델 일반화: 오프 폴리시(off-policy) 설정(Qwen이 생성한 메모리를 사용하는 Gemma-27b-it 사용)에서 ADAMEM-LOW는 견고한 개선을 유지하였으며, 이는 프레임워크가 저장소와 정책 모델을 효과적으로 분리하고 있음을 보여줍니다.

5. 의의 및 주장

본 논문은 ADAMEM이 현재 에이전트 메모리 시스템의 근본적인 경직성을 해결한다고 주장합니다. 장기 저장과 단기 추상화를 분리함으로써, ADAMEM은 에이전트가 다음과 같은 능력을 갖추게 합니다:

배포 후 자가 진화: 에이전트는 값비싼 온라인 파라미터 업데이트 없이도 동적인 환경에 적응하고 오래된 사전 지식(priors)을 수정할 수 있습니다.
컴퓨팅 트레이드오프 최적화: 프레임워크는 유연한 추론 모드(LOW/HIGH)와 훈련 변형(STEP-MFT)을 지원하여, 실무자가 토큰 효율성과 적응성 사이의 균형을 조절할 수 있게 합니다.
지속적인 추론 가능: 본 연구는 동적 메모리 큐레이션이 정적인 검색을 넘어 지속적이고 상태 인식적인 추론을 수행하는 에이전트에게 필수적인 스케일링 차원임을 시사합니다.

저자들은 "전략 관성(strategy inertia)"(ADAMEM-LOW에서 필요한 시점에 새로고침을 트리거하지 못하는 현상)과 메모리 구축을 위해 현재 성공적인 궤적만을 사용하는 점을 한계점으로 인정하며, 이를 향후 연구 과제로 남겨두었습니다.