💬 NLP

MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning

MemSearcher 는 컴팩트한 메모리 메커니즘과 새로운 다중 컨텍스트 GRPO 학습 알고리즘을 활용하여 멀티턴 검색 작업을 위한 효율적인 엔드투엔드 강화 학습을 실현함으로써, 기존 히스토리 연결 방식의 베이스라인을 능가하면서도 안정적인 컨텍스트 길이를 유지하는 LLM 기반 에이전트 프레임워크입니다.

원저자: Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

게시일 2026-05-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

MemSearcher 논문에 대한 설명을 일상적인 비유를 곁들여 간단한 개념으로 나누어 정리합니다.

문제: "지나치게 많은 잡동사니"를 가진 에이전트

복잡한 질문에 답하기 위해 매우 똑똑하지만 약간은 건망증이 있는 연구 보조원 (AI) 을 고용했다고 상상해 보세요.

현재의 표준 방법 (ReAct 라고 함) 에서는 보조원이 생각하거나 행동하거나 새로운 정보를 읽을 때마다, 모든 것을 단일한 거대한 노트에 적어냅니다.

1 번째 턴: 질문과 첫 번째 검색 결과를 적습니다.
2 번째 턴: 새로운 생각과 두 번째 검색 결과를 첫 번째 항목 아래에 적습니다.
10 번째 턴: 이제 노트는 50 페이지가 되었습니다.

문제점: 노트가 길어질수록 보조원은 압도당합니다. 중요한 한 문장을 찾기 위해 50 페이지 분량의 옛 노트를 모두 읽어야 합니다. 이는 느리고 비쌉니다 (거대한 도서관을 이용하는 것과 같음), 그리고 책 중간에 있는 모든 "노이즈"(관련 없는 세부 사항) 로 인해 보조원이 혼란을 겪어 종종 실수를 저지릅니다.

해결책: "스마트 요약자" (MemSearcher)

저자들은 AI 가 작동하는 새로운 방식인 MemSearcher를 개발했습니다. 커다랗고 계속 자라나는 노트를 유지하는 대신, MemSearcher 는 단 하나의 재사용 가능한 인덱스 카드를 사용합니다.

작동 방식은 다음과 같습니다:

질문: AI 에게 질문을 던집니다.
검색: AI 가 답을 찾습니다.
업데이트: 새로운 정보를 긴 목록에 적는 대신, AI 는 큐레이터처럼 행동합니다. 새로운 정보를 살펴보고 실제로 유용한 것이 무엇인지 결정하며, 가장 중요한 사실만 포함하도록 인덱스 카드를 다시 씁니다.
다음 턴: 다음 단계에서 AI 는 현재 인덱스 카드와 원래 질문만 봅니다. 지난 10 번의 검색 기록을 읽을 필요가 없습니다.

결과: "노트"는 인덱스 카드 크기 (약 4,000 자) 를 넘지 않습니다. 이는 대화의 턴이 많아지더라도 AI 를 빠르고, 저렴하며, 집중되게 유지합니다.

훈련의 도전: 큐레이션 기술 가르치기

"AI 에게 그냥 이렇게 하라고 말하면 안 되나요?"라고 생각하실 수 있습니다. 논문은 아니오라고 답합니다. 현재 AI 모델들은 긴 이야기를 쓰는 데 훈련되어 있지, 요약하고 잊는 데는 훈련되어 있지 않기 때문입니다. 단순히 작은 메모리를 사용하라고 요청하면, 그들은 혼란을 겪고 실패합니다.

이를 해결하기 위해 저자들은 **강화 학습 (RL)**이라는 훈련 방법을 사용했습니다.

비유: 개에게 공을 가져오게 가르치는 상황을 상상해 보세요. 개를 위해 매뉴얼을 작성하지 않습니다. 대신 공을 던집니다. 개가 공을 가져오면 간식 (보상) 을 줍니다. 떨어뜨리면 간식을 주지 않습니다.
혁신: 논문은 Multi-Context GRPO라는 특수한 훈련 기법을 소개합니다.
- 보통 긴 대화로 AI 를 훈련시키는 것은 한 번에 전체 에세이를 채점하는 것과 같습니다.
- MemSearcher 의 방법은 그 에세이의 각 문장을 개별적으로 채점하는 것과 같지만, 전체 에세이의 최종 등급을 사용하여 각 문장이 얼마나 좋은지 결정합니다.
- 이는 AI 에게 전체 과정을 통해 대화의 어떤 부분을 인덱스 카드에 보관하고 어떤 부분을 버려야 하는지 정확히 가르칩니다.

왜 이것이 중요한가 (결과)

저자들은 MemSearcher 를 일곱 가지 다른 어려운 퀴즈 및 검색 데이터셋에서 기존의 "거대한 노트" 방식과 비교하여 테스트했습니다.

더 똑똑함: MemSearcher 는 더 작고 저렴한 AI 모델을 사용하더라도 이전 방법들보다 더 좋은 점수를 받았습니다.
더 빠르고 저렴함: "노트"가 작게 유지되기 때문에 컴퓨터가 덜 일해도 됩니다. 메모리 사용량이 줄고 실행 비용도 저렴해집니다.
적은 혼란: 논문에서 제시된 한 예시에서, 기존 방법은 긴 대화의 서로 다른 부분에 언급된 두 명의 서로 다른 사람을 섞어 혼란을 겪었습니다. 반면, 깔끔한 요약을 유지한 MemSearcher 는 올바른 사람을 정확히 식별했습니다.

요약

MemSearcher는 만져본 모든 종이 조각을 모아두는 연구원을, 가장 중요한 사실에 대한 완벽하게 정리되고 최신 상태인 요약을 보관하는 전문 사서로 업그레이드하는 것과 같습니다. 이는 AI 가 스스로의 메모리 관리자가 되도록 훈련시킴으로써 달성하며, 대화 길이가 어떻게 변하든 AI 가 예리하고 효율적으로 유지되도록 보장합니다.

기술 요약: MemSearcher

문제 제기

ReAct 패러다임을 따르는 대규모 언어 모델 (LLM) 기반 검색 에이전트는 일반적으로 매 턴마다 전체 상호작용 기록 (생각, 행동, 관찰) 을 모델의 컨텍스트 창에 연결합니다. 이러한 설계는 근본적인 병목 현상을 만듭니다. 상호작용 턴 수가 증가함에 따라 컨텍스트 길이가 선형적으로 증가하기 때문입니다. 검색 시나리오에서는 이로 인해 검색된 패시지가 주를 이루는 길고 노이즈가 많은 입력이 생성되며, 그중 많은 부분이 사용자의 쿼리와 무관합니다. 이러한 토큰의 증가는 LLM 이 중요한 정보를 활용하는 능력을 저해할 뿐만 아니라 상당한 계산 및 GPU 메모리 오버헤드를 초래하여, 리소스가 제한된 환경에서 검색 에이전트의 확장성과 배포를 제한합니다.

방법론

저자들은 전체 기록을 연결하는 대신 다중 턴 상호작용 전반에 걸쳐 컴팩트하고 반복적으로 업데이트되는 메모리를 유지하도록 설계된 에이전트 프레임워크인 MemSearcher를 제안합니다.

1. MemSearcher 프레임워크

턴 $i$ 에서의 입력이 누적된 기록 $(q, t_1, a_1, o_1, \dots, t_{i-1}, a_{i-1}, o_{i-1})$ 인 ReAct와 달리, MemSearcher 는 백본 LLM 에게 두 가지 간결한 입력만 제공합니다:

사용자의 질문 $q$ .
이전 턴들의 필수 정보를 포함한 컴팩트한 메모리 $m_{i-1}$ .

각 턴에서 LLM 은 이 컴팩트한 컨텍스트를 기반으로 추론 흔적 (생각) 과 행동을 생성합니다. 환경으로부터 관찰 (예: 검색 결과) 을 받으면, LLM 은 메모리 관리자 역할을 수행합니다. 이는 현재 관찰에서 새로운 관련 정보를 기존 메모리에 통합하면서 이전 메모리의 필요한 세부 사항을 보존하여 업데이트된 메모리 $m_i$ 를 생성합니다. 이 과정을 통해 컨텍스트 길이는 턴 수와 관계없이 사전 정의된 최대 토큰 제한 (예: 1,024 토큰) 으로 안정적이고 유계된 상태를 유지합니다.

2. 멀티 컨텍스트 GRPO

MemSearcher 의 학습은 도전적입니다. 단일 궤적이 여러 턴에 걸쳐 있으며, 각 턴은 서로 다른 컨텍스트 (변화하는 메모리 상태로 인해) 에서 발생하기 때문입니다. 표준 그룹 상대 정책 최적화 (GRPO) 는 궤적을 단일 단위로 취급하는데, 이는 각 턴이 독립적인 최적화 목표를 나타낼 때 충분하지 않습니다.

이를 해결하기 위해 저자들은 멀티 컨텍스트 GRPO를 도입합니다:

궤적 샘플링: 주어진 쿼리에 대해 궤적 그룹을 샘플링합니다. 각 궤적은 다양한 컨텍스트 하에서 여러 턴으로 구성됩니다.
이득 전파: 보상은 궤적 수준에서 계산됩니다. 결과적으로 도출된 이득은 해당 궤적 내의 모든 턴에 균일하게 전파됩니다.
독립적 최적화: 각 턴은 독립적인 최적화 목표로 간주됩니다. 정책은 모든 샘플링된 궤적에 걸친 모든 턴에 대한 목적 함수를 최대화하도록 업데이트되어, 엔드 투 엔드 강화 학습 (RL) 훈련을 가능하게 합니다.

3. 보상 모델링

학습은 두 가지 구성 요소로 구성된 보상 함수를 활용합니다:

형식 보상: 모델이 사전 정의된 출력 형식 (올바른 태그 사용 및 \boxed{}의 존재) 을 준수하도록 보장합니다.
정답 보상: \boxed{} 내부의 최종 답변과 정답 간의 F1 점수를 계산하는 규칙 기반 지표입니다.

주요 기여

MemSearcher 프레임워크: 백본 LLM 을 내재적 메모리 관리자로 활용하여 컴팩트한 메모리를 반복적으로 유지하고, 전체 상호작용 기록을 컨텍스트에 연결할 필요성을 제거하는 에이전트 아키텍처.
멀티 컨텍스트 GRPO: 궤적 수준의 이득을 개별 턴으로 전파하여 다중 턴 상호작용의 다양한 컨텍스트를 수용함으로써 MemSearcher 궤적의 엔드 투 엔드 최적화를 가능하게 하는 새로운 RL 학습 알고리즘.
효율성과 성능: MemSearcher 가 ReAct 기반 베이스라인보다 우수한 성능을 달성하면서도 다중 턴 상호작용 전반에 걸쳐 거의 일정한 컨텍스트 길이 (4K 토큰 미만) 를 유지함을 보여주는 포괄적인 실험.

실험 결과

저자들은 다양한 크기의 Qwen2.5 모델 (3B, 7B, 14B) 을 사용하여 MemSearcher 를 일곱 개의 공개 지식 획득 데이터셋 (Natural Questions, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle) 에서 평가했습니다.

성능: MemSearcher 는 Search-R1, ReSearch, AutoRefine 을 포함한 강력한 베이스라인보다 일관되게 우수한 성과를 거두었습니다. 특히 MemSearcher 3B 는 평균 점수 43.8 을 기록하여 여러 7B 파라미터 베이스라인을 능가했습니다. MemSearcher 7B(평균 48.9) 는 ReSearch 32B 보다 우수한 성능을 보였습니다.
효율성: ReAct 기반 에이전트는 상호작용 턴 수에 따라 토큰 소비량이 선형적으로 증가하는 반면, MemSearcher 는 훨씬 낮고 안정적인 토큰 수를 유지했습니다. 이를 통해 4K 토큰 미만의 컨텍스트 창 내에서 다중 턴 상호작용이 가능합니다.
학습의 필요성: 제거 실험 (Ablation studies) 은 RL 학습이 결정적임을 확인시켰습니다. Multi-Context GRPO 로 학습된 모델에 비해 RL 학습 없이 MemSearcher 프레임워크를 사용한 모델은 성능이 현저히 저하되었습니다. 또한, RL 학습은 증류 (distillation) 를 통한 지도 미세 조정 (SFT) 보다 우수한 성과를 보였는데, 이는 SFT 가 이 특정 프레임워크에 대해 비용이 많이 드는 중간 주석과 비최적의 교사 모델에 의존하기 때문일 가능성이 높습니다.

중요성과 주장

이 논문은 MemSearcher 가 컨텍스트 길이를 상호작용 턴 수에서 분리함으로써 현재 검색 에이전트의 확장성 병목 현상을 해결한다고 주장합니다. 컴팩트한 메모리를 유지하고 학습을 위해 Multi-Context GRPO 를 활용함으로써, 이 프레임워크는 리소스가 제한된 환경에서 효과적인 검색 에이전트의 배포를 가능하게 합니다. 저자들은 그들의 접근 방식이 3B 또는 7B 와 같은 작은 모델이 전통적인 ReAct 패러다임에 의존하는 더 큰 모델보다 우수한 성과를 내도록 허용한다고 강조하며, 복잡한 추론 작업에서 효율적인 컨텍스트 관리가 모델 규모만큼이나 중요함을 시사합니다.

저자들은 한계를 인정하며, 메모리 설계가 효과적이지만 RAG 스타일 또는 구조화된 메모리와 같은 더 정교한 메커니즘이 RL 기반 에이전트에 대해 추가 조사가 필요하다고 지적합니다. 또한 Multi-Context GRPO 는 효과적인 확장이지만, 잠재적인 길이 편향을 완화하고 RL 학습 잠재력을 완전히 활용하기 위해서는 추가적인 기술이 필요하다고 제안합니다.