💬 NLP

Ask Only When Needed: Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents

이 논문은 과거 경험을 능동적으로 검색하여 장기적 과제를 수행하는 에이전트의 성능을 향상시키기 위해, 경험 기반의 구조화된 기억과 행동 기술을 통합하고 검색 시점을 학습하는 'ProactAgent' 프레임워크를 제안합니다.

원저자: Yuxuan Cai, Jie Zhou, Qin Chen, Liang He

게시일 2026-04-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxuan Cai, Jie Zhou, Qin Chen, Liang He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"지능형 AI 에이전트가 어떻게 인간의 것처럼 '경험'을 쌓고, 스스로 '언제 무엇을 찾아봐야 할지' 판단하는 법을 배울 수 있는지"**에 대한 연구입니다.

기존의 AI 는 일을 할 때 과거의 지식을 수동적으로만 사용했습니다. 마치 시험을 보는데, 문제지를 받자마자 책상 위에 있는 참고서를 한 번만 훑어보고는 그걸로 끝내거나, 아니면 문제 풀다가 막힐 때마다 무작정 모든 책을 뒤져보는 식이었습니다.

이 논문에서 제안한 **'PROACTAGENT(프로액트 에이전트)'**는 그 방식이 너무 비효율적이라고 지적하며, **"스스로가 지식을 필요로 할 때, 정확히 필요한 순간에 필요한 책을 찾아내는 능력"**을 학습하도록 만들었습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제점: 왜 기존 방식은 부족할까?

기존의 AI 에이전트들은 두 가지 큰 문제를 겪고 있었습니다.

수동적인 기억 찾기 (Passive Retrieval):
- 비유: 요리사를 상상해 보세요. 레시피 책이 옆에 있는데, 요리를 시작할 때 한 번만 보고는 그 뒤로는 절대 안 봅니다. 혹은 재료가 부족할 때 "아, 혹시 모를까?" 해서 매번 책장을 다 뒤집니다.
- 문제: 요리사가 "아, 지금 소금 양이 부족할 것 같은데?"라고 스스로 깨닫고 그때 딱 필요한 레시피를 찾아보지 못합니다.
분리된 학습 (Decoupled Learning):
- 비유: 요리사가 "요리 실력 (행동)"을 늘리는 것과 "레시피 책 (기억)"을 정리하는 것을 완전히 따로 합니다. 실력은 늘는데 레시피 책은 엉망으로 쌓이거나, 레시피는 많지만 요리 실력은 그대로인 경우가 많습니다.

2. 해결책: PROACTAGENT 의 두 가지 핵심 기술

이 논문은 이 문제를 해결하기 위해 두 가지 마법 같은 기술을 도입했습니다.

① 경험 강화 온라인 진화 (EXPONEVO): "실력과 레시피의 동시 성장"

에이전트는 일을 할 때 두 가지를 동시에 업데이트합니다.

행동 정책 (요리 실력): 어떻게 문제를 해결할지 결정하는 능력.
기억 베이스 (레시피 책): 과거의 성공/실패 경험을 정리해서 저장하는 곳.

창의적 비유: 이 시스템은 요리사가 요리를 할 때마다, 단순히 요리를 끝내는 것뿐만 아니라 "이번에 어떤 재료가 잘 맞았는지", "어떤 실수를 했는지"를 레시피 책에 깔끔하게 정리하고, 그 정리된 내용을 바탕으로 다음 요리를 더 잘하는 법을 스스로 배웁니다.
구조화된 도서관: 단순히 책 한 권에 모든 걸 적어두는 게 아니라, **'사실 정보 (재료 이름)', '에피소드 (어떤 날에 어떤 일이 있었는지)', '행동 기술 (성공/실패 패턴)'**로 책을 분류해 둡니다. 그래서 필요한 정보를 훨씬 빠르고 정확하게 찾을 수 있습니다.

② 능동적 강화 학습 기반 검색 (PROACTRL): "언제 책을 찾아야 할지 배우는 훈련"

가장 혁신적인 부분입니다. 에이전트가 **"지금 검색을 해야 할까, 아니면 내 머리로 해결할까?"**를 스스로 판단하도록 훈련시킵니다.

비유 (A/B 테스트):
- 요리사가 "소금 양이 부족할 것 같은데?"라고 생각할 때, 두 가지 시나리오를 동시에 상상해 봅니다.
- 시나리오 A (검색): 레시피 책을 찾아서 소금 양을 확인하고 요리를 계속함.
- 시나리오 B (검색 안 함): 레시피 책을 안 보고 그냥 대충 소금을 넣고 요리를 계속함.
- 결과 비교: 만약 시나리오 A 가 더 맛있는 요리를 만들었다면, **"아, 그때 검색을 한 게 맞았구나!"**라고 배웁니다. 반대로 시나리오 B 가 더 잘 나왔다면 (책이 필요 없었던 경우), **"아, 그때는 검색을 안 해도 됐구나!"**라고 배웁니다.
효과: 에이전트는 불필요한 검색을 줄이고, 정말 필요한 순간에만 검색을 하므로 시간과 에너지를 아끼면서 더 높은 성공률을 달성합니다.

3. 실험 결과: 얼마나 잘할까?

이 시스템은 SciWorld(과학 문제 해결), AlfWorld(집안일 시뮬레이션), StuLife(학생 생활 관리) 같은 복잡한 환경에서 테스트되었습니다.

성공률: 기존 방식보다 훨씬 높은 성공률을 기록했습니다. (예: AlfWorld 에서 71% 이상 성공)
효율성: 불필요한 검색을 줄여서, 같은 일을 하더라도 30% 이상 적은 시간과 노력으로 해결했습니다.
소규모 모델의 역전: 거대한 AI 모델이 아니더라도, 이 '능동적 검색' 기술을 쓰면 작은 모델도 거대 모델 못지않은 성능을 낼 수 있었습니다. 즉, 모델의 크기보다 '지혜롭게 정보를 찾는 법'이 더 중요함을 증명했습니다.

4. 한 줄 요약

"기존의 AI 는 책상 위에 있는 참고서를 무작정 뒤적였지만, PROACTAGENT 는 '지금 내가 모르는 게 뭘까?'를 스스로 깨닫고, 딱 필요한 순간에 딱 필요한 정보만 찾아내는 스스로 성장하는 지혜로운 학습자가 되었습니다."

이 기술은 앞으로 AI 가 단순히 지시받은 일만 하는 것을 넘어, 복잡한 환경에서 인간처럼 **경험을 쌓고 적응하며 스스로 문제를 해결하는 진정한 '라이프롱 에이전트 (평생 학습 에이전트)'**가 되는 데 중요한 디딤돌이 될 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

온라인 평생 학습 (Online Lifelong Learning) 은 에이전트가 상호작용을 통해 경험을 축적하고 장기적인 과제에서 지속적으로 성능을 향상시키는 패러다임입니다. 그러나 기존 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다.

수동적 검색 (Passive Retrieval): 기존 에이전트는 작업 시작 시나 특정 단계에서 미리 정의된 규칙에 따라 과거 경험을 검색합니다. 에이전트가 상호작용 중 지식의 공백 (Knowledge Gap) 을 스스로 인식하고, 현재 의사결정에 가장 유용한 경험을 능동적으로 (Proactively) 검색하지 못합니다.
분리된 업데이트 (Decoupled Updates): 텍스트 메모리 축적과 정책 (Policy) 최적화가 서로 독립적으로 진행됩니다. 메모리만 업데이트되거나 정책만 업데이트되는 경우, 에이전트는 상호작용 역사로부터 지속적으로 진화하는 데 한계가 있습니다.
비효율성: 모든 단계에서 검색을 수행하거나 (Continuous Retrieval), 별도의 모델로 검색 필요성을 판단하는 (LLM-gated) 방식은 문맥 과부하 (Context Overload) 나 지연 시간 (Latency) 을 초래합니다.

2. 제안된 방법론: PROACTAGENT

저자들은 위 문제를 해결하기 위해 PROACTAGENT라는 경험 기반 평생 학습 프레임워크를 제안합니다. 이는 구조화된 경험 베이스 (Structured Experience Base) 를 기반으로 능동적 검색과 경험 강화 온라인 진화를 통합합니다.

A. 핵심 구성 요소

경험 강화 온라인 진화 (EXPONEVO - Experience-Enhanced Online Evolution):
- 구조화된 경험 베이스: 과거 상호작용을 단일 저장소가 아닌 유형별 저장소로 조직화합니다.
  - 메모리 (M): 사실적 기억 (Factual Memory), 에피소드적 기억 (Episodic Memory).
  - 기술 (S): 성공 기술 (Success Skills), 실패 기술 (Failure Skills), 비교 기술 (Comparative Skills).
- 공진화 루프: 에이전트는 현재 정책으로 행동하고, 생성된 궤적을 유형별 경험으로 변환하여 메모리에 저장하며, 강화 학습을 통해 정책을 업데이트합니다. 이는 메모리 품질 향상과 정책 성능 향상이 서로를 강화하는 순환 구조를 만듭니다.
능동적 강화 학습 기반 검색 (PROACTRL - Proactive Reinforcement Learning-based Retrieval):
- 검색을 정책 행동으로 모델링: 검색 (RETRIEVE) 을 환경 행동과 동일한 정책의 출력으로 간주합니다.
- 쌍분기 프로세스 보상 (Paired-Branch Process Rewards):
  - 동일한 상호작용 접두사 (Prefix) 에서 시작하여, 한 분기는 검색을 수행하고 다른 분기는 검색을 수행하지 않는 (No-retrieval) 두 가지 궤적을 생성합니다.
  - 두 궤적의 결과 (성공 여부, 효율성) 를 비교하여 단계별 (Step-level) 보상을 부여합니다.
  - 검색이 결과를 개선하거나 효율성을 높일 때만 양의 보상을, 불필요할 때는 음의 보상을 주어 "언제 (When)" 그리고 "무엇을 (What)" 검색해야 하는지를 에이전트에게 학습시킵니다.

B. 수식적 정의

궤적 보상: $R_{traj} = R_{env} + r_{proc} + r_{eff}$ $R_{t r aj} = R_{e n v} + r_{p r oc} + r_{e f f}$
- $r_{proc}$ : 검색 분기와 비검색 분기의 결과 차이에 기반한 프로세스 보상 (검색이 유익할 때만 양수).
- $r_{eff}$ : 반복된 쿼리나 불필요한 단계에 대한 효율성 패널티.
최적화: GRPO (Group Relative Policy Optimization) 를 사용하여 정책 $\pi_\theta$ 를 업데이트합니다.

3. 주요 기여 (Key Contributions)

능동적 검색 프레임워크 제안: 에이전트가 수동적으로 검색되는 것을 넘어, 상호작용 역사에서 능동적으로 경험을 추출하고 진화하는 PROACTAGENT를 제안했습니다.
이중 구성 요소 설계:
- EXPONEVO: 메모리 정제와 정책 최적화를 통합한 온라인 진화 메커니즘.
- PROACTRL: 쌍분기 비교를 통한 단계별 지도 학습으로 검색 시점과 내용을 학습하는 메커니즘.
광범위한 실험 검증: SciWorld, AlfWorld, StuLife 등 다양한 벤치마크에서 기존 방법론 및 상용 모델 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

성공률 (Success Rate):
- SciWorld: 73.50% (기존 최상위 온라인 베이스라인인 GRPO+Reflexion 대비 18.0%p 향상).
- AlfWorld: 71.28% (상대적으로 효율성 개선이 두드러짐).
- StuLife: 12.35% (상용 모델과 경쟁 가능한 수준 도달).
효율성:
- 검색 오버헤드를 크게 줄였습니다. SciWorld 에서 상호작용 라운드를 33.2% (27.52 → 18.38) 단축했습니다.
- 불필요한 검색을 방지하여 토큰 소비를 최소화하면서도 정확도를 높였습니다.
모델 스케일링: 7B 모델과 유사한 성능을 3B 모델에서도 능동적 검색을 통해 달성하여, 모델 용량 확장보다는 검색 제어 능력이 장기 과제 수행에 더 중요함을 시사합니다.
Ablation Study:
- PROACTRL(검색 학습) 을 제거할 경우 성능이 45%p 급감하여 능동적 검색의 핵심적 역할을 입증했습니다.
- 구조화된 경험 베이스 (유형별 분리) 가 단일 메모리 풀보다 우월함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 에이전트의 평생 학습에서 검색 (Retrieval) 을 단순한 도구가 아닌 학습 가능한 핵심 능력으로 재정의했습니다.

지능형 검색 제어: 에이전트가 "지식이 부족할 때" 스스로 판단하여 검색을 수행하고, "지식이 충분할 때"는 검색을 생략하는 능력을 학습함으로써, 문맥 과부하와 계산 비용을 획기적으로 줄였습니다.
상호 강화 진화: 메모리 (경험) 와 정책 (행동) 이 분리되지 않고 서로를 강화하며 진화하는 메커니즘을 통해, 에이전트가 복잡한 환경에서 장기적으로 적응하고 성능을 향상시킬 수 있는 토대를 마련했습니다.
실용적 가치: 제한된 컴퓨팅 자원 (작은 모델) 으로도 상용 대형 모델에 필적하는 성능을 낼 수 있음을 보여주어, 실제 적용 가능한 자율 에이전트 개발에 중요한 통찰을 제공합니다.

결론적으로, PROACTAGENT 는 "언제 검색할지 (When)"와 "무엇을 검색할지 (What)"를 능동적으로 학습하는 메커니즘을 통해, 장기적 상호작용 환경에서 에이전트의 효율성과 성공률을 동시에 극대화하는 새로운 패러다임을 제시합니다.