기술 요약: 중요한 순간에 기억하라: 장기 실행 에이전트를 위한 선제적 메모리 에이전트

문제: 행동 상태 저하 (Behavioral State Decay)

자율적인 커맨드 라인 실행 및 다단계 도구 사용과 같은 장기 과업(long-horizon tasks)은 에이전트가 긴 궤적(trajectory) 동안 의사결정에 유효한 상태를 유지할 것을 요구한다. 저자들은 **행동 상태 저하(behavioral state decay)**라고 명명된 결정적인 실패 모드를 식별했다. 이 모드에서는 초기 과업 요구사항, 환경적 사실, 이전의 실패 시도, 오류 진단, 열려 있는 하위 목표와 같이 미래의 의사결정에 필수적인 정보가 에이전트의 의사결정 과정에서 비활성화된다.

이러한 저하는 정보가 모델의 컨텍스트 창이나 트랜스크립트 내에 여전히 남아 있음에도 발생한다. 문제는 단순히 데이터를 저장하거나 검색하는 능력의 부재가 아니라, 기억된 정보가 언제 다음 행동에 능동적으로 영향을 미쳐야 하는지를 결정하지 못하는 데 있다. 기존의 메모리 시스템은 주로 수동적인 검색이나 요약에 집중하며, 이는 에이전트가 실수를 반복하거나, 이전의 발견을 무시하거나, 제약 조건에서 벗어나게 만들 수 있다. 본 논문은 장기 실행 에이전트를 위한 효과적인 메모리는 무엇을 기억할 것인가뿐만 아니라, 언제 그리고 어떠한 방식으로 개입할 것인지를 결정하는 **능동적 개입 메커니즘(active intervention mechanism)**이어야 한다고 주장한다.

방법론: 선제적 메모리 개입 (Proactive Memory Intervention)

본 논문은 메모리 유지와 행동 선택을 분리하는 2단계 메모리 개입 아키텍처를 제안한다. 이 시스템은 수정되지 않은 **액션 에이전트(action agent)**와 그와 병렬로 실행되는 별도의 **메모리 에이전트(memory agent)**로 구성된다.

아키텍처 구성 요소

1. 구조화된 메모리 뱅크 ($B_t$): 실행 상태를 담고 있는 압축되고 구조화된 표현으로, 세 가지 구성 요소를 포함한다:

   • 상태 (Status, $s_t$): 진행 상황, 미결 과제, 리스크 등을 추적하는 프라이빗 필드로, 메모리 에이전트에게만 보인다.
   • 지식 (Knowledge, $K_t$): 안정적인 사실들 (예: 과업 요구사항, 환경 속성, 파일 경로).
   • 절차 (Procedural, $P_t$): 시도, 결과, 실패한 명령, 성공적인 수정, 진단 신호 등의 동적인 기록.

2. 2단계 메모리 에이전트 워크플로우:

   • 1단계 (메모리 관리): 메모리 에이전트는 최근 궤적의 슬라이딩 윈도우와 현재 뱅크를 관찰한다. 에이전트는 뱅크를 업데이트하기 위해 도구 호출(tool calls)을 발행한다 (예: memory_save_knowledge, memory_save_procedural, memory_update_status, memory_delete). 이 단계는 트랜스크립트를 다시 쓰지 않고 실행 상태를 구조화된 형식으로 외재화한다.
   • 2단계 (개입 선택): 업데이트된 뱅크와 최근 궤적을 바탕으로, 에이전트는 다음 액션 에이전트 호출 시 **간결하고 메모리에 근거한 리마인더(reminder)**를 주입할지, 아니면 침묵(<no_intervention/>)할지를 결정한다.
     • 개입 (Intervention): 대상이 되는 리마인더 (예: 잊혀진 요구사항, 관련 환경 사실, 또는 진단 내용)가 일시적인 컨텍스트로서 주입된다.
     • 침묵 (Silence): 현재 상태가 충분하다고 판단될 경우, 토큰 오버헤드와 주의 분산을 피하기 위해 메모리를 제공하지 않기로 하는 명시적 결정이다.

3. 트리거링 (Triggering): 메모리 에이전트는 고정된 간격(예: 매 $N$ 단계마다)으로 호출되어 뱅크를 업데이트하고 개입 여부를 결정한다. 다만, 저자들은 더 선택적인 트리거(예: 오류 발생 시)도 가능함을 언급했다.

정책 학습 (Learning the Policy)

이 아키텍처는 프롬프트된 프런티어 모델로 구현될 수 있지만, 저자들은 개입 정책을 학습하기 위해 오픈 웨이트 모델을 탐구한다:

• 지도 미세 조정 (SFT): 프롬프트된 메모리 에이전트로부터의 궤적을 증류(distill)하여, 인터페이스와 기본적인 메모리 관리 규율을 가르친다.
• 강화 학습 (GRPO): 개입 정책을 최적화하여 하위 과업 성공률을 극대화하며, 특히 언제 개입할 것인지와 언제 침묵할 것인지를 정밀하게 조정한다.

주요 기여

1. 행동 상태 저하의 식별: 본 논문은 정보가 시간이 지남에 따라 의사결정에 미치는 영향력을 잃는 실패 모드를 공식화하며, 이를 단순한 컨텍스트 창 제한과 구분한다.
2. 선제적 개입 아키텍처: 메모리를 선택적 개입 정책으로 취급하는 새로운 2단계 시스템을 제안한다. 이는 상태 유지와 행동 선택을 분리하여, 별도의 에이전트가 실행 상태를 재활성화할 시점과 방식을 결정할 수 있게 한다.
3. 실증적 검증: 선택적 개입이 수동적 메모리 노출, 상시 주입, 그리고 일반적인 어드바이저 가이드보다 우수함을 입증한다.
4. 개입 정책의 학습 가능성: SFT와 GRPO를 사용하여 개인화된 개입 정책을 오픈 웨이트 모델(Qwen3.5-27B)로 증류할 수 있으며, 미학습 벤치마크로 부분적인 전이가 가능하다는 예비 증거를 제공한다.

실험 결과

시스템은 Terminal-Bench 2.0 (자율 커맨드 라인 실행)과 $\tau^2$-Bench (항공, 소매, 통신 도메인의 대화형 도구 사용)에서 평가되었다.

• 성능 향상:

  • Terminal-Bench 2.0: Claude Opus 4.6을 메모리 에이전트로 사용할 때, 상대적으로 약한 모델인 Claude Sonnet 4.5의 pass@1은 **37.6%에서 45.9%**로 (+8.3 pp), 강한 모델인 Opus 4.6은 **43.5%에서 45.9%**로 (+2.4 pp) 향상되었다.
  • $\tau^2$-Bench: Sonnet 4.5의 경우, 과업 가중 평균이 **55.0%에서 61.8%**로 (+6.8 pp) 향상되었다. Opus 4.6의 경우, **66.2%에서 68.7%**로 (+2.5 pp) 향상되었다.
  • 이러한 이득은 다양한 도메인에서 일관되게 나타났으며, 정책 준수가 중요한 항공 및 소매 과업에서 가장 큰 개선을 보였다.

• 절제 연구 (Ablation Studies):

  • 전체 시스템 vs. 수동 노출: 메모리 뱅크를 액션 에이전트에게 단순히 노출하는 것(선택적 개입 없이)은 향상 폭이 더 낮았으며, 이는 선택이 핵심임을 확인시켜 준다.
  • 상시 주입 vs. 선택적 침묵: 매 단계마다 리마인더를 강제하는 방식은 경쟁력은 있었으나, 주의 분산을 피하기 위해 침묵이 필요한 도메인에서는 선택적 접근 방식보다 균형이 떨어졌다.
  • 어드바이저 전용 vs. 메모리 근거형: 지속적인 메모리 뱅크가 없는 어드바이저 모델은 덜 안정적이었으며, 장기적인 실행 상태에 기반한 가이드를 제공하는 데 실패했다.
  • Mem0 비교: 일반적인 지속성 메모리 레이어(Mem0)는 평균 점수를 개선했으나 전체 시스템의 성능에는 미치지 못했으며, 이는 기록을 검색하는 것과 개입 시점을 결정하는 것의 차이를 강조한다.

• 오픈 웨이트 학습: SETA 벤치마크에서 Qwen3.5-27B 메모리 에이전트를 학습시킨 결과 검증 보상이 향상되었다. 이를 Terminal-Bench 2.0으로 전이했을 때, 학습된 에이전트는 고정된 액션 에이전트의 pass@1을 **37.6%에서 41.1%**로 높였으며, 이는 개입 정책이 학습 가능하다는 것을 보여준다.

의의 및 주장

본 논문은 메모리를 수동적인 저장 계층이 아닌 능동적인 제어 메커니즘으로 정의한다. 저자들은 장기 실행 에이전트의 핵심 과제가 단순히 정보를 보유하는 것이 아니라, 그 정보를 재활성화하는 시기와 필요성을 조절하는 것이라고 주장한다.

• 훈련에 대한 완곡한 주장: 저자들은 오픈 웨이트 메모리 에이전트의 훈련을 "초기 단계"이자 "예비 증거"라고 설명한다. 현재의 훈련이 프롬프트된 프런티어 모델로부터의 증류에 의존하고 있으며, 개입 조절(침묵할 시점을 아는 것)이 불완전하여 종종 강화 학습을 통한 정교화가 필요함을 인정한다.
• 일반화 가능성: 이 아키텍처는 기존의 에이전트 하네스와 수정되지 않은 액션 에이전트와 함께 사용할 수 있는 "플러그 앤 플레이(plug-and-play)" 방식으로 제시된다.
• 향atre 방향: 본 논문은 메모리와 액션 에이전트를 공동 학습시키는 것, 동적인 호출 스케줄을 학습하는 것, 그리고 축자적인 리마인더와 과업 특화된 추상화 사이의 구분을 학습하는 것에 대한 향후 연구 방향을 제시한다.

요약하자면, 본 논문은 선택적 개입이 행동 상태 저하를 완화하는 핵심이며, 다양한 벤치마크와 에이전트 역량에 걸쳐 장기 과업 성능을 개선하는 견고하고 모듈화된 솔루션을 제공한다고 주장한다.