기술 요약: 장기 추론 에이전트를 위한 상태 적응형 메모리 (SAM)

문제 제기

장기 추론을 수행하는 에이전트적 추론은 교차된 생각, 도구 호출, 관찰, 그리고 부분적 결론을 포함하는 확장된 상호작용 기록 위에서 대형 언어 모델 (LLM) 이 작동해야 함을 요구합니다. 주요 과제는 이러한 기록의 길이가 증가한다는 사실뿐만 아니라, 현재 의사결정에 중요한 정보가 먼 단계들에 분산되어 있으며 궤적의 후반부에 이르러서야 관련성이 드러난다는 점에 있습니다.

기존의 컨텍스트 관리 전략—예를 들어 기록을 잘라내거나, 요약으로 압축하거나, 선택된 부분을 검색하는 방식—은 이러한 시나리오에서 종종 실패합니다. 이러한 방법들은 일반적으로 최근성이나 고정된 크기의 창에 의존하는데, 유용한 정보가 인접하지 않은 단계들에 분산되어 있고 그 중요성이 작업이 전개됨에 따라만 명확해질 때는 충분하지 않습니다. 해당 논문은 핵심적인 어려움이 과거의 궤적을 조직화하여 올바른 정보가 에이전트의 현재 의사결정 상태에 접근 가능하도록 하는 데 있으며, 단순히 과거 전체를 가시화하거나 정적 예산에 따라 폐기하는 것이 아니라고 주장합니다.

방법론: 상태 적응형 메모리 (SAM)

저자들은 장기 추론을 상태 적응형 메모리 문제로 다루도록 설계된 독립적인 프레임워크인 상태 적응형 메모리 (SAM) 를 제안합니다. SAM 은 에이전트의 추론 백본을 메모리 관리와 분리하여, 메모리 모듈을 하위 에이전트를 재학습시키지 않고도 독립적으로 최적화할 수 있게 합니다.

핵심 아키텍처

SAM 은 상호작용 기록의 두 가지 결합된 뷰를 유지합니다:

1. 압축된 메모리 단서 (Compact Memory Cues): 에이전트의 활성 컨텍스트에 지속적으로 표시되는 경량 요약입니다. 이들은 과거 진행 상황에 대한 영구적인 핸들 또는 진입점 역할을 합니다.
2. 원시 궤적 페이지 (Raw Trajectory Pages): 외부에 저장된 상세한 상호작용 기록으로, 원래 궤적의 완전한 충실도를 보존합니다.

이 프레임워크는 페이지 기반 에피소드 통합 (Page-based Episodic Consolidation) 과 의도 기반 에피소드 회상 (Intent-driven Episodic Recall) 프로세스를 통해 작동합니다:

• 통합 (Write Path): 에이전트의 실시간 컨텍스트가 사전 정의된 토큰 예산에 도달하면, 최근 궤적은 연속된 "페이지"로 분할됩니다. 메모리 모델은 각 페이지에 대해 연속과 관련된 기여를 포착하는 경량 단서 ($m_k$) 를 생성합니다 (예: 무엇을 확립했는지, 무엇을 배제했는지, 무엇이 해결되지 않았는지). 그런 다음 원시 페이지는 활성 컨텍스트에서 제거되어 외부에 저장되고, 단서는 메모리 뱅크에 보관됩니다.
• 회상 (Read Path): 에이전트가 과거를 재방문해야 할 때, 특정 의도 ($q_t$) 를 가진 회상 요청을 발행합니다. 에이전트는 현재 상태에 기반하여 관련 단서의 하위 집합을 선택합니다. 그런 다음 메모리 모델은 회상 의도에 조건부로 해당 원시 페이지에서 의사결정에 관련된 정보를 재구성합니다. 이를 통해 에이전트는 전체 기록을 그대로 재생하지 않고도 필요 시 시간적으로 먼 정보에 접근할 수 있습니다.

최적화 전략

SAM 은 에이전트 백본을 고정된 상태로 유지하면서 독립적인 능력으로 두 단계 프로세스를 통해 최적화됩니다:

1. 전문가 주도 지도 미세 조정 (Expert-Guided Supervised Fine-Tuning, SFT): 메모리 모델 (Qwen3.5-9B 로 초기화됨) 은 성공적으로 작업을 해결한 주요 LLM 들 (예: Claude-4.5-Opus, GPT-5.4) 의 트레이스로 학습됩니다. 이는 통합 (단서 생성) 과 의도 기반 회상 (정보 재구성) 모두에 대한 쌍을 이루는 타겟을 제공합니다.
2. OAT-GRPO (Oracle-Anchored Tree GRPO): 메모리 모델을 궤적 수준의 유용성과 정렬시키기 위해, 저자들은 특수한 강화 학습 목적 함수를 도입합니다.
   • 트리 구조 결과 보상 (Tree-Structured Outcome Reward): 전체 롤아웃에 단일 보상을 할당하는 표준 GRPO 와 달리, OAT-GRPO 는 롤아웃을 메모리 호출 트리로 구조화합니다. 이는 모든 메모리 행동에서 분기를 생성하여, 최종 작업 결과에 기반하여 특정 메모리 출력에 대한 신용 할당을 국소화할 수 있게 합니다.
   • 오라클 기반 복구성 보상 (Oracle-Anchored Recoverability Reward): 결과 신호의 희소성을 해결하기 위해, 최첨단 모델들의 위원회를 사용하여 "오라클" 보상이 계산됩니다. 이 보상은 전문가 참조에 상대적으로 회상된 요약이 유용한 정보의 목표 영역 (관련성, 포괄성, 일관성) 을 얼마나 잘 커버하는지 평가하여 학습 신호를 밀도 있게 만듭니다.

주요 기여

논문은 세 가지 주요 기여를 제시합니다:

1. 정립: 단순한 최근성 기반 압축보다는 시간적으로 먼 정보에 대한 수요 주도 접근을 우선시하는 상태 적응형 메모리 문제로 장기 컨텍스트 관리를 재정의합니다.
2. 아키텍처: 보존된 원시 궤적 페이지에 대한 경량 작성 시 통합과 의도 조건부 읽기 시 재구성을 분리하는 단서 - 페이지 메모리 아키텍처를 도입합니다.
3. 최적화 레시피: 전문가 주도 지도 학습과 OAT-GRPO(메모리 행동 수준 RL 목적 함수로, 메모리 호출 트리와 오라클 기반 복구성 보상을 통해 신용을 할당함) 를 결합한 독립형 메모리 모델을 위한 학습 파이프라인을 개발합니다.

실험 결과

SAM 은 BrowseComp, BrowseComp-ZH, WideSearch, HLE라는 네 가지 장기 에이전트 벤치마크에서 평가되었습니다. 실험에는 독점 (GLM-4.7) 과 오픈 소스 (Qwen3.5-35B-A3B) 모델을 포함한 다양한 에이전트 백본이 활용되었습니다.

• 성능: SAM 은 도구 폐기, 최근 $k$단계 유지, 롤링 요약과 같은 휴리스틱 컨텍스트 관리 전략과 WebThinker, WebSailor, ReSum 등의 기존 오픈 소스 에이전트 시스템을 포함한 강력한 베이스라인보다 일관되게 우수한 성과를 거두었습니다.
• 일반화: 한 번 학습된 단일 Qwen3.5-9B 메모리 모델이 모든 백본 - 벤치마크 조합에서 최고의 점수를 달성하여, 메모리 메커니즘이 특정 백본 - 벤치마크 결합에 의존하기보다는 견고하고 일반화 가능함을 입증했습니다.
• 절대화 연구 (Ablation Studies):
  • SFT 와 OAT-GRPO 단계 모두 상호 보완적인 것으로 확인되었으며, 어느 하나를 제거하면 성능이 저하되었습니다.
  • 성장은 통합 자체보다는 의도 기반 회상에 주로 기인했습니다. 요약만 사용하거나 최근성 기반 검색을 사용하는 변형은 훨씬 더 나쁜 성능을 보였습니다.
  • 요약 기반 방법들이 유용한 상태를 잃기 시작하는 상호작용 라운드 증가 (예: 80 라운드 이상) 에 따라 SAM 은 여전히 우위를 유지했습니다.

중요성과 주장

이 논문은 명시적인 메모리 모델링이 장기 에이전트적 추론을 위한 간단하고 효과적인 기반을 제공한다고 주장합니다. 상호작용을 탐색 가능한 항목으로 통합하면서 재구성을 위한 원시 데이터를 보존하는 외부적이고 재사용 가능한 능력으로 메모리를 취급함으로써, SAM 은 에이전트가 하위 백본을 재학습하지 않고도 궤적의 임의 단계에서 정보를 복구할 수 있게 합니다.

저자들은 SAM 을 에이전트의 추론 정책의 대체물이 아니라, 장기 역사를 수동적인 부담에서 탐색 가능한 메모리 공간으로 변환하는 모듈식 구성 요소로 위치시킵니다. 결과는 현재 의사결정 상태에 맞는 올바른 과거 정보에 접근하는 능력이 에이전트적 추론을 확장하는 데 있어 중요하지만 종종 간과되는 요소임을 시사합니다. 이 작업은 점점 더 능력이 향상되는 에이전트를 위한 모듈식 메모리 시스템을 향한 한 걸음으로 제시되며, 추가 연구를 위해 코드가 공개되었습니다.