기술 요약: Auto-Dreamer: 언어 에이전트를 위한 오프라인 기억 통합 학습

문제 정의

언어 에이전트는 고립된 상호작용이 아닌 관련 작업들의 스트림을 통해 점점 더 배포되고 있습니다. 이러한 환경에서 장기 기억은 과거의 개체에 대한 검색 캐시로만 기능하는 것이 아니라, 원시 경험을 재사용 가능한 절차, 환경 지식, 행동적 사전 지식으로 변환하는 메커니즘으로 작용해야 합니다. 기존 기억 시스템은 두 가지 주요 과제를 직면하고 있습니다:

1. 통합 문제 (The Consolidation Problem): 현재 방법론들은 일반적으로 기억 획득과 통합을 단일 온라인 프로세스로 결합합니다. 업데이트는 현재 세션의 제한된 증거로 이루어지므로, 반복되는 패턴을 발견하거나 세션 간 공유 절차를 추상화하거나 모순을 해결하거나 중복 항목을 제거하기 어렵습니다.
2. 기억 - 유용성 문제 (The Memory-Utility Problem): 강화 학습 (RL) 으로 훈련된 기억 관리자는 명시적인 하류 작업 목표 하의 오프라인 통합보다는 온라인 구축이나 검색을 최적화하는 경향이 있습니다. 결과적으로, 어떤 기억이 '하중을 지는 (load-bearing)'지, 어떤 항목이 중복되는지, 또는 성공과 기억의 간결성 사이에서 어떻게 균형을 잡아야 하는지를 직접 학습하지 못합니다.

검색 증강 에피소드 저장소, 구조화된 기억 시스템, 반성 기반 방법 등을 포함한 기존 접근법들은 일반적으로 효과적인 세션 간 추상화를 수행하기 위한 세션 전반의 전역적 관점이 부족합니다.

방법론: Auto-Dreamer

빠른 에피소드 인코딩을 위한 해마 시스템과 공유 구조 추출을 위한 느린 대뇌 피질 시스템을 가정하는 보완적 학습 시스템 (CLS) 이론에서 영감을 받아, 저자들은 Auto-Dreamer를 제안합니다. 이는 빠른 세션별 기억 획득과 느린 세션 간 통합을 분리하는 학습된 오프라인 통합기입니다.

핵심 아키텍처

이 시스템은 사실적 (semantic) 및 절차적 (procedural) 항목을 포함하는 타입 지정 기억 은행에서 작동합니다. 각 항목은 짧은 이름, 본문, 그리고 소스 궤적에 대한 출처 링크를 포함합니다.

• 빠른 온라인 획득: 고정된 프롬프트 기반 '라이터 (writer)' 모델이 세션별로 작동합니다. 이는 로컬이며 추가 전용 (append-only) 으로, 기존 은행을 검색하거나 기존 기억을 다시 쓰지 않고 소스 궤적에 대한 출처 포인터가 포함된 타입 지정 기억 항목을 기록합니다. 이는 가소성을 우선시합니다.
• 느린 오프라인 통합 (영역 재작성): 핵심 혁신은 오프라인에서 작동하는 학습된 정책인 **통합기 (consolidator, $C_\theta$)**입니다. 항목을 그 자리에서 편집 (CRUD) 하는 대신 **영역 재작성 (region rewriting)**을 수행합니다.
  • 프로세스: 기억 은행의 선택된 작업 영역 $R$과 해당 출처 링크 소스 궤적 $T_R$이 주어지면, 통합기는 제한된 도구 사용 롤아웃을 수행합니다. 이는 기억을 검색하고, 후보 항목을 검사하며, 원시 소스 궤적을 검색하는 도구들을 사용합니다.
  • 출력: 세션 간을 추상화하는 새로운 간결한 대체 세트 (replacement set) $S$를 합성합니다. 원래 영역 $R$은 읽기 전용 증거로 간주되며, 통합 후 은행 ($B^* = (B \setminus R) \cup S$) 에서 $S$로 완전히 대체됩니다.
  • 함의: 이 대체 의미론은 간결성을 구조적으로 만듭니다. 정보는 대체 세트에 재합성될 때만 생존하므로, 추상화, 중복 제거, 그리고 생략 기반 망각이 기본 동작이 됩니다.

GRPO 를 통한 훈련

통합기는 **그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO)**를 사용하여 훈련됩니다.

• 목적: 훈련은 작업 에이전트, 검색기, 라이터, 그리고 기억 스키마를 고정함으로써 통합기의 기여도를 격리합니다.
• 신용 할당: 온라인 방법과 달리, 대체 세트 $S$는 합성된 항목 만으로 구성된 로컬 은행 ($B^*_g = S_g$) 에서 평가됩니다. 이는 은행의 나머지 부분에서 오는 혼란 요인 없이 정책 출력에 대한 직접적인 신용 할당을 가능하게 합니다.
• 보상 신호: 보상 $r_g$는 하류 작업 성능과 **반사실적 유용성 항 (counterfactual utility term)**을 결합합니다:
  $$r_g = U_V(S_g) + \alpha \cdot r_{cf}(S_g; V)$$
  • $U_V(S_g)$: 홀드아웃 평가 작업 세트 $V$에서의 평균 수익입니다.
  • $r_{cf}$: $S_g$의 항목 중 일부를 무작위로 마스킹하여 추정됩니다. 이 항은 중복 항목 (마스킹이 성능 저하를 거의 유발하지 않음) 에는 페널티를 부과하고, 하중을 지는 항목 (마스킹이 성능을 해침) 에는 보상을 부여하며, 해로운 항목에는 부정적 신용을 부여합니다.

주요 기여

1. 이중 시간 척도 공식화: 이 논문은 빠른 세션별 획득과 느린 세션 간 통합을 구분하며, 후자를 누적된 증거에 대한 학습된 결정 문제로 공식화합니다.
2. 영역 재작성 원시 연산자: 이는 간결성을 유도하는 통합 원시 연산자로서 출처 기반 영역 재작성을 도입합니다. 개별 항목을 편집하는 대신 영역을 합성된 세트로 대체함으로써, 세션 간 추상화와 중복 제거를 기본 업데이트 의미론으로 강제합니다.
3. 영역 로컬 신용을 통한 RL 훈련: 이 방법은 자체적으로 완결된 대체 세트를 직접 평가함으로써 지도식 기억 레이블 없이 RL 훈련을 가능하게 합니다. 반사실적 마스킹의 사용은 시스템이 작업 유용성을 유지하면서 중복 기억을 억제하도록 학습할 수 있게 합니다.

실험 결과

Auto-Dreamer 는 세 가지 도메인에서 평가되었습니다: ScienceWorld(텍스트 기반 과학 실험), ALFWorld(가정 지시 수행), 그리고 WebArena(웹 탐색).

• 연속적 기억 배포:
  • ScienceWorld에서 Auto-Dreamer 는 **41.1%**의 성공률을 달성하여, 가장 강력한 베이스라인 (UMEM) 보다 7.0 포인트, 가장 강력한 프롬프트 기반 베이스라인 (ReasoningBank) 보다 10.2 포인트 더 높은 성능을 보였습니다.
  • 중요하게도, 이는 가장 강력한 베이스라인보다 12 배 작은 활성 기억 은행 (UMEM 의 80.9k 토큰 대비 6.9k 토큰) 으로 달성되었습니다.
  • ALFWorld에서는 6× 적은 기억을 사용하여 **60.2%**의 성공률 (UMEM 의 58.4% 대비) 을 달성했습니다.
  • WebArena에서는 927 토큰 (LightMem 의 370k 대비) 만 사용하여 **52.3%**의 성공률로 모든 베이스라인을 앞섰습니다.
• 일반화: 통합기는 ScienceWorld 궤적에만 훈련되었습니다. 그럼에도 불구하고, 다른 라이터 백본 (Qwen3-14B 대 Gemini-3.1-flash-lite-preview) 과 짝지어졌을 때조차 재훈련 없이 홀드아웃 ALFWorld 와 WebArena 에서 성능을 향상시켰습니다.
• 제어된 통합: 사전 구축된 은행에 통합 연산자를 한 번만 적용하는 고정 은행 실험에서도 Auto-Dreamer 는 베이스라인을 능가하여, 성과가 단순히 데이터 축적이 아니라 오프라인 통합 프로세스 자체에서 비롯됨을 확인했습니다.

중요성과 주장

이 논문은 Auto-Dreamer 가 오프라인 학습된 통합이 언어 에이전트의 성공 - 비용 트레이드오프를 크게 개선할 수 있음을 보여준다고 주장합니다. 획득과 통합을 분리하고 영역 재작성을 사용함으로써, 이 시스템은 프롬프트 기반 및 RL 훈련 베이스라인 모두에 비해 훨씬 작은 기억 풋프린트로 더 높은 작업 성공률을 달성합니다.

저자들은 학습된 통합기가 작업 도메인과 라이터 백본 간에 이전됨을 강조하며, 텍스트 기억 항목과 소스 궤적에 대한 통합이 도메인과 라이터에 구애받지 않을 수 있다는 견해를 지지합니다. 이 연구는 에이전트의 경험이 세션 내에서 재구성될 수 있는 속도보다 빠르게 축적될 때, 오프라인 학습된 통합이 간결하고 고유용성의 기억 은행을 유지하기 위한 실현 가능한 메커니즘임을 시사합니다.

이 논문은 범위에 대해 겸손하게 서술하며, 평가가 텍스트 기반 환경으로 제한되어 있고 통합기가 고정된 라이터 스키마에 의존한다는 점을 지적합니다. 대체 라이터나 멀티모달 입력에 대한 견고성은 아직 확립되지 않았습니다.