기술 요약: 행동으로서의 기억 (MemAct)

1. 문제 제기

심층 연구나 소프트웨어 엔지니어링과 같은 장기적 에이전트 작업은 대규모 언어 모델 (LLM) 이 광범위한 작업 기억을 유지해야 함을 요구합니다. 긴 컨텍스트 LLM 은 용량을 확장했지만, 컨텍스트가 관련 없는 정보로 포화되면 주의 분산과 "중간 소실 (lost-in-the-middle)" 행동을 겪습니다.

이러한 컨텍스트 관리를 위한 기존 접근 방식은 두 가지 비최적 범주로 나뉩니다:

1. 수동 압축: 토큰 단위 압축이나 주기적 요약과 같은 방법은 에이전트의 특정 추론 상태를 인식하지 못한 채 작동하여, 의미상 중요한 의존성을 잃을 위험이 있습니다.
2. 외부 컨트롤러: 휴리스틱 규칙이나 외부 모듈을 사용하여 기억을 관리하는 시스템은 컨텍스트 선별을 에이전트의 핵심 추론 정책과 분리합니다. 이는 작업 수행에 대한 정보 유지의 종단 간 최적화를 방해합니다.

식별된 핵심 과제는 컨텍스트 선별입니다. 이는 집중된 목표 관련 추론 궤적을 유지하기 위해 정보를 전략적으로 선택, 통합, 제거해야 하는 필요성입니다. 기존 방법들은 이를 에이전트의 고유하고 학습 가능한 능력으로 다루지 못합니다.

2. 방법론: 행동으로서의 기억 (MemAct)

본 논문은 컨텍스트 관리를 외부 메커니즘이 아닌 통합된 정책 공간 내의 학습 가능한 행동 집합으로 재개념화하는 MemAct를 제안합니다.

2.1 핵심 프레임워크

MemAct 는 컨텍스트 선별을 에이전트의 행동 공간 ($\mathcal{A} = \mathcal{A}_{task} \cup \mathcal{A}_{mem}$) 에 직접 통합합니다.

• 통합 정책: 단일 정책 $\pi_\theta$가 작업 행동 (예: 검색, 도구 사용) 과 기억 행동을 모두 결정합니다.
• Prune&Write 연산자: 주요 기억 행동은 인-플레이스 편집 작업입니다. 트리거될 때 에이전트는 다음을 수행합니다:
  1. Prune(가지치기): 고유 ID 로 식별된 특정 과거 상호작용 턴을 제거합니다.
  2. Write(기록): 요약, 사실, 또는 계획이 포함된 새로운 기억 메모를 생성하여 컨텍스트에 추가합니다.
• 상태 표현: 작업 기억은 고유하게 주소 지정 가능한 상호작용 기록의 시퀀스 $H_t = [z_1, z_2, \dots, z_k]$로 모델링되며, 각 기록에는 행동, 관찰, 고유 ID 가 포함됩니다.

2.2 학습 과제: 동적 컨텍스트 업데이트

MemAct 학습의 주요 장애물은 학습 - 추론 불일치입니다. 인과적 LLM 은 단조로운 컨텍스트 성장을 가정합니다. MemAct 가 콘텐츠를 삭제할 때, 후속 토큰의 키 - 값 (KV) 캐시에 인코딩된 인과적 의존성이 무효화됩니다 ("삭제된" 정보가 여전히 삭제 전 생성된 토큰의 숨겨진 상태에 물리적으로 영향을 미침). 단순한 어텐션 마스킹은 이러한 인과적 의존성을 끊지 못하므로 불충분합니다.

2.3 해결책: 동적 컨텍스트 정책 최적화 (DCPO)

동적 컨텍스트 업데이트를 통한 효율적인 강화 학습 (RL) 을 가능하게 하기 위해, 저자들은 DCPO를 도입합니다.

• 궤적 분할: DCPO 는 모든 기억 편집 지점에서 에이전트의 상호작용 궤적을 논리적으로 분할합니다.
• 독립적 세그먼트: 궤적은 $K+1$개의 독립적인 세그먼트 $\{\sigma_i\}$로 재구성됩니다. 각 세그먼트 내에서 컨텍스트 접두사는 고정되어 안정적인 기울기 계산을 위한 표준 자기회귀 인과 구조를 복원합니다.
• 최적화: 정책은 재구성된 논리적으로 일관된 세그먼트에 대해 그룹 상대 정규화 방식 (GRPO 와 유사) 을 사용하여 최적화되며, 이를 통해 기울기가 올바른 컨텍스트 이력에 대해 계산되도록 보장합니다.

3. 주요 기여

1. 패러다임 전환: 행동으로서의 기억을 제안하여 작업 기억 관리를 외부 휴리스틱에서 에이전트의 고유한 학습 가능한 정책 능력으로 전환합니다. 이를 통해 에이전트는 컨텍스트 선별과 작업 수행을 자율적으로 균형 잡을 수 있습니다.
2. 기술적 혁신:
   • 고유 ID 기반 주소 지정 가능 시퀀스와 정밀 편집을 위한 Prune&Write 연산자를 갖춘 마르코프 결정 과정 (MDP) 으로 작업 기억을 공식화했습니다.
   • 동적 컨텍스트 업데이트를 표준 인프라에서 맞춤형 수정 없이 효율적인 RL 학습과 조화시키는 DCPO(궤적 분할 알고리즘) 를 개발했습니다.
3. 실증적 검증: 학습된 기억 전략이 효율적이고 적응적이며 일반화 가능함을 입증했습니다.

4. 실험 결과

저자들은 합성 다목적 QA 데이터셋 (HotpotQA 기반) 과 공개 벤치마크 (2WikiMultihopQA, Bamboogle, Frames, BrowseComp-Plus) 에서 MemAct 를 평가했습니다.

• 성능 대비 효율성:

  • MemAct-RL-14B(14B 파라미터) 는 다목적 작업에서 **59.1%**의 정확도를 달성하여 Qwen3-235B(235B 파라미터, 53.1%) 와 전문화된 Tongyi-DeepResearch(56.0%) 를 능가했습니다.
  • 더 작은 크기임에도 불구하고, MemAct-RL-14B 는 Qwen3-235B 대비 단계당 평균 컨텍스트 길이를 51% 줄였으며 (3,500 토큰 대 ~7,000 토큰), 총 토큰 소비량을 51% 감소시켰습니다.
  • 이는 16 배 더 큰 모델의 정확도와 일치하면서도 훨씬 낮은 계산 비용으로 작동함을 의미합니다.

• 일반화:

  • 모델은 최대 3 개의 목표를 가진 작업으로 훈련되었으나, 8 개의 목표를 가진 작업으로도 성공적으로 일반화되어 베이스라인이 성능 포화에 시달리는 환경에서도 높은 정확도를 유지했습니다.
  • 다양한 모델 규모 (7B 및 14B) 와 새로운 도구 환경 (BrowseComp-Plus) 에서 견고성을 입증했습니다.

• 학습된 전략:

  • 7B 모델: 제한된 컨텍스트 용량을 보상하기 위해 빈번하고 공격적인 가지치기 (행동당 약 7 개 기록 제거) 를 학습했습니다.
  • 14B 모델: 이모달 전략을 개발했습니다. 추론 중에는 노이즈를 제거하기 위해 정밀 가지치기 (약 2 개 기록) 를, 하위 목표 완료 후에는 중간 단계를 정리하기 위해 거친 가지치기 (약 6 개 기록) 를 수행합니다.

• 지연 시간: MemAct 는 프리필 시간 감소와 더 높은 접두사 캐시 히트율로 인해 기억 행동이 없는 RL 베이스라인인 Search-R1 대비 총 추론 시간을 40% 단축했습니다.

5. 중요성과 주장

본 논문은 자율적 컨텍스트 선별이 학습 가능한 기술로 내재화될 수 있으며, 에이전트 행동을 위한 근본적이고 확장 가능한 아키텍처 빌딩 블록으로 기능할 수 있다고 주장합니다.

• 고유 능력: 결과는 에이전트가 외부 기억 관리자가 필요하지 않으며, 추론 집중을 유지하기 위해 자체 작업 기억을 "편집"하도록 학습할 수 있음을 시사합니다.
• 확장성: 이 프레임워크는 단순한 원시 용량이 아닌 정보 밀도를 최적화함으로써 더 작은 모델이 훨씬 더 큰 모델과 경쟁할 수 있게 합니다.
• 적응성: 시스템은 백본 모델의 특정 용량에 맞춰 전략을 자율적으로 발견하며, 작업 복잡도에 따라 기억 행동 강도를 조정합니다.

저자들은 희소 보상 기반의 접근 방식이 크레딧 할당을 어렵게 만들 수 있으며, 손실 압축의 특성상 요약된 후 원본 데이터를 복구할 수 없다는 한계를 인정합니다. 그러나 이러한 접근 방식이 시스템 수준 인프라를 보완하는 결정 계층에서 원칙적인 인터페이스를 제공한다고 주장합니다.