기술 요약: AUTOMEM

문제 정의

장기 기억(Long-term memory)은 LLM 에이전트가 과거의 상호작용으로부터 정보를 보존하고 재사용할 수 있게 함으로써 점점 더 중요해지고 있습니다. 그러나 현재의 메모리 시스템은 대부분 수동으로 설계되며 배포 시점에 고정됩니다. 저자들은 근본적인 한계를 지적합니다: 메모리의 효과는 단일 구성 요소(예: 리트리버)에 의해 결정되는 것이 아니라, 인코딩(Encode) (무엇을 쓸 것인가), 저장(Store) (어떻게 표현할 것인가), 검색(Retrieve) (어떻게 선택할 것인가), 관리(Manage) (어떻게 유지 및 진화시킬 것인가)라는 네 가지 뚜렷한 모듈 간의 복잡하고 결합된 상호작용에 의해 결정됩니다.

파일럿 연구를 통해 다음이 밝혀졌습니다:

1. 태스크 특이성(Task Specificity): 모든 태스크나 백본 모델에 대해 지배적인 단일 메모리 아키텍처는 존재하지 않으며, 최적의 구성은 데이터셋에 따라 크게 달라집니다.
2. 모듈 결합(Module Coupling): 모듈의 효과는 비가산적(non-additive)입니다. 강력한 리트리버라도 인코더가 저품질의 메모리를 생성하면 실패할 수 있으며, 유용한 저장 형식이 있더라도 검색 정책이 일치하지 않으면 효과가 없을 수 있습니다.
3. 맹목적 탐색의 비효율성(Inefficiency of Blind Search): 이산적 탐색 공간 내에 강력한 아키텍처들이 존재하지만, 무작위 탐색(Random search)은 비용이 지나치게 많이 들며 실패한 시도를 재사용 가능한 최적화 신호로 전환하는 데 실패합니다.

핵심 문제는 **태스크 적응형 메모리 아키텍처 선택(Task-Adaptive Memory Architecture Selection)**입니다. 즉, 제한된 평가 예산 내에서 태스크 정확도와 메모리로 인한 이득을 극대화하면서 추론 비용을 최소화하는 가능한 아키텍처 $a = (e, s, r, m)$를 찾는 것입니다.

방법론: AUTOMEM

저자들은 이산적이고 결합된 메모리 아키텍처 공간을 효율적으로 탐색하기 위해 설계된 텍스트 그래디언트 기반 재귀적 자기 개선 프레임워크인 AUTOMEM을 제안합니다. 분석적 그래디언트 대신, AUTOMEM은 실패한 에이전트 롤아웃으로부터 "텍스트 그래디언트(textual gradient)"를 구축하여 탐색을 가이드합니다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어진 반복적인 라운드로 작동합니다.

1. 경험 가이드 아키텍처 탐색 (EGAS)

EGAS는 역사적 탐색 궤적에서 도출된 구조화된 사전 지식(prior)을 프로포저(proposer) LLM에 조건화하여 후보 아키텍처를 제안합니다. 이는 세 가지 특정 상태 표현을 활용합니다:

• 경험 장부 (Experience Ledger, $L$): (조건, 권장/비권장 편집, 증거, 상태)의 튜플 형태로 재사용 가능한 교차 라운드 지식을 저장합니다. 이를 통해 탐색이 이미 거부된 방향을 다시 방문하는 것을 방방지합니다.
• 관찰 그래프 (Observation Graph, $G$): 특정 태스크 조건과 모듈 선택 및 관찰된 결과 사이를 연결하는 태스크 패턴 수준의 통계(예: $\mu(c, u)$)를 유지하며, 소프트 사전(soft priors) 역할을 합니다.
• 파레토 프런트 (Pareto Front, $P_t$): 정확도, 메모리 유도 이득, 롤아웃 비용의 다중 목적 랭킹을 기준으로 비지배(non-dominated) 후보들을 추적합니다.

2. 실패 가이드 모듈 진단 (FGMD)

FGMD는 실패한 에이전트 롤아웃을 다음 탐색 라운드를 위한 타겟팅된 텍스트 피드백으로 변환합니다. 과정은 다음과 같습니다:

• 범위 필터링 (Scope Filtering): 규칙 기반 게이트를 통해 메모리와 관련 없는 실패(예: 도구 오류, 타임아웃, 추론 실수)를 걸러내어, 오직 메모리에 기인한 실패만이 탐색을 주도하도록 보장합니다.
• 모듈 귀속 (Module Attribution): 실패를 특정 모드(예: 추출 격차, 검색 미스, 오래된 메모리)로 분류하고 이를 책임 있는 모듈(Encode, Store, Retrieve, Manage)에 매핑합니다. LLM 진단기가 모호한 경우에 대해 이러한 귀속 과정을 정교화합니다.
• 텍스트 그래디언트 합성 (Textual Gradient Synthesis): 시스템은 실패 히스토그램과 대표적인 트레이스를 집계하여 구조화된 텍스트 그래디언트 $\delta_{t+1}$을 생성합니다. 이 그래디언트는 주요 병목 구간을 식별하고, 근거 있는 증거를 제공하며, 구체적인 아키텍처 편집(예: 시맨틱 검색에서 하이브리드 검색으로 전환)을 권장합니다.
• 차등 검증 (Differential Validation): 권장 사항은 이전 라운드와 대조하여 검증됩니다. 만약 특정 편집이 성능 개선에 실패하면 장부(ledger)에서 등급이 낮아지며, 진단과 탐색 사이의 루프를 완성합니다.

주요 기여

1. 메모리 설계의 체계화: 본 논문은 롱텀 메모리 설계를 네 가지 모듈(Encode, Store, Retrieve, Manage)의 팩터화된 공간에 대한 탐색으로 공식화하며, 기존 시스템들은 이 공유 공간 내의 고정된 점들에 불과하며 최적의 구성은 태스크에 의존적임을 입증했습니다.
2. AUTOMEM 프레임워크: 경험 가이드 탐색과 실패 가이드 진단을 결리한 재귀적 자기 개선 프레임워크를 도입했습니다. 이 접근 방식은 실패한 롤아웃을 방향성을 가진 텍스트 신호로 변환함으로써 제한된 평가 예산 하에서도 효율적인 태스크 적응형 아키텍처 발견을 가능하게 합니다.
3. 실증적 검증: 세 가지 벤치마크(GAIA, WebWalkerQA, xBench-DeepSearch)와 여러 LLM 백본(Qwen3.5, gpt-5 변형)에 걸친 포괄적인 실험을 통해, AUTOMEM이 인간이 설계한 베이스라인보다 우수한 아키텍처를 발견함을 보여주었습니다.

실험 결과

GAIA, WebWalkerQA, xBench-DeepSearch에서 평가된 AUTOMEM의 결과는 다음과 같습니다:

• 성능 향상: AUTOMEM은 가장 강력한 인간 설계 베이스라인을 지속적으로 능가했습니다. 6개의 벤치마크-백본 설정 전반에 걸쳐 평균 2.8 포인트의 정확도 향상을 달нибудь했습니다.
  • GAIA (Qwen3.5-122B-A10B)에서 AUTOMEM은 최강 베이스라인(MemoryBank)의 67.8% 대비 **71.5%**의 정확도를 달성했습니다.
  • xBench-DeepSearch에서 46.0%를 기록하여 SOTA(45.0%)를 넘어섰습니다.
  • WebWalkerQA에서 72.5%를 달성하여 최강 베이스라인(68.9%)보다 높은 성능을 보였습니다.
• 효율성: AUTOMEM은 유리한 정확도-효율성 트레이드오프를 달성했습니다. Qwen3.5-122B-A10B 환경에서, 가장 높은 정확도를 보이는 베이스라인과 비교했을 때 더 높은 정확도를 유지하면서도 토큰 비용을 14.3% 절감했습니다.
• 탐색 효율성: AUTOMEM은 GAIA에서 5번의 진화 라운드 내에 71.5%의 정확도에 도달하여, 10번의 무작위 시도 결과인 69.7%를 앞질렀습니다. 이는 무작위 탐색에 필요한 토큰 예산의 약 **55%**만 사용하여 달성한 결과입니다.
• 어블레이션 (Ablation): FGMD 또는 EGAS 중 하나라도 제거하면 성능이 크게 저하되었습니다. FGMD가 없으면 정확도가 64.2%로 떨어졌으며(일부 맥락에서는 메모리 미사용 베이스라인보다 낮음), 토큰 비용은 두 배로 증가했습니다. EGAS가 없으면 정확도가 57.9%로 떨어져, 축적된 탐색 경험의 필요성을 입증했습니다.

발견된 아키텍처들

논문은 AUTOMEM이 서로 다른 태스크 분포에 대해 뚜렷한 아키텍처로 수렴함을 강조합니다:

• GAIA (다단계 추론): 엔티티를 조직하고 성공적인 도구 실행과 실패한 실행을 구분하기 위해 Tip+Workflow+Trajectory 인코딩, Graph 저장, Contrastive 검색을 선호합니다.
• WebWalkerQA (내비게이션): 정확한 페이지 사실을 보존하고 도구 사용을 검증하기 위해 Insight+Workflow+Shortcut 인코딩, JSON 저장, Hybrid 검색을 선호합니다.
• xBench-DeepSearch (딥 서치): 해결된 케이스를 효과적으로 재사용하기 위해 Tip+Insight+Trajectory 인코딩, JSON 저장, Case-based reranking을 선호합니다.

의의 및 주장

본 논문은 LLM 에이전트를 위한 메모리가 고정되고 수동으로 제작된 메커니즘이 아니라, 타겟 태스크 분포에 따라 최적화되어야 하는 **적응형 아키텍처(adaptive architecture)**로 취급되어야 한다고 주장합니다. 메모리 설계를 탐색 문제로 다루고 텍스트 그래디언트 피드백을 활용함으로써, AUTOMEM은 자동화된 태스크 적응형 탐색이 인간의 직관을 뛰어넘는 아키텍처를 발견하는 동시에 정확도와 계산 비용 간의 트레이드오프를 개선할 수 있음을 입증했습니다. 저자들은 이 연구를 태스크 적응형 메모리 탐색을 향한 첫걸음으로 규정하며, 향후 연구에서 이를 샘플 수준의 적응 및 개방형 메모리 모듈 생성으로 확장할 수 있다고 언급했습니다.