기술 요약: MemPro – 진화 가능한 프로그램으로서의 에이전트 메모리 시스템

1. 문제 정의

장기적 자율 에이전트는 대규모 언어 모델(LLM)의 유한한 컨텍스트 창을 넘어 역사적 정보를 보유하고 진화하는 상태를 추적하기 위한 메모리 시스템을 필요로 한다. 기존의 에이전트 메모리 시스템은 일반적으로 메모리 구축-검색(Memory Construction–Retrieval, MCR) 파이프라인을 따르지만, 다음과 같은 고정된 파이프라인 설계로 인해 두 가지 결정적인 한계점을 갖는다:

1. 태스크 이질성(Task Heterogeneity): 서로 다른 장기 메모리 태스크는 서로 다른 실패 모드(예: 시간적 추론 vs 멀티 세션 증거 연결)를 보이며, 이에 따라 서로 다른 전략을 요구한다. 고정된 파이프라인은 단일 전략을 모든 태스크에 강요하여 최적화되지 않은 성능을 초래한다.
2. 메모리-파이프라인 불일치(Memory–Pipeline Misalignment): 메모리 뱅크의 규모와 구조가 시간이 지남에 따라 진화함에 따라, 정적인 파이프라인은 더 이상 메모리가 조직되거나 검색되는 방식과 일치하지 않을 수 있으며, 이는 불완전한 검색이나 노이즈가 섞인 증거로 이어진다.

프롬프트 수준의 진화와 같은 기존 최적화 방법은 텍스트 지침을 개선할 수는 있지만, 실행 가능한 파이프라인 로직(예: 메모리 뱅크 구축 또는 검색 전략을 위한 코드)을 수정할 수는 없다. 본 논문은 메모리 자기 진화가 단순히 저장된 메모리나 프롬프트 텍스트를 업데이트하는 것을 넘어, 전체 MCR 파이프라인을 진화 가능한 프로그램으로 취급하는 시스템 수준에서 이루어져야 한다고 주장한다.

2. 방법론: MemPro 프레임워크

MemPro는 MCR 파이프라인을 진화 가능한 프로그램으로 취급하는 시스템 수준의 진화 프레임워크이다. 이 시스템은 실행 가능한 메모리 시스템 구현체와 그 평가 로그를 모두 포함하는 **버전 트리(version tree)**를 유지한다. 시스템은 **진화 에이전트(Evolving Agent)**에 의해 구동되며, 이 에이전트는 실패 모드 가이드 기반의 편집-디버그 정교화(failure-mode-guided edit–debug refinement) 과정을 통해 파이프라인 버전을 반복적으로 선택, 확장 및 평가한다.

핵심 구성 요소

• MCR 버전 트리 ($T$): 각 노드 $v$가 실행 가능한 파이프라인 구현체 $F_v$와 그 평가 로그 $L_v$를 나타내는 트리 구조이다. 루트 $v_0$는 초기 파이프라인이다.
• 평가 로그 ($L_v$): 전체 점수($S_v$), 카테고리별 점수($C_v$), 부모 노드($pa(v)$), 그리고 실패 모드와 개선 방향을 요약한 종합 평가($A_v$)를 기록한다.
• 진화 에이전트 ($A_{evo}$): 세 가지 반복 단계를 통해 진화 과정을 관리하는 핵심 엔진이다.
  1. 선택(Selection): 에이전트는 높은 점수, 일반화 가능한 개선 사항, 빈번한 실패 모드를 기준으로 전체 버전 트리에서 가장 유망한 부모 노드를 선택하기 위해 로그를 분석한다. 또한 진단 분석($R_\ell$)을 생성한다.
  2. 확장(Expansion): 선택된 노드에서 시작하여 자식 버전을 만들기 위한 내부 반복 루프를 수행한다. 각 단계에서 에이전트는 다음 액션을 선택한다:
     • 편집(EDIT): 축적된 진단 분석을 바탕으로 파이프라인 코드나 프롬프트를 수정한다.
     • 디버그(DEBUG): 특정 진단 예시를 선택하여 현재 파이프라인을 실행하고 전체 트레이스(trace)를 생성하며, 전체 데이터셋을 다시 평가하지 않고도 진단 분석을 업데이트한다.
     • 종료(TERMINATE): 확장을 중단하여 새로운 버전을 확정한다.
  3. 평가(Evaluation): 새로운 파이-라인 버전이 전체 훈련 세트에서 실행되어 실행 트레이스를 수집한다. 에이전트는 이 트레이스들을 요약하여 새로운 평가 로그를 생성하고, 이를 버전 트리에 추가한다.

이 트리 구조를 통해 MemPro는 단일 선형 궤적을 따르는 대신, 강력한 역사적 버전으로부터 분기하고 대안적인 방향을 탐색할 수 있다.

3. 주요 기여

1. 한계점 식별: 본 논문은 태스크 이질성과 메모리-파이프라인 불일치를 고정된 파이프라인 에이전트 메모리 시스템의 근본적인 결함으로 식별하고, 고립된 메모리 또는 프롬프트 업데이트보다 시스템 수준의 진화가 필요함을 주장한다.
2. MemPro 프레임워크: MCR 파이프라인을 진화 가능한 프로그램으로 취급하는 시스템 수준의 진화 프레임워크를 제안한다. 이 시스템은 버전 트리와 실패 모드 가이드 기반의 편집-디버그 정교화 방식을 통해 프롬프트와 실행 가능한 코드를 독특하게 동시에 최적화한다.
3. 실증적 검증: 네 가지 벤치마크(LongMemEval, LoCoMo, HotpotQA, NarrativeQA)에 걸친 광범위한 실험을 통해, MemPro가 몇 번의 반복만으로도 강력한 정적 및 프롬프트 수준 진화 베이스라인을 일관되게 능가하며, 버전 트리가 확장됨에 따라 지속적으로 개선되고 우수한 성능-비용 트레이드오프를 달축함을 입증하였다.

4. 실험 결과

GPT-4o-mini 및 Qwen3-30B-A3B 백본을 사용하여 두 개의 장기 메모리 벤치마크(LongMemEval, LoCoMo)와 두 개의 롱 컨텍스트 QA 벤치마크(HotpotQA, NarrativeQA)에서 실험을 진행하였다.

• 성능 향상: MemPro는 강력한 정적 베이스라인(예: LangMem, Mem0, GAM) 및 프롬프트 수준 진화 베이스라인(GEPA, MetaMem)을 일관되게 능가했다.
  • LoCoMo에서 MemPro-5(5회 반복 후)는 **81.94%**의 정확도를 달성하여 최상의 베이스라인(GAM 80.45%)을 넘어섰다.
  • LongMemEval에서 MemPro-15는 **79.00%**에 도달하여 최상의 베이스라인(GEPA 75.60%)을 앞질렀다.
  • HotpotQA 및 NarrativeQA에서 MemPro는 5번째 반복 만에 모든 비-MemPro 베이스라인을 제치고 SOTA(State-of-the-art) F1 점수를 달성했다.
• 지속적 개선: 정적인 시스템과 달리, MemPro는 5회에서 15회 반복으로 진화함에 따라 꾸준한 성능 향상을 보여주었으며, 이는 시스템 수준 최적화의 높은 잠재력을 나타낸다.
• 절제 연구(Ablation Studies): 핵심 구성 요소(코드 편집, 버전 트리, 반복적 확장 또는 다회차 진화)를 제거하면 성능이 크게 저하되었다. 특히, "w/o Code" 변형(프롬프트 수준 진화로 축소)은 전체 시스템보다 낮은 성능을 보여, 실행 가능한 로직을 편집하는 것의 필요성을 입증했다.
• 효율성: MemPro는 합리적인 토큰 비용으로 가장 높은 전체 정확도를 달eric했으며, "Full Text" 방식보다 적은 토큰을 사용하면서도 유사한 예산 내에서 강력한 메모리 베이스라인들을 능가했다.

5. 의의 및 주장

본 논문은 에이전트 메모리가 실행 가능하고 자기 진화하는 시스템으로서 최적화되어야 한다고 주장한다. MCR 파이프라인을 진화 가능한 프로그램으로 취급함으로써, MemPro는 태스크 다양성과 진화하는 메모리 구조에 어려움을 겪는 고정된 파이프라인 설계의 한계를 해결한다.

저자들은 다음을 강조한다:

• 실행 가능한 파이프라인 로직을 진화시키는 것은 메모리 뱅크나 프롬프트만을 조정하는 것 이상의 이점을 제공한다.
• 버전 트리 구조는 선형 진화보다 우월하며, 시스템이 강력한 역사적 버전으로부터 분기할 수 있게 한다.
• 실패 모드 가이드 기반 정교화(편집과 타겟 디버깅의 결적인 결합)는 반복적인 시스템 개선에 효과적이다.

이 연구는 향후 에이전트 메모리 시스템이 정적인 아키텍처를 넘어, 특정 태스크 요구사항과 진화하는 데이터 규모에 맞춰 자신의 구축 및 검색 전략을 스스로 적응시킬 수 있는 동적이고 자기 개선적인 프로그램으로 나아가야 함을 시사한다.

6. 한계 및 윤리적 고려사항

• 비용: MemPro는 오프라인 진화 단계를 도입한다. 진화 과정 자체의 효율성은 향후 개선 대상이지만, 비용은 많은 쿼리에 걸쳐 분산될 수 있다.
• 에이전트 능력: 현재 구현은 코드를 편집하고 디버깅하기 위해 유능한 진화 에이전트(GPT-5.4-medium 기반의 Codex harness)에 의존한다.
• 토폴로지: 현재 프레임워크는 새로운 버전이 단일 부모로부터 파생되는 트리 구조를 사용한다. 저자들은 병합을 허용하는 더 일반적인 토폴로지(예: 그래프 구조 진화)는 아직 탐구되지 않았음을 언급한다.
• 안전성: MemPro는 실행 가능한 구성 요소를 편집하므로, 진화된 버전은 안전이 중요한 환경에 배포되기 전에 샌드박스 처리, 로깅 및 검토를 거쳐야 한다. 저자들은 실험 중에 평가 데이터와 정답(gold answers)이 진화 에이전트에 노출되지 않도록 조치하였다.