기술 요약: EvoArena 및 EvoMem

문제 정의

대규모 언어 모델(LLM) 에이전트는 웹 네비게이션, 소프트웨어 엔지니어링, 도구 사용을 포함하는 벤치마크에서 강력한 성능을 입증해 왔다. 그러나 이러한 평가는 인터페이스, 규칙, 코드 상태, 그리고 태스크 분포가 벤치마크 구축 시점에 고정되어 있는 **정적 환경(static environments)**을 전제로 한다. 실제 배포 환경에서 에이전트는 시간이 지남에 따라 지속적으로 진화하는 동적 환경(dynamic environments)(예: API 업데이트, 워크플로우 변경, 코드베이스 리팩토링, 사용자 선호도 변화)에서 작동한다.

현재의 에이전트 시스템은 이러한 설정에서 **상태 붕괴(state collapse)**로 인해 실패하는 경우가 많다. 대부분의 메모리 기반 에이전트는 단일한 최신 상태(예: 검색된 메모리 뱅크 또는 에피소드 저장소)를 유지한다. 이는 새로운 정보가 기존 정보를 안전하게 대체할 때는 효과적이지만, 서로 다른 버전의 환경이 서로 다른 동작을 요구할 때는 취약한 설계가 된다. 예를 들어, 워크플로 권한 업데이트가 특정 레거시 릴리스나 조직에 대해 여전히 유효한 이전 규칙을 덮어쓸 수 있다. 결과적으로 에이전트는 이전의 행동이 언제 유효했는지에 대한 맥락을 잃게 되어, 폐기된 절차를 재사용하게 된다. 따라서 지속적인 환경 진화(persistent environment evolution) 하에서의 에이전트 강건성을 평가하고 개선하기 위한 데에는 심각한 격차가 존재한다.

방법론

1. EvoArena: 지속적 진화를 위한 벤치마크 스위트

이러한 동적 평가의 부재를 해결하기 위해, 저자들은 세 가지 도메인에 걸쳐 점진적인 업데이트의 시퀀스로 환경 변화를 모델링하는 EvoArena 벤치마크 스위트를 소개한다:

• Terminal-Bench-Evo (실행 가능한 워크플로 진화): 정적 터미널 태스크를 버전화된 체인으로 변환한다. 근본적인 목표는 동일하게 유지되지만, I/O 경로, CLI/API 인터페이스, 의존성, 워크스페이스 레이아웃, 보안 정책을 포함한 운영 제약 조건이 버전별로 진화한다. 각 체인은 4~5개의 버전으로 구성되며, 후기 버전은 초기 버전에서 실현된 환경을 상속받는다.
• SWE-Chain-Evo (소프트웨어 진화): 소프트웨어 저장소를 연대순의 마일스톤 체인으로 구성한다. 에이전트는 코드베이스가 이전 마일스톤으로부터의 변경 사항을 축적하는 가운데 국소적인 개발 목표(예: 버그 수정, 기능 추가)를 해결해야 한다. 이 평가는 에이전트가 이전에 확립된 행동을 퇴보시키지 않으면서 새로운 요구사항을 구현할 수 있는지 테스트한다(Pass-to-Pass 테스트를 통해 측정).
• PersonaMem-Evo (사회적 지능 진화): 개인화 벤치마크를 확장하여 진화하는 사용자 선호도를 모델링한다. 정적인 프로필 대신, 에이전트는 사용자의 선호도가 시간에 따라 변하는(예: 새로운 경험에 따른 음료 선호도 변화) 장기 대화와 상호작용한다. 이 벤치마크에는 에이전트가 분산된 역사적 증거로부터 현재의 선호도를 추론하고, 구식 상태와 유효한 상태를 구분해야 하는 질문들이 포함된다.

EvoArena는 두 가지 지표를 사용하여 에이전트를 평가한다:

• 단계 정확도(Step Accuracy): 개별 진화된 태스크에 대한 성공 여부.
• 체인 정확도(Chain Accuracy): 연결된 태스크 시퀀스에 대한 성공 여부로, 에이전트가 오류 없이 전체 진화 이력 전반에 걸쳐 신뢰성을 유지해야 함을 요구한다.

2. EvoMem: 패치 기반 메모리 패러다임

이러한 동적 설정에서 에이전트 성능을 향상시키기 위해, 저자들은 가볍고 git과 유사한 메모리 패러다임인 EvoMem을 제안한다. 업데이트를 단일 상태로 통합하는 표준 메모리 시스템과 달리, EvoMem은 메모리 업데이트를 추가 전용(append-only) 패치 이력으로 취급한다.

• 패치 기록(Patch Recording): 에이전트가 메모리를 업데이트할 때, EvoMem은 비가산적 변경 사항(수정, 덮어쓰기, 재해석)을 명시적인 패치로 캡처한다. 각 패치 $p_t$는 다음을 기록한다:
  • $\tau_t$: 시간적 메타데이터 (턴, 세션).
  • $C^-_t, C^+_t$: 업데이트 전후의 메모리 내용.
  • $r_t$: 업데이트에 대한 근거(rationale).
  • $z_t$: 변경 사항의 의미론적 요약.
  • $e_t$: 뒷받침하는 증거 (트리거가 된 맥락, 피드백).
• 패치 증강 검색(Patch-Augmented Retrieval): 추론 시, 에이전트는 기본적으로 최신 메모리 상태를 검색한다. 그러나 쿼리가 덮어씌워진 상태, 시간적 변화, 또는 버전별 동작에 의존하는 경우, 시스템은 관련 있는 역사적 패치를 선택적으로 검색한다. 이를 통해 에이전트는 상태가 왜 변했는지, 그리고 이전 상태가 언제 유효했는지를 추론할 수 있다.

EvoMem은 특정 맥락에서 무엇이 "패치"를 구성하는지에 대한 구체적인 스키마를 정의함으로써 다양한 에이전트 아키텍처(Terminus2, OpenHands, A-Mem, Memento-Skill)에 걸쳐 구현된다 (예: 터미널 태스크에서의 전략 변화, 소프트웨어 엔지니어링에서의 코드 로직 수정, 또는 대화에서의 선호도 업데이트).

주요 기여

1. EvoArena 벤치마크: 터미널 워크플로, 소프트웨어 저장소, 사회적 선호도를 통해 지속적인 환경 진화 하에서의 에이전트를 평가하는 종합적인 스위트이다. 이는 지속적인 신뢰성을 위한 더 엄격한 지표인 체인 정확도를 도입한다.
2. EvoMem 패러다임: 환경 진화의 흔적을 보존하는 메모리 아키텍처이다. 메모리 업데이트를 근거와 증거를 가진 구조화된 패치로 기록함으로써, 에이전트가 단일한 최신 통합 상태에만 의존하는 대신 버전 의존적인 상태에 대해 추론할 수 있게 한다.
3. 경험적 분석: 기존 에이전트들이 진화하는 환경에서 상당한 어려움을 겪으며, EvoMem이 일관되게 강건성, 증거 보유력, 그리고 체인 수준의 성능을 향상시킨다는 것을 입려한다.

실험 결과

EvoArena에서의 성능

다양한 백본 모델(GPT-5.5, Gemini-3.1-Pro, Kimi-K2.6 등)과 에이전트 프레임워크를 통한 실험 결과는 다음과 같다:

• 베이스라인의 한계: 현재의 에이전트들은 중간 정도의 단계별 정확도(Terminal-Bench-Evo에서 평균 ~43.6%, SWE-Chain-Evo에서 ~27.9%, PersonaMem-Evo에서 ~47.3%)를 달성하지만, 체인 정확도에서는 상당한 하락을 겪는다 (예: Terminal-Bench-Evo에서 ~21.5%로 하락). 이는 고립된 단계를 해결하는 것이 진화하는 체인 전반에 걸친 신뢰성을 보장하지 못함을 나타낸다.
• EvoMem의 개선 효과: EvoMem을 통합하면 성능이 일관되게 향상된다:
  • 단계 수준(Step Level): 평균적으로 +2.4% (Terminal), +0.4% (SWE), +1.7% (Persona)의 이득을 보인다.
  • 체인 수준(Chain Level): 체인 수준에서 더 큰 이득이 관찰되며, 평균적으로 +6.1% (Terminal), +2.1% (SWE), +3.2% (Persona)의 향상을 보인다. 이는 EvoMem이 의존적인 태스크 시퀀스 전반의 일관성을 유지하는 데 특히 효과적임을 시사한다.

표준 벤치마크로의 일반화

EvoMem은 표준적이고 진화하지 않는 벤치마크에서도 성능을 향상시킨다:

• GAIA: 평균 +6.1% 향상.
• LoCoMo: 평균 +4.8% 향상.
  이는 업데이트 이력을 검색 가능한 증거로 보존하는 것이 정적 설정에서도 에이전트에게 도움이 된다는 것을 시사하며, 아마도 장기적인 추론 능력을 개선하고 과거 상태에 대한 환각을 줄이기 때문일 것이다.

메커니즘 분석

• 운영화(Operationalization): Terminal-Bench-Evo에서, 에이전트가 패치 예시를 단순히 검색할 뿐만 아니라 이를 운영화할 때, 즉 전환 정보를 자신의 추론과 실행 명령에 통합할 때 가장 높은 이득을 얻는다.
• 퇴보 감소(Regression Reduction): SWE-Chain-Evo에서, EvoMem은 Pass-to-Pass 실패(퇴보)를 유의미하게 줄이며, 이는 역사적 코드 제약 조건을 더 잘 보존함을 나타낸다.
• 증거 보존(Evidence Preservation): PersonaMem-Evo에서, EvoMem은 **행 단위 증거 캡처(row-level evidence capture)**를 개선한다. 즉, 특히 시간적 궤적 및 다중 패턴 합성 질문을 위해 필요한 전체 선호도 증거 세트를 더 잘 보존한다.

의의 및 주장

본 논문은 실제 환경에서의 신뢰할 수 있는 에이전트 배포를 위해서는 메모리를 정적인 스냅샷이 아니라 근거 있는 업데이트의 진화하는 이력으로 취급해야 한다고 주장한다.

• 격차 해소: EvoArena는 API, 워크플로, 사용자 요구사항이 끊임없이 변화하는 실제 배포의 동적인 특성과 정적 벤치마크 평가 사이의 괴리를 해결한다.
• 버전 인식 추론: 결과는 에이전트가 최신 메모리를 보유하면서도 동시에 관련 있는 이전 상태를 복구하고 왜 업데이트가 발생했는지 추론할 수 있어야 함을 강조한다.
• 설계 시사점: 저자들은 강건한 에이전트 메모리 시스템이 업데이트 이력을 검색 가능한 증거로서 보존해야 한다고 상정한다. 이 접근 방식은 에이전트가 현재 지식과 이전에 유효했던 지식을 구분할 수 있게 하여, 폐기된 행동을 적용하는 것을 방지한다.

본 연구는 진화(evolution)를 평가(EvoArena를 통해)와 메모리 아키텍처(EvoMem을 통해) 모두에서 모델링하는 것이 변화하는 조건에 안정적으로 적응할 수 있는 에이전트를 구축하는 데 필수적이라는 결론을 내린다.