기술 요약: LongMemEval-V2

문제 정의

장기 기억은 인터페이스 affordance, 상태 동역학, 워크플로우, 그리고 반복되는 실패 모드를 회상하는 데 성공이 달려 있는 전문적이고 맞춤형 웹 환경에서 작동하는 대규모 언어 모델 (LLM) 에이전트에게 필수적입니다. 그러나 기존 기억 벤치마크는 주로 사용자 채팅 기록, 짧은 추적, 또는 하류 작업 성공률에 초점을 맞추고 있습니다. 이러한 벤치마크는 기억 시스템이 장기적 기간에 걸쳐 축적된 환경별 경험을 효과적으로 내면화할 수 있는지 직접 평가하지 못합니다. 구체적으로, 에이전트가 특정 환경의 특이점과 절차에 대한 깊고 재사용 가능한 지식을 갖춘 "경험 많은 동료"로 전환할 수 있는지 평가하는 데에는 간극이 존재합니다.

방법론

벤치마크 구축: LongMemEval-V2 (LME-V2)

저자들은 맞춤형 환경에서 지식 있는 동료가 되기 위해 에이전트가 필요한 경험을 획득하는 데 기억 시스템이 도움이 되는지 평가하도록 설계된 벤치마크인 LME-V2 를 소개합니다.

• 데이터 소스: AgentLab2 라이브러리를 사용하여 WebArena(OneStopShop, CMS, Reddit) 와 WorkArena/WorkArena++(ServiceNow) 에서 궤적을 수집했습니다. 데이터셋에는 1,540 개의 궤적 (WebArena 에서 599 개, WorkArena 에서 941 개) 이 포함되며, 궤적당 평균 28.1 개의 상태를 갖습니다.
• 질문 큐레이션: 451 개의 수동 큐레이션 질문은 다음 다섯 가지 핵심 기억 능력을 다룹니다:
  1. 정적 상태 회상: 랜드마크, 레이아웃, 그리고 미묘한 차이를 기억하는 것.
  2. 동적 상태 추적: 상태와 행동에 따라 환경이 어떻게 변하는지 이해하는 것 (세계 모델링).
  3. 워크플로우 지식: 일반적인 작업에 대한 단계들을 아는 것.
  4. 환경 함정: 반복되는 문제와 실패 모드에 대한 인식.
  5. 전제 인식: 다른 환경에서는 유효하지만 현재 환경에서는 잘못된 가정을 인식하는 것.
• 컨텍스트 규모: 이 벤치마크는 역사적 궤적의 "건초더미 (haystacks)"를 특징으로 합니다. LME-V2-Small은 공유된 100 개 궤적 컨텍스트 (25M 토큰) 를 사용하는 반면, LME-V2-Medium은 질문별 500 개 궤적 컨텍스트 (115M 토큰) 를 사용합니다.
• 평가 구성: 이 벤치마크는 컨텍스트 수집 구성을 사용합니다. 기억 시스템은 궤적 시퀀스를 수신하여 이를 삽입한 후, 압축된 멀티모달 증거 컨텍스트를 반환하여 쿼리에 답합니다. 그런 다음 고정된 리더 LLM(Qwen3.5-9B) 이 이 단축된 컨텍스트를 기반으로 질문에 답합니다.

제안된 베이스라인: AgentRunbook

노이즈가 많은 에이전트 궤적을 조직화하는 과제를 해결하기 위해 저자들은 두 가지 기억 방법을 제안합니다:

1. AgentRunbook-R(RAG 기반): 효율적인 검색 증강 생성 파이프라인입니다. 삽입 시점에 업데이트되는 세 가지 별도의 지식 풀을 유지합니다:
   • 원시 상태 슬라이스: 로컬 UI 관찰 및 행동.
   • 상태 전이 이벤트: 행동이 환경을 어떻게 변화시키는지 설명.
   • 절차/힌트 노트: 고수준의 재사용 가능한 워크플로우 및 환경별 함정.
     쿼리 시점에 LLM 컨트롤러가 각 풀에 대한 특정 쿼리를 생성하고, 상위 k 개 결과를 검색한 후 멀티모달 컨텍스트를 조립합니다.
2. AgentRunbook-C(코딩 에이전트 기반): 기억 관리를 파일 관리 문제로 간주하는 방법입니다. 궤적은 직접 파일로 저장됩니다. 쿼리 시점에 샌드박스 내에서 오프더셸 코딩 에이전트 (Codex) 가 호출됩니다. 여기에는 다음이 포함됩니다:
   • 증거 수집에 대한 에이전트 지시를 제공하는 워크플로우 문서.
   • 기억 레이아웃을 요약하는 매니페스트 아티팩트.
   • 효율적인 궤적 검사를 위한 헬퍼 스크립트.
     에이전트는 압축된 증거 세트를 조립한 후 이를 리더에게 전달합니다.

주요 결과

실험은 LME-V2-Small 및 LME-V2-Medium 계층 모두에서 수행되었습니다.

• 베이스라인 성능: 상태 슬라이스를 검색하는 단순 RAG 방법은 약 40% 의 정확도만 달성했습니다. 오프더셸 Codex 코딩 에이전트는 69.3% 의 경쟁력 있는 정확도를 달성했지만 높은 지연 시간 (쿼리당 약 182 초) 을 겪었습니다.
• AgentRunbook-R: 코딩 에이전트 접근 방식에 비해 지연 시간이 현저히 낮아진 (~26 초) **57.8%**의 평균 정확도로 성능을 개선했습니다. 제거 분석 (ablation studies) 은 원시 상태 풀이 정적 질문에 중요하고, 이벤트 및 노트 풀이 동적 및 워크플로우 질문에 필수적임을 보여주었습니다.
• AgentRunbook-C: 중간 계층에서 **72.5%**의 평균 정확도로 전체적인 최고의 성능을 달성하여, 일반 Codex 베이스라인 (69.3%) 과 가장 강력한 RAG 베이스라인 (48.5%) 을 능가했습니다. 특히 AgentRunbook-C 는 불필요한 탐색을 줄이는 경량식 발판 (워크플로우 지시사항, 매니페스트, 헬퍼 스크립트) 으로 인해 일반 Codex 에이전트보다 32% 더 빠릅니다 (중간 계층 기준 139.9 초 vs 185.8 초).
• 정확도 - 지연 시간 프론티어: AgentRunbook-C 는 파레토 프론티어를 발전시켜 기존 방법들에 비해 정확도와 쿼리 지연 시간 간의 더 나은 균형을 제공합니다.

중요성 및 주장

이 논문은 단순한 검색에서 경험 축적으로 초점을 이동시킴으로써 에이전트 기억 평가의 새로운 표준을 확립했다고 주장합니다.

• 기억으로서의 경험: 이 벤치마크는 고품질 기억 시스템이 에이전트가 단순한 사실뿐만 아니라 환경별 동역학을 내면화하는 "경험 많은 동료"처럼 행동하도록 해야 한다고 가정합니다.
• 컨텍스트 깊이: LME-V2 는 기억 벤치마크의 컨텍스트 깊이를 1 억 토큰 이상으로 끌어올려, 표준 RAG 접근 방식이 원시 에이전트 궤적의 노이즈와 복잡성에 어려움을 겪음을 드러냈습니다.
• 컨트롤러로서의 코딩 에이전트: 결과는 특정 워크플로우 지침과 파일 시스템 도구가 보강된 일반 코딩 에이전트가 이 특정 도메인에서 정확도와 효율성 모두에서 기존 RAG 파이프라인을 능가하는 매우 효과적인 기억 컨트롤러 역할을 함을 시사합니다.
• 미래 방향: AgentRunbook-C 가 최첨단 기술을 발전시켰지만, 저자들은 정직하게도 높은 정확도를 유지하면서 지연 시간 비용을 더욱 줄이는 등 여전히 상당한 개선의 여지가 있다고 언급합니다.

이 연구는 실제 세계의 전문화된 환경에서 장기간 실행되는 에이전트를 더 신뢰할 수 있고, 적응력 있으며, 유용하게 만드는 기억 모듈을 개발하기 위한 구체적인 테스트베드를 제공합니다.