기술 요약: MOMENTO

문제 정의

최근 에이전트형 AI의 발전은 고립된 단일 세션 내에서의 추론, 도구 사용, 다단계 계획 수립에서 강력한 능력을 입증했으나, 기존 벤치마크는 실제 배포 환경을 반영하지 못하고 있다. 실제로 사용자는 며칠 또는 몇 주에 걸쳐 에이전트와 상호작용하며, 개인화된 목표를 달성하기 위해 진화하는 목표, 축적된 이력, 그리고 이전의 결정들을 통합해야 한다. 현재의 평가 프레임워크는 이러한 교차 세션 의존성을 무시하고 에이전트를 상태가 없는(stateless) 엔티티로 취급하거나, 단순히 사실 회상 여부만을 평가할 뿐 검색된 컨텍스트가 더 나은 작업 결정을 이끌어내는지 여부는 평가하지 않는다. 이는 현재의 에이전트 능력과, 기억이 중대한 도구 매개 행동을 지원해야 하는 현실적인 장기적(long-horizon) 인간-에이전트 상호작용 요구사항 사이에 상당한 격차를 만든다.

방법론

이러한 격차를 해결하기 위해, 저자들은 다중 세션, 멀티모달 서비스 환경에서의 지속적인 에이전트 작업 완수를 위해 설계된 벤치마크 및 평가 프레임워크인 MOMENTO를 소개한다.

프레임워크 아키텍처

시스템은 두 에이전트가 참여하는 역할 수행 시뮬레이션을 통해 작동한다:

1. 사용자 에이전트 ($\pi_u$): 사용자 정책($\Phi_u$)에 따라 생성된 자연스러운 대화 응답을 통해 인간의 행동을 시뮬레이션한다. 이 정책은 페르소나, 장기 목표, 선호도를 정의한다. 이 에이전트는 세션 간의 시간적 일관성을 유지하기 위해 공유 메모리 모듈에서 컨텍스트를 검색한다.
2. 어시스턴트 에이전트 ($\pi_a$): 사용자 입력에 응답하고, 관련 다중 세션 요약을 검색하며, 외부 도구를 호출하고, 최종 응답을 생성할 책임이 있다. 이 에이전트는 과거 세션과 현재 요청 사이의 의존성을 해결하기 위해 시간적 추론을 수행해야 한다.

에이전트 메모리

MOMENTO의 핵심 구성 요소인 **에이전트 메모리 모듈($M$)**은 128k 토큰의 제한된 컨텍스트 내에서 작동한다. 이는 하이브리드 접근 방식을 채택한다:

• 장기 회상(Long-term Recall): LLM이 생성한 SQL 쿼리를 사용하여 데이터베이스에서 관련 이전 세션을 검색한다. 이를 통해 의미론적 매칭과 시간적 제약 및 구조적 조건을 결합하여 교차 세션 의존성에 대한 명시적 추론을 가능하게 한다.
• 단기 압축(Short-term Compression): 가장 최근의 80% 컨텍스트는 세밀한 디테일을 위해 원문 그대로 유지하고, 오래된 접두사(prefix)는 오버헤드를 줄이기 위해 컴팩트한 요약본으로 압축함으로써 인컨텍스트 대화 이력을 관리한다.

벤치마크 구축

MOMENTO는 현실적인 상호작용 이력을 시뮬레이션하기 위해 인간의 역할 수행을 통해 생성된 161개의 작업 인스턴스로 구성된다. 작업은 개인 비서, 계획, 스케줄링, 추천 등의 시나리오를 포괄하며, 종종 WorldCuisines 데이터셋의 음식 관련 엔티티를 포함한다. 데이터셋은 현실성을 높이기 위해 진화하는 선호도, 암묵적 참조, 모순되는 업데이트 및 시간적으로 분산된 정보를 포함한다. 환경은 예약 관리, 검색, 주문, 멤버십 관리 및 text-to-SQL 액세스를 포함하는 26개의 도구를 제공한다.

평가 지표

성능은 세 가지 주요 지표로 측정된다:

1. DB STATE: 최종 데이터베이스 상태가 사용자의 목표와 일치하는지 확인한다.
2. OUTPUT: 어시스턴트의 응답이 사용자 요청을 충족하는지 측정한다.
3. TOOL RECALL: 올바른 도구가 올바른 순서로 호출되었는지 평가한다.
   작업은 세 가지 지표가 모두 충족될 때만 성공한 것으로 간주된다. 또한 연구에서는 여러 실행 간의 일관성을 측정하기 위해 PASS@K 및 PASS^K를 보고한다.

주요 기여

• 최초의 지속적 다중 세션 벤치마크: MOMENTO는 교차 세션 컨텍스트가 의사결정의 일차적 입력값으로 작용하는 지속적인 에이전트 작업 완료를 평가하는 최초의 프레임워크이며, 단일 세션이나 단순한 사실 회상 평가를 넘어선다.
• 현실적인 시뮬레이션: MOMENTO는 역할 수행 기반의 사용자 시뮬레이션을 통해 생성된, 진화하는 사용자 목표와 잠재적 메모리 의존성을 특징으로 하는 시간적으로 분리된 상호작용의 대규모 데이터셋을 활용한다.
• 공개 출시: 연구 촉진을 위해 데이터셋은 CC-BY-SA 라이선스로, 소스 코드는 Apache 2.0 라이선스로 공개된다.

결과 및 분석

저자들은 QWEN3.6 및 GEMMA4 변형을 포함한 여러 최첨단 오픈 웨이트 시각 언어 모델(VLM)을 평가했다.

• 성능: GEMMA4-31B-IT는 가장 높은 PASS@3 및 PASS^3 점수를 기록하며 전반적으로 가장 강력한 성능을 보였고, 반복된 실험에서 우수한 일관성을 입증했다. GPT-5.4-MINI는 DB STATE와 같은 특정 지표에서 미세한 우위를 보였으나, 전체적인 작업 성공도에서 GEMMA4-31B-IT를 능가하지는 못했다.
• 불안정성: 모든 모델에서 나타난 PASS@3와 PASS^3 사이의 상당한 격차는 다단계 작업 실행의 만연한 불안정성을 강조한다.
• 오류 분석: 지배적인 실패 모드는 TOOL RECALL이며, 특히 사용자 상태의 오판이다. 에이전트들은 이전 세션의 이력을 현재 컨텍스트의 신뢰할 수 있는 대리물(proxy)로 취급하여, 검증 없이 암묵적인 가정을 형성하는 경 경향이 있다. 결과적으로 에이전트들은 동작을 실행하기 전(예: 멤버십 상태나 현재 주문 상태 확인)에 필요한 검증이나 검색 호출을 자주 누락한다. 이러한 실패는 과거의 이력이 상태의 연속성에 대한 잘못된 확신을 주는 다중 세션 설정에 의해 구조적으로 발생한다.

의의

본 논문은 MOMENTO가 현재의 에이전트 능력과 현실적인 장기적 인간-에이전트 상호작용 요구사항 사이의 상당한 격차를 드러낸다고 주장한다. 주요 발견은 현재의 에이전트들이 도구의 부재 때문이 아니라, 과거 세션의 오래된 정보를 재검증하지 못하기 때문에 실패한다는 것이다. 과거의 이력을 재검증이 필요한 정보가 아닌 정적인 진실로 취급함으로써, 에이전트들은 추론 체인의 결정적인 단계들을 놓치게 된다. 저자들은 MOMENTO가 시간적 의존성과 진화하는 사용자 목표를 정확하게 탐색할 수 있는 지속적이고 메모리 기반의 에이전트 시스템 연구를 위한 필수적인 토대를 제공한다고 본다.

한계점

저자들은 MOMENTO가 이전 벤치마크들과 마찬가지로 LLM 기반 사용자 시뮬레이터에 의존하고 있음을 인정한다. 이는 확장 가능한 데이터 수집을 가능하게 하지만, 시뮬레이션된 사용자가 현실적인 인간의 행동을 완벽하게 구현하지 못할 수 있다. 행동적 격차를 더욱 좁히기 위해 더 강력한 제약 조건 기반 시뮬레이션, 역할 특화 파인튜닝 또는 실제 인간과의 상호작용을 탐구하는 후속 연구가 제안된다.