기술 요약: Mem-W: 잠재적 메모리 네이티브 GUI 에이전트

문제 제기

그래픽 사용자 인터페이스 (GUI) 에이전트는 웹, 모바일, 데스크톱 플랫폼 전반에 걸쳐 복잡하고 장기적인 환경을 조작하는 과제를 점점 더 많이 수행하게 되었습니다. 이러한 환경에서의 성공적인 제어는 에이전트가 즉시 화면을 훨씬 넘어서는 시각적, 절차적, 작업 수준의 증거를 유지해야 함을 요구합니다. 그러나 현재 접근 방식들은 메모리를 외부적이고 인간이 읽을 수 있는 인공물로 취급합니다. 기존 시스템들은 일반적으로 상호작용 기록을 텍스트나 구조화된 레코드 (예: 그래프, 목록, 계층적 상태) 로 요약, 분류, 검색한 후 이를 모델의 정책으로 재인코딩합니다.

이는 근본적인 표현적 불일치를 초래합니다. 경험은 현대의 비전 - 언어 모델 (VLM) 이 실제로 작동하는 연속적인 잠재 임베딩 시퀀스와는 다른 기호적 형식 (텍스트/구조화된 레코드) 으로 저장되기 때문입니다. 이는 형식 간 반복적인 번역을 필요로 하며, 설계자들에게 하류 작업의 구체적인 구조적 필요와 일치하지 않을 수 있는 메모리 온톨로지 (범주, 표현 형식, 인터페이스 규칙) 를 미리 정의하도록 강요합니다. 저자들은 이러한 "온톨로지 우선" 패러다임이 에이전트가 작업 성공에 어떤 정보가 관련 있는지 유기적으로 학습하는 능력을 제한한다고 주장합니다.

방법론: Mem-W

본 논문은 메모리 저장과 정책 실행 간의 간극을 제거하도록 설계된 잠재적 메모리 네이티브 GUI 에이전트 시리즈인 Mem-W를 소개합니다. Mem-W 는 외부 기호적 발판 대신 메모리를 에이전트의 컨텍스트의 연속적인 일부로 취급하며, 임베딩 공간에 직접 직조합니다.

핵심 아키텍처

1. 통합 잠재 공간: Mem-W 는 두 가지 다른 메모리 규모를 단일 학습 가능한 공간으로 통합합니다.
   • 경험적 메모리: 외부 은행에서 검색된 장기적, 세션 간 역사적 궤적.
   • 작업 메모리: 단기적, 세션 내 기록 (현재 에피소드의 "만료된 접두사").
2. 궤적 - 잠재 압축기 ($C_\phi$): 가변 길이의 관찰 - 행동 세그먼트를 고정 크기의 잠재 블록 ($K \times d$) 으로 매핑하는 공유 경량 압축기 (Q-Former 디자인을 따르는 쿼리 기반 트랜스포머로 구현됨).
   • 검색된 역사적 궤적과 현재 에피소드의 만료된 접두사를 모두 처리합니다.
   • 궤적이 성공 또는 실패로 이어졌는지를 인코딩하는 결과 임베딩($\gamma(y)$) 을 포함하여, 에이전트가 명시적 필터링 규칙 없이 절차적 극성을 구분할 수 있게 합니다.
   • 결과가 알려지지 않은 온라인 작업 메모리의 경우, 특수한 "알 수 없음" 마커가 사용됩니다.
3. 이중 규모 직조: 추론 시, 압축된 메모리 토큰은 현재 GUI 관찰 및 로컬 컨텍스트와 함께 단일 연속 임베딩 시퀀스로 직조됩니다. 동결된 GUI 에이전트 정책 ($\Pi_\theta$) 은 이를 외부 메모가 아닌 네이티브 컨텍스트로 간주하여 이 통합된 시퀀스에 주의를 기울입니다.

훈련 전략

Mem-W 는 백본 GUI 에이전트 ($\Pi_\theta$) 를 동결한 채 압축기 파라미터 ($\phi$) 를 최적화하기 위해 2 단계 훈련 절차를 사용합니다.

1. 1 단계: 자기 증류: 압축기는 원시 역사적 컨텍스트를 대체하는 법을 학습합니다. "교사" 에이전트는 확장된 원시 역사 창을 관찰하는 반면, "학생" 에이전트는 잠재 증강 입력을 관찰합니다. 목적 함수는 교사 및 학생의 행동 분포 간의 발산을 최소화하여, 잠재 토큰이 결정 관련 상태를 포착하도록 강제합니다.
2. 2 단계: 결과 인식 감독: 시스템은 환경 피드백 (종단 보상) 을 사용하여 압축기를 최적화합니다. 정책 경사 목적 함수 (구체적으로 RLOO 기반) 를 사용하여, 압축기는 결과 임베딩에 의해 안내되며 작업 성공으로 이어지는 증거를 인코딩하고 실패를 유발하는 패턴을 필터링하는 법을 학습합니다.

주요 기여

• 통합 공식화: 본 논문은 GUI 메모리의 복잡한 계층을 단일 잠재 표현 문제로 재정의합니다. 작업 메모리와 경험적 메모리가 작업 관련 구조가 엔드 - 투 - 엔드 최적화를 통해 자연스럽게 나타나는 하나의 학습 가능한 공간에 간결하게 기반을 둘 수 있다고 주장하며, 이는 규정된 분류 체계의 필요성을 제거합니다.
• 학습 가능한 인스턴스화: Mem-W 는 공유 궤적 - 잠재 압축기를 사용한 구체적인 구현을 제공합니다. 이를 통해 검색된 역사적 데이터와 온라인 에피소드 접두사 모두를 통합된 잠재 공간으로 투영할 수 있으며, 자기 증류와 결과 인식 감독을 통해 훈련됩니다.
• 실증적 증거: 광범위한 실험은 이 접근 방식이 다양한 백본을 일관되게 개선하며, 수동으로 설계된 메모리 아키텍처를 갖춘 에이전트보다 우수함을 입증합니다.

실험 결과

Mem-W 는 Multimodal-Mind2Web, MMInA(웹 탐색), GUI-Odyssey, AndroidControl-v2(모바일 탐색) 의 네 가지 벤치마크에서 평가되었습니다.

• 성능 향상: Mem-W 는 UI-TARS, Qwen3-VL, UI-Venus 를 포함한 모든 테스트된 백본에서 일관되게 성능을 개선했습니다.
  • MMInA에서 Mem-W 는 기준 모델 대비 최대 +30.0퍼센트 포인트의 향상을 달성했습니다 (예: UI-Venus-1.5-8B 는 18.5% 에서 48.5% 로 향상).
  • Multimodal-Mind2Web에서는 백본 및 작업 하위 집합에 따라 +8.83 에서 +20.58 포인트까지 개선되었습니다.
  • AndroidControl-v2에서 Mem-W-8B 는 Pass@4 점수 81.16을 달성하여 GPT-5+UGround 와 같은 독점 모델 및 더 큰 오픈소스 기준 모델들을 능가했습니다.
• 메모리 증강 에이전트와의 비교: Mem-W 는 기존 메모리 증강 에이전트 (ReasoningBank, AWM, CoMEM, HyMEM 등) 보다 우수한 성과를 거두었습니다. 저자들은 이를 Mem-W 가 궤적을 압축된 결정 관련 잠재 요약으로 동적으로 증류할 수 있는 능력과 결과 인식 감독을 사용하는 데 기인하며, 반면 경쟁자들은 종종 명시적인 성공/실패 조건부 없이 거친 잘라내기나 전문가 궤적 모방에 의존한다고 설명합니다.
• 효율성: 추가적인 압축 단계에도 불구하고, Mem-W 는 유리한 정확도 - 효율성 트레이드오프를 유지했으며, 종종 작업 완료에 필요한 단계 수를 줄이고 기준 모델 대비 최대 단계 한계에 도달하는 비율을 낮췄습니다.
• 확장성: 성능은 외부 메모리 은행의 크기 (최대 50K 궤적) 와 검색된 궤적의 수에 따라 긍정적으로 확장되어, 시스템이 더 큰 경험 저장고를 효과적으로 활용함을 나타냅니다.

중요성과 주장

본 논문은 잠재 컨텍스트 네이티브 메모리가 장기적 GUI 에이전시 (agency) 를 위한 확장 가능한 기반이 된다고 주장합니다. 메모리를 외부 기호적 발판이 아닌 연속적인 기질로 취급함으로써, Mem-W 는 에이전트가 현재 관찰에 사용되는 동일한 기계 네이티브 인터페이스를 통해 성공, 실패, 그리고 미완성된 진행 상황을 "읽을" 수 있게 합니다.

저자들은 장기적 GUI 에이전시의 병목 현상이 단순히 모델 규모가 아니라, 상호작용 기록과 prior 경험이 어떻게 표현되고 정책에 노출되는지에 있다고 결론지었습니다. Mem-W 는 규정된 메모리 계층을 대체할 수 있는 통합된 엔드 - 투 - 엔드 학습 가능한 잠재 인터페이스가 작업 관련 메모리 구조가 훈련에서 자연스럽게 나타나도록 함을 보여줍니다. 이러한 관점은 수동으로 설계된 메모리 모듈이 아닌 학습된 잠재 컨텍스트 인터페이스에 기반한 역량을 갖춘 대화형 멀티모달 에이전트로의 길을 제시합니다.