💻 computer science

FocusMem: Factorizing Content, Readout, and Trust in Latent GUI Memory

FocusMem은 메모리를 역할 인식 콘텐츠 저장, 상태 조건부 판독, 그리고 무관한 정보를 선택적으로 필터링하기 위한 신뢰 게이트로 분해함으로써 기존 방식에서 발견되는 고정된 메모리 압축 및 감독의 한계를 극복하고 GUI 에이전트의 성능을 향상시키는 새로운 잠재 메모리 프레임워크를 도입한다.

원저자: Zhuoran Zhang, Bowen Li, Jingcheng Ju, Yang Shi, Qixun Wang, Haotian Wang, Wei Chen, Tengjiao Wang

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhuoran Zhang, Bowen Li, Jingcheng Ju, Yang Shi, Qixun Wang, Haotian Wang, Wei Chen, Tengjiao Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 혼란스러운 디지털 쇼핑몰을 항해하는 로봇을 가르치고 있다고 상상해 보세요. 이 로봇은 'GUI 에이전트'라고 불리며, 단순히 화면을 보기만 하는 것이 아니라 특정 신발을 사거나 위키피디아에서 사실을 찾는 것과 같은 과업을 완수하기 위해 버튼을 클릭하고, 검색어를 입력하고, 페이지를 스크롤해야 합니다. 까다로운 점은 이 로봇의 단기 기억력이 매우 짧다는 것입니다. 로봇은 현재의 화면과 자신이 방금 수행한 몇 가지 행동만을 볼 수 있습니다. 만약 과업이 20단계로 이루어져 있다면, 로봇은 20번째 단계에 도달했을 때쯤 1단계에서 무엇을 했는지 잊어버리곤 합니다.

이를 해결하기 위해 과학자들은 로봇에게 기억의 '배낭'을 쥐여주는 방법을 시도했습니다. 로봇에게 지금까지 했던 모든 스크린샷과 클릭을 전부 보여주는 대신(이는 마치 연필 한 자루를 사기 위해 백과사전 전체를 읽으려는 것과 같습니다), 그 이력을 작고 밀도 높은 요약본으로 압축하는 것입니다. 이것은 마치 영화 한 편을 엽서 한 장에 압축해 넣는 것과 같습니다. 그러면 로봇은 그 엽서를 힐끗 보고 무엇이 일어났는지 기억할 수 있습니다. 하지만 기존의 이 '엽서' 방식에는 큰 결함이 있었습니다. 이전의 시도들은 모든 것을 하나의 정적인 요약본에 담으려고 했습니다. 그것은 마치 "케이크 굽는 법"(미래의 베이킹에 유용한 정보)과 "방금 볼에 밀가루를 넣었다"(현재 진행 상황에 유용한 정보)를 동시에 설명하는 단 하나의 문장을 쓰려고 애쓰는 것과 같았습니다. 그 결과, 로봇은 레시피를 잊어버리거나 반죽 과정 중간에 멈춰 서 버리는 등 혼란에 빠지곤 했습니다.

여기서 FocusMem이라는 새로운 연구가 등장합니다. 최고의 대학들에서 온 컴퓨터 과학자들과 함께 작업한 연구진은, 문제점이 단순히 로봇이 얼마나 많은 기억을 갖느냐가 아니라, 그 기억이 어떻게 조직되느냐에 있다는 것을 깨달았습니다. 그들은 훌륭한 기억 시스템이 인간의 뇌처럼 세 가지 뚜렷한 역할을 수행해야 한다고 제안했습니다. 첫째, 적절한 종류의 정보(예: 레시피와 진행 보고서의 차이)를 저장해야 합니다. 둘째, 로봇이 현재 무엇을 하고 있는지에 따라 그 정보를 다르게 읽어야 합니다. 셋째, 어떤 기억이 살펴볼 가치가 있는지, 아니면 그저 주의를 분산시키는 소음인지 결정하는 문지기가 필요합니다.

이 논문은 FocusMem이 '엽서'를 세 가지 전문화된 부분으로 나눈다는 점을 소개합니다. 하나의 기억 블록이 모든 것을 수행하도록 강요하는 대신, FocusMem은 재사용 가능한 경험과 현재의 진행 상황을 분리하여 유지하는 법을 배우는 '콘텐츠 베이시스(Content Basis)'를 만듭니다. 그다음, 현재의 결정에 중요한 부분에만 빛을 비추는 스포트라이트처럼 작동하는 '상태 조건부 판독(State-Conditioned Readout)'을 사용합니다. 마지막으로, 검색된 기억이 실제로 관련이 있는지, 아니면 무시해야 할 무작위적이고 혼란스러운 기억인지 확인하는 스마트 필터인 '트러스트 게이트(Trust Gate)'를 추가합니다.

연구팀이 웹 쇼핑과 정보 검색을 포함한 다섯 가지 벤치마크에서 이 새로운 시스템을 테스트했을 때, 결과는 명확했습니다. FocusMem은 기억이 전혀 없는 로봇, 전체 영상 이력을 재생하려는 로봇, 그리고 이전의 기억 압축 방식을 사용하는 로봇보다 일관되적으로 우수한 성능을 보였습니다. 실제로 일부 어려운 쇼핑 과업에서는 새로운 시스템이 기존의 가장 뛰어난 방식보다 성공률을 거의 18%포인트나 향 {상시켰습니다. 이 연구는 무엇을 유지할지, 어떻게 볼지, 그리고 얼마나 신뢰할지를 분리함으로써, 우리가 자신의 과거 속에서 길을 잃지 않는 훨씬 더 똑똑하고 효율적인 디지털 비서를 구축할 수 있음을 시사합니다.

기술 요약: FocusMem

문제 정의

GUI 에이전트는 두 가지 상호 보완적인 시간적 척도의 메모리를 필요로 합니다: 에피소드 메모리(완료된 작업으로부터 재사용 가능한 증거)와 작업 메모리(현재 상호작용 내의 제약 조건 및 진행 상황). 기존 방식들은 트레이드오프에 직면해 있습니다: 전체 멀티모달 궤적(trajectory)을 다시 재생하는 것은 계산 비용이 많이 들고 정책 컨텍스트를 확장하는 반면, 텍스트 기반 메모리는 중요한 시각적 또는 절차적 세부 정보를 놓칠 수 있습니다.

잠재 메모리(Latent memory)는 멀티모달 궤적을 소수의 연속적인 토큰으로 압축함으로써 해결책을 제시합니다. 그러나 현재의 잠재 메모리 방식은 궤적을 하나의 고정된 잠재 블록으로 매핑하는 "원샷(one-shot)" 방식 때문에 다음과 같은 세 가지 구체적인 실패 모드를 겪습니다:

콘텐츠 복구 가능성(Content Recoverability): 단일 블록이 재사용 가능한 경험과 현재 작업 진행이라는 서로 다른 정보 요구사항을 모두 충족해야 하므로, 압축 과정에서 중요한 세부 정보가 손실될 수 있습니다.
조건부 판독(Conditional Readout): 고정된 메모리 블록은 다양한 결정 단계에 적응할 수 없습니다. 동일한 압축된 증거라도 에이전트가 탐색, 필터링, 또는 검증 중인지에 따라 서로 다른 부분을 강조해야 할 수 있습니다.
증거 신뢰도(Evidence Trust): 검색된 궤적이 현재의 결정과 무관하거나 일치하지 않을 수 있음에도 불구하고, 고정된 잠재 블록은 여전히 정책에 영향을 미쳐 에이전트를 오도할 가능성이 있습니다.

방법론: FocusMem

FocusMem은 잠재 메모리 인터페이스를 콘텐츠 형성(Content Formation), 상태 조건부 판독(State-Conditioned Readout), **증거 신뢰도(Evidence Trust)**라는 세 가지 별개의 책임으로 분리하여 이 문제들을 해결합니다. 이 프레임워크는 **동결된 GUI 정책(frozen GUI policy)**을 사용하여 메모리 경로만을 최적화합니다.

1. 증거 구축

에피소드 증거: 에피소드 뱅크에서 검색된 완전한 궤적들.
작업 증거: 현재 상호작용 이력의 만료된 접두사(prefix)에서 분할된 청크(chunks).
두 증거 모두 $K$ -토큰 잠재 블록으로 매핑됩니다.

2. 분리된 잠재 메모리 (Factorized Latent Memory)

아키텍처는 세 단계로 구성됩니다:

단계 A: 역할 인식 콘텐츠 기저 (무엇이 복구 가능한 상태로 남는가?)
- 공유된 쿼리 대신, FocusMem은 에피소드 및 작업 메모리를 위한 역할별 기본 쿼리( $Q_{0}^{ri}$ )를 도입합니다.
- 의미적 감독(Semantic Supervision): KL-다이버전스 손실을 통해 잠재 블록이 광범위하게 언어화 가능한 궤적 콘텐츠를 보존하도록 합니다.
- 기능적 감독(Functional Supervision): 역할별 의사 타겟 손실( $\hat{v}^{ri}_i$ )을 통해 블록이 제어 관련 정보(예: 에피소드의 경우 재사용 가능한 절차, 작업의 경우 상태 변화)를 유지하도록 합니다.
- 이 단계는 현재 결정 상태와 독립적인 안정적이고 역할 특화된 기초를 구축합니다.
단계 B: 상태 조건부 판독 (지금 무엇이 노출되는가?)
- 경량화된 **상태-아이템 어댑터(state–item adapter)**가 현재 결정 상태( $u_t$ )와 인코딩된 아이템을 기반으로 잔차 쿼리( $\Delta Q_{t,i}$ )를 생성합니다.
- 최종 결정에 사용되는 블록( $Z^{dynamic}_{t,i}$ )은 동적 쿼리가 증거에 크로스 어텐션(cross-attend)함으로써 생성됩니다.
- 이를 통해 동일한 저장된 증거가 현재 상호작용 단계에 따라 서로 다른 잠재 표현을 생성하여, 궤적의 관련 부분만을 표면화할 수 있게 합니다.
단계 C: 증거 신뢰도 (사용되어야 하는가?)
- 경량화된 **신뢰 게이트(trust gate)**가 각 결정 대상 메모리 블록의 점수를 매깁니다.
- 추론 시, 점수가 임계값 $\gamma$ 미만인 블록은 제거되어 정책의 어텐션에서 제외됩니다.
- 학습 시에는 Straight-through HardConcrete 마스크를 사용하며, 게이트가 부적절한 증거를 억제하는 법을 배우도록 높은 신뢰도를 가진 무관한 에피소드 아이템을 주입합니다.

3. 최적화

학습은 두 단계로 진행됩니다:

단계 A: 고정된 쿼리와 의미적/기능적 감독을 사용하여 역할 인식 콘텐츠 기저를 학습합니다.
단계 B: 단계 A로부터 초기화되며, 동적 쿼리 잔차와 신뢰 게이트를 활성화합니다. 공유 압축기, 조건부 판독, 신뢰 모듈은 정책이 동결된 상태에서 공동으로 최적화됩니다.

주요 기여

문제 정식화: 저자들은 압축 가능한 콘텐츠 형성, 현재 결정에 따른 정책 가시성 적응, 그리고 정책에 미치는 영향력 제어라는 세 가지 뚜렷한 책임을 중심으로 컴팩트한 잠재 GUI 메모리를 정식화했습니다.
FocusMem 프레임워크: 역할 인식 콘텐츠 기저, 상태 조건부 판독, 그리고 독립적인 블록 레벨 신뢰 게이트를 통해 이러한 책임들을 구현하는 동결된 정책 기반의 잠재 메모리 프레임워크입니다.
포괄적 평가: 다섯 가지 GUI 에이전트 벤치마크(MMInA-Wikipedia, MMInA-Shopping, DeepShop, WebVoyager, Online-Mind2Web)에 대한 매칭된 평가와 성능 향상의 원인을 격리하는 타겟 진단을 수행했습니다.

실험 결과

FocusMem은 메모리가 없는 에이전트, 원시 궤적 재생(raw trajectory replay), 그리고 기존 잠재 메모리 적응 모델들(CoMEM 스타일, HyMEM 스타일, Mem-W 스타일)과 비교 평가되었습니다.

성능: FocusMem은 모든 베이스라인을 일관되게 능가합니다. 다섯 가지 벤치마크에서 완전히 매칭된 "Action-only Fixed" 베이스라인 대비 성공률(SR)을 +10.8 ~ +18.0 포인트 개선했습니다.
효율성: 게이팅을 거친 후 최대 48개의 잠재 토큰으로 메모리 인터페이스를 매우 컴팩트하게 유지하면서도 이러한 이득을 달-성하며, 태스크당 평균 실행 스텝 수를 줄였습니다.
절제 연구(Ablation Studies):
- 콘텐츠 기저: 의미적 감독과 기능적 감독을 결합했을 때 일반 콘텐츠와 역할 특화 정보 모두에 대해 최상의 복구 가능성을 보였습니다.
- 동적 판독: 고정 판독과 동적 판독은 간결한 증거 환경에서는 유사한 성능을 보였으나, 컴팩트한 병목 구간 내에서 추가적인 궤적 컨텍스트와 경쟁해야 하는 상황에서는 동적 판독이 훨씬 더 견고한 성능을 보였습니다.
- 신뢰 게이트: 게이트는 주입된 무관한 증거를 효과적으로 억제하여, 비-게이팅 베이스라인에서 나타나는 성능 저하 문제를 방지했습니다.

의의 및 주장

본 논문은 효과적인 잠재 메모리가 단순히 과거의 상호작용을 압축하는 것이 아니라, 무엇을 유지하고, 무엇을 노출하며, 무엇을 정책에 허용할 것인가에 달려 있다고 주장합니다. FocusMem은 다음과 같은 점을 입증했습니다:

에피소드 메모리와 작업 메모리는 서로 다른 역할을 수행하며, 이에 따라 서로 다른 콘텐츠 유지 전략이 필요합니다.
단일 궤적은 고정된 요약에 의존하기보다, 상호작용 단계에 따라 서로 다른 정보를 제공할 수 있습니다.
불일치하는 증거는 제한된 컨텍스트 예산 내에서 배제될 수 있으며, 이를 통해 에이전트가 검색되었으나 무관한 이력에 의해 오도되는 것을 방지할 수 있습니다.

저자들은 콘텐츠 형성, 상태 조건부 판독, 증거 신뢰도를 분리하는 것이 컴팩트하면서도 강력한 메모리 인터페이스를 구축한다고 결론지으며, 향후 잠재 메모리 시스템은 메모리를 단일한 압축 블록으로 취급하기보다 이러한 개별 메커니즘을 명시적으로 모델링해야 한다고 제언합니다.