기술 요약: GUI 에이전트를 위한 실행 가능한 에이전트 메모리

1. 문제 제기

대형 언어 모델 (LLM) 을 기반으로 하는 현대의 GUI 에이전트는 모델 중심의 단계별 상호작용 패러다임 하에서 작동합니다. 이 패러다임에서 LLM 은 모든 화면에서 사용자 인터페이스 (UI) 를 재해석하고 행동을 재결정해야 합니다. 이러한 접근 방식은 작은 지각 또는 추론 오류가 누적되어 환각된 행동과 잘못된 우회 경로를 초래하기 때문에 장기 과제에는 본질적으로 취약합니다. 또한, 컨텍스트 창 내에서 작업 진행 상황을 유지하는 것은 비효율적이며, 반복적인 생성에 의존하면 높은 지연 시간과 토큰 비용이 발생합니다.

워크플로우 패턴이나 벡터 데이터베이스와 같은 외부 지식을 주입하여 견고성을 높이려는 기존 시도들은 종종 신뢰할 수 없습니다. 이러한 방법들은 일반적으로 검색된 텍스트에 대해 추론하기 위해 LLM 의 문맥적 이해에 의존하며, 역사적 궤적의 고유한 구조화된 정보를 활용하지 못합니다. 결과적으로 실행 가능한 경로를 신뢰성 있게 재현하는 데 어려움을 겪으며, 반복적인 단계별 생성과 검색으로 인해 상당한 비용이 발생합니다.

2. 방법론

본 논문은 자유 형식의 생성에서 구조화된 지식 그래프 (KG) 기반의 견고한 검색 및 실행 프로세스로 GUI 계획을 전환하는 실행 가능한 에이전트 메모리 (EAM) 프레임워크를 제안합니다. 이 시스템은 두 가지 주요 단계로 구성됩니다:

A. 오프라인 지식 그래프 구축

목표는 환경의 상호작용 논리에 대한 영구적이고 구조화된 표현 ($G = (S, A, E)$) 을 구축하는 것으로, 여기서 $S$는 GUI 상태, $A$는 행동, $E$는 전이를 나타냅니다.

1. 자율적 탐색: 시스템은 작업 지향적이고 상태 인식적인 깊이 우선 탐색 (DFS) 전략을 사용합니다. MLLM 은 상호작용 가능한 요소 (앵커) 를 기반으로 후보 하위 목표를 생성하고 진행 상황 (계속, 백트래킹, 완료) 을 평가합니다. 이는 작업 관련 전이를 포괄적으로 커버하면서도 자연스럽게 접두어 트리 구조를 형성하도록 보장합니다.
2. 전이 인식 지식 마이닝: 수집된 궤적은 방향성 비순환 그래프 (DAG) 로 병합됩니다. 이중 계층 필터링 메커니즘 (임베딩 유사성 followed by 비전 - 언어 모델 검증) 이 상태 중복 제거를 처리합니다. 상태 전이에서 페이지 설명 및 행동 기능과 같은 의미적 속성을 추출하여 그래프를 풍부하게 만듭니다.
3. 행동 그룹 마이닝: 다단계 루틴을 압축하기 위해 저자들은 바이트 페어 인코딩 (BPE) 에서 영감을 받은 통계적 접근법을 제안합니다. 빈번하게 인접한 행동 쌍을 반복적으로 새로운 "행동 그룹" 노드로 병합하여 KG 를 원자적 작업에서 재사용 가능한 고수준 기술의 계층 구조로 변환합니다.

B. 온라인 지식 증강 추론

사용자 명령이 주어지면 에이전트는 **가치 유도 몬테카를로 트리 검색 (MCTS)**을 사용하여 KG 에서 실행 가능한 경로를 추출합니다.

1. Q-모델 유도 MCTS: 토큰을 그래프로 매핑하는 생성형 에이전트와 달리, 이 에이전트는 그래프 토폴로지에서 직접 작동합니다. 경량 Q-함수 모델 ($Q_\theta$) 이 상태 - 행동 쌍에 대한 작업 성공 확률을 예측합니다. MCTS 알고리즘은 이 Q-모델을 사용하여 노드 값을 초기화하고 UCT 기준을 통해 검색을 유도하며, 제한된 행동 공간에서 높은 보상을 주는 경로를 선택합니다.
2. 자기 훈련 파이프라인: Q-모델은 반복적인 과정을 통해 정제됩니다.
   • 초기화: Bradley-Terry 순위 손실을 사용하여 전문가 궤적에서 선호도 학습을 통해 훈련하여 초기 행동 순위를 확립합니다.
   • 반복적 정제: 에이전트는 현재 Q-모델에 의해 유도된 MCTS 를 실행하여 검색 트리를 생성합니다. 목표 Q-값은 하향식 벨만 백업 (균일 무작위 정책에 대한 평균) 을 통해 계산됩니다. 그런 다음 모델은 이러한 소프트 레이블을 사용하여 이진 교차 엔트로피 손실로 업데이트되어 유망한 경로를 구별하는 능력을 점진적으로 향상시킵니다.

3. 이론적 기여

본 논문은 제안된 프레임워크에 대한 이론적 보장을 제공합니다:

• 편향 일관성: 저자들은 학습된 Q-모델이 최적 경로 복구에 필요한 핵심 상태 - 행동 집합에서 참조 가치 함수 ($Q_{\pi_u}$) 와 편향 일관성을 가진다고 입증했습니다. 오차 한계는 훈련 샘플 수가 증가함에 따라 감소합니다.
• 샘플 복잡성: MCTS 과정에 대한 유한 샘플 복잡성 한계가 유도되었습니다. 분석에 따르면 최적 경로를 복원하는 데 필요한 시뮬레이션 횟수는 지평선과 분기 계수에 비례하여 다항식적으로 증가하고, 유효 행동 간격의 제곱에 반비례합니다. 중요하게는 Q-모델이 개선됨 (편향 감소) 에 따라 필요한 MCTS 시뮬레이션 횟수가 줄어듭니다.

4. 실험 결과

이 방법은 AndroidWorld, MobileMiniWob++, DroidTask라는 세 가지 벤치마크에서 평가되었습니다.

• 성능: EAM 은 최첨단 (SOTA) 베이스라인을 크게 능가합니다. AndroidWorld 에서 **52.6%**의 성공률을 달성하여 SOTA UI-TARS-7B(33.0%) 보다 19.6% 높은 수치를 기록했습니다. 또한 M3A(40.5%) 와 같은 GPT-4o 기반 프레임워크를 능가하며, 경로 추출에 더 작은 3B 파라미터 모델을 사용했음에도 AppAgentX 및 GUI-Explorer 와 같은 더 크고 지식이 강화된 에이전트와 비교 가능한 결과를 달성했습니다.
• 효율성: EAM 은 GPT-4o 대비 토큰 비용을 약 6 배 줄였으며 (단계당 50.8K 토큰 대비 8.3K 토큰), 평균 지연 시간은 2.8 초입니다. 이 효율성은 검색된 경로를 필터링하기 위해 단일 클라우드 호출만 필요로 하는 "계획 후 실행" 프레임워크에서 비롯되며, 각 단계마다 반복적인 API 호출이 필요하지 않습니다.
• 애블레이션 연구:
  • 자기 훈련: 반복적인 자기 훈련은 다양한 모델 크기 (0.5B~3B) 에서 성공률을 지속적으로 향상시킵니다.
  • 행동 그룹: 빈번한 시퀀스를 행동 그룹으로 병합하면 검색 복잡성과 지연 시간이 크게 감소합니다.
  • 일반화: 한 환경 (AndroidWorld) 에서 훈련된 Q-모델은 보이지 않는 환경 (DroidTask, MobileMiniWob++) 에서 성능을 향상시켜, 모델이 이전 가능한 GUI 탐색 패턴을 포착함을 시사합니다.

5. 중요성과 주장

본 논문은 EAM 이 지식 그래프를 단순히 인-컨텍스트 주입을 위한 검색 소스가 아니라 실행 가능한 상태 기계로 간주함으로써 GUI 에이전트에게 패러다임 전환을 가져온다고 주장합니다.

• 신뢰성: 유효한 전이의 구조화된 그래프에 의사결정을 근거로 함으로써 EAM 은 에이전트가 실행 가능한 경로에 머무르도록 보장하여 자유 형식 생성에서 흔히 발생하는 환각을 완화합니다.
• 효율성: 행동 그룹 압축과 가치 유도 검색의 결합은 작은 모델이 낮은 지연 시간과 비용으로 장기 과제를 수행할 수 있게 하여, 소형 언어 모델과 최첨단 LLM 간의 추론 격차를 해소합니다.
• 확장성: 이론적 보장과 실험적 결과는 이 접근 방식이 확장 가능하고 견고하며, 현재 클라우드 기반 단계별 생성 방법의 prohibitive 비용을 피하면서도 신뢰할 수 있는 실시간 GUI 자동화를 위한 실현 가능한 경로를 제공함을 시사합니다.

저자들은 상대적으로 정적인 UI 환경에 대한 가정에 관한 한계를 인정하며, 중요한 앱 업데이트는 점진적 그래프 진화를 위한 메커니즘을 필요로 할 수 있음을 지적했습니다. 이는 향후 연구 방향 중 하나로 남아 있습니다.