기술 요약: UI-KOBE

문제 제기

모바일 GUI 에이전트의 최근 발전은 작업 자동화에서 상당한 잠재력을 입증했으나, 현재 효과적인 시스템은 스크린샷 이해와 장기 계획에 대규모 비전 - 언어 모델 (VLM) 에 크게 의존하고 있습니다. 이러한 의존성은 두 가지 주요 실용적 과제를 제기합니다:

1. 배포 제약: 대규모 오픈소스 모델은 상당한 컴퓨팅 자원을 요구하여 온디바이스 배포를 어렵게 만들며, 독점 모델은 높은 API 비용을 초래합니다.
2. 기능적 한계: 온디바이스 배포에 적합한 소형 모델 (예: 4B 규모) 은 스크린샷만으로 종단 간 GUI 실행을 수행할 때 장기 추론 및 계획에 종종 어려움을 겪습니다. 이는 제한된 용량에 과도한 부담을 주어 신뢰할 수 없는 작업 실행으로 이어집니다.

가벼운 에이전트는 민감한 데이터를 로컬에 유지함으로써 추론 비용을 낮추고 개인정보 보호를 개선하지만, 이를 복잡한 GUI 작업 수행 가능하게 만드는 것은 여전히 열린 과제입니다.

방법론: UI-KOBE

저자들은 UI-KOBE(지향적 행동 탐색, Knowledge-Oriented Behavior Exploration) 를 제안합니다. 이는 앱 지식 획득을 작업 실행 시점과 분리하도록 설계된 프레임워크입니다. UI-KOBE 는 런타임 시 종단 간 추론에만 의존하는 대신, 자율적 탐색을 통해 재사용 가능한 앱별 지식 그래프를 구축하고, 이를 통해 작업 실행 중 가벼운 에이전트를 안내합니다.

1. 그래프 표현

UI-KOBE 는 애플리케이션을 방향성 그래프 $G_A = (V, E)$로 모델링합니다:

• 노드 ($V$): 개별 스크린샷이 아닌 고유한 의미론적 UI 상태 (예: "검색 페이지" 또는 "설정 페이지") 를 나타냅니다. 노드에는 의미론적 페이지 설명, 상태 스키마 (가시적 동적 값), 참조 스크린샷, 그리고 상호작용 가능한 요소가 포함됩니다. 이 추상화는 동일한 기능적 역할을 가진 서로 다른 스크린샷이 동일한 노드로 매핑되도록 합니다.
• 엣지 ($E$): UI 상태 간 관찰된 실행 가능한 전이를 나타냅니다. 각 엣지는 소스/타겟 노드, 실행된 동작 (JSON), 자연어 지시문, 그리고 목표 관찰을 저장합니다. 엣지는 다음과 같을 수 있습니다:
  • 전이 (Transitions): 서로 다른 노드 간 이동 (예: 검색 페이지에서 결과 페이지로).
  • 자기 루프 (Self-loops): UI 템플릿을 변경하지 않고 현재 화면의 상태를 수정하는 동작 (예: 쿼리 필드 업데이트) 으로, 스키마 델타와 함께 기록됩니다.

2. 자율적 탐색

이 프레임워크는 그래프를 구축하기 위해 반복적인 관찰 - 식별 - 계획 - 실행 루프를 사용합니다:

• 관찰 및 식별: 에이전트는 화면을 관찰하고 의미론적 설명을 생성한 후 기존 노드 임베딩과 비교합니다. 일치하는 경우 (시각적 비교를 통해 의미 오류를 방지하여 검증됨) 노드가 업데이트되고, 그렇지 않으면 새로운 노드가 생성됩니다.
• 동작 계획 및 실행: 에이전트는 현재 페이지와 기존 전이를 기반으로 미탐색 상호작용을 선택하고, 자연어 지시문을 단일 디바이스 동작 (탭, 입력, 스와이프) 으로 그라운딩합니다.
• 전이 기록: 결과 전이는 엣지로 기록됩니다. 그래프는 중단 후 재개할 수 있도록 점진적으로 저장됩니다.
• 정제: 사후 감사는 중복 노드를 병합하고, 신뢰할 수 없는 엣지를 플래그하며, 구체적인 지시문을 재사용 가능한 템플릿으로 정규화합니다 (예: "Starbucks 입력"을 "쿼리 입력"으로 추상화). 커버리지 지향적 재탐색은 미탐색 노드가 방문되도록 보장합니다.

3. 그래프 기반 런타임 에이전트

런타임 시 가벼운 GUI 에이전트는 오픈 엔디드 계획을 안내된 의사결정으로 대체하기 위해 외부 지식 소스로 사전 구축된 그래프를 사용합니다:

• 노드 검색: 주어진 작업과 현재 스크린샷을 바탕으로 에이전트는 시각 임베딩을 통해 후보 노드를 검색하고 모델 기반 의미론적 검증을 통해 최선의 매칭을 선택합니다.
• 의사결정: 현재 노드가 식별되면 에이전트는 그래프 지원 옵션의 제한된 집합에서 다음 동작을 선택합니다:
  1. 작업 완료: 실행 종료.
  2. 자기 루프 동작: 현재 화면 상태 수정.
  3. 인접 전이: 인접 노드로 이동.
  4. 자유 동작: 그래프에 포함되지 않은 동작을 위한 폴백 옵션.
• 폴백 메커니즘: 화면을 노드와 매칭할 수 없거나 필요한 동작이 누락된 경우, 에이전트는 단일 단계에 대해 순진한 계획기를 호출하여 전체 종단 간 추론으로 되돌리지 않고 견고성을 보장합니다.
• 메모리: 경량 메모리 모듈은 작업 진행 상황 (예: 완료된 지시문, 추출된 사실) 을 추적하여 중복 동작을 방지하고 작업 완료 판단을 지원합니다.

주요 기여

1. 패러다임 전환: 앱 지식 획득을 작업 실행과 분리하여 가벼운 모델을 위한 그래프 기반 모바일 GUI 에이전트를 가능하게 합니다.
2. UI-KOBE 프레임워크: 자율적 탐색을 통해 재사용 가능한 앱 지식 그래프를 구축하는 방법을 도입하며, 의미론적 UI 상태 (노드) 와 실행 가능한 전이 (엣지) 에 대한 원칙적 정의를 특징으로 합니다.
3. 그래프 기반 에이전트: 종단 간 계획을 안내된 의사결정으로 대체하기 위해 로컬 그래프 컨텍스트를 활용하는 런타임 에이전트를 설계하여 소형 GUI 에이전트의 기능과 신뢰성을 크게 향상시킵니다.

실험 결과

이 프레임워크는 두 가지 벤치마크에서 평가되었습니다: AndroidWorld(상호작용형 Android 작업 자동화) 및 A3(동적 UI 상태를 가진 현실적인 온라인 모바일 앱 작업).

• 성능 향상: UI-KOBE 는 다양한 모델 규모 (Qwen3.5-4B, 9B, Plus) 에서 작업 성공률을 일관되게 개선했습니다.
  • AndroidWorld에서 4B 모델을 사용한 UI-KOBE 는 **70.7%**의 성공률을 달성하여 그래프 안내가 없는 동일한 백본 (58.6%) 보다 훨씬 우수한 성과를 보였으며, 많은 대형 단일 모델 에이전트 (예: 46.6% 의 UI-TARS-72B) 를 능가했습니다.
  • A3에서 4B 모델을 사용한 UI-KOBE 는 필수 상태 달성률 (ESAR) 71.5% 및 **전체 성공률 (SR) 61%**을 기록하여, 기준 4B 모델의 43.7% ESAR 및 26% SR 대비 향상된 성능을 보였습니다.
• 확장성: 이 이점은 더 큰 모델 (9B 및 Plus) 로도 확장되었으며, UI-KOBE + Qwen3.5-Plus 는 AndroidWorld 에서 77.6%, A3 에서 78% 의 가장 높은 전체 성공률을 달성하여 T3A 와 같은 강력한 에이전트 프레임워크를 능가했습니다.
• 비용 효율성: 그래프 구축은 일회성 비용 (앱당 평균 $6.2 및 3.2 시간) 을 발생시키지만, 반복적인 작업 실행을 통해 상쇄됩니다.

중요성 및 주장

이 논문은 UI-KOBE 가 효율적이고 해석 가능하며 개인정보 보호를 고려한 온디바이스 GUI 에이전트를 향한 실용적인 단계라고 주장합니다. 종단 간 계획의 부담을 줄임으로써 이 프레임워크는 가벼운 모델이 모바일 GUI 작업을 더 신뢰할 수 있게 수행할 수 있게 합니다. 이 접근법은 각 동작을 명시적 그래프 구조에 그라운딩하여 해석 가능성을 높이고, 반복적인 탐색 없이 작업 간 재사용을 지원합니다. 저자들은 재사용 가능한 앱 지식이 리소스 제약이 있는 디바이스에 배포 가능하면서도 복잡하고 장기적인 시나리오에서 효과적인 GUI 에이전트를 구축하는 유망한 방향이라고 주장합니다.

한계

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 버전 의존성: 그래프는 앱 버전에 의존하며 UI 가 크게 변경될 경우 점진적 수정 또는 재탐색이 필요할 수 있습니다.
• 배포 제약: 온디바이스 에이전트를 목표로 하지만, 현재 시스템은 그래프 검색을 위한 외부 임베딩 모델에 의존하여 완전한 로컬 배포를 방해합니다.
• 범위: 실험은 모바일 애플리케이션으로 제한되었으며, 웹사이트 및 PC 애플리케이션에서의 효과는 아직 검증되지 않았습니다.