OpenMobile: Building Open Mobile Agents with Task and Trajectory Synthesis

1. 문제 정의 (Problem)

최근 비전 - 언어 모델 (VLM) 기반의 모바일 에이전트 (스마트폰 인터페이스를 조작하여 작업을 수행하는 자율 시스템) 는 AndroidWorld 와 같은 벤치마크에서 70% 에 가까운 성공률을 기록하며 괄목할 만한 성과를 보였습니다. 그러나 이러한 선도적인 시스템들은 훈련 데이터와 생성 방식을 완전히 폐쇄 (Closed) 해두고 있어 투명성이 결여되어 있습니다.

이로 인해 다음과 같은 문제가 발생했습니다:

• 성능 격차: 오픈소스 커뮤니티는 AndroidControl, AMEX 와 같은 공개 데이터셋에 의존하고 있으나, 이는 노이즈가 많고 사고 패턴이 부족하여 AndroidWorld 에서 약 30% 의 성공률에 머무르고 있습니다.
• 연구의 한계: 폐쇄된 데이터와 생성 레시피 (Recipe) 에 대한 불투명함은 커뮤니티가 어떤 데이터 특성이 고성능과 일반화를 이끄는지 이해하거나, 이를 재현 및 발전시키는 것을 불가능하게 만듭니다.
• 데이터 부족: 모바일 환경에서 다양하고 고품질의 태스크 지시문 (Task Instructions) 과 에이전트 궤적 (Trajectories) 을 대규모로 생성하는 오픈소스 방법론이 부재합니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 OpenMobile이라는 오픈소스 데이터 합성 프레임워크와 데이터셋을 제안합니다. OpenMobile 은 두 가지 핵심 구성 요소로 이루어져 있습니다.

가. 확장 가능한 태스크 합성 파이프라인 (Scalable Task Synthesis)

기존의 상호작용 기반 접근법은 단일 탐색 궤적을 기반으로 태스크를 생성하여 다양성이 제한되는 단점이 있었습니다. OpenMobile 은 이를 탐색 (Exploration) 과 생성 (Generation) 을 분리하는 새로운 패러다임을 도입합니다.

1. 환경 탐색: 앱 내에서 무작위 이동 (Random Walk) 등을 통해 다양한 화면과 상호작용을 수집합니다.
2. 글로벌 환경 메모리 구축: 수집된 궤적들을 통합하여 **글로벌 환경 메모리 (Global Environment Memory)**를 구성합니다. 이는 시각적으로 유사한 화면을 클러스터링하고, 각 화면의 기능 (Functionality) 을 추출하여 앱 전체의 기능 지도를 구조화합니다.
3. 메모리 증강 태스크 합성: 생성 단계에서 단일 궤적이 아닌, **단기 기억 (Short-term Memory, 인접 화면)**과 **장기 기억 (Long-term Memory, 의미적으로 관련된 원격 화면)**을 결합하여 복잡하고 다단계이며 현실적인 태스크 지시문을 생성합니다.

나. 정책 전환 전략을 통한 궤적 롤아웃 (Policy-Switching Rollout)

학습용 에이전트 궤적을 수집할 때, 단순히 전문가 모델의 궤적만 모방하는 것 (Expert Distillation) 은 에이전트가 오류를 수정하는 능력을 배양하지 못하게 합니다.

• 학습자 - 전문가 전환 전략: 학습자 (Learner) 와 전문가 (Expert) 모델을 번갈아 가며 태스크를 수행하게 합니다.
• 오류 개입 (Error-Intervention): 학습자가 작업 수행 중 목표에서 벗어날 때 (Deviation), 모니터링 시스템이 이를 감지하여 즉시 전문가 모델이 개입하여 궤적을 수정합니다.
• 효과: 이를 통해 학습 데이터에 **오류 인식, 진단, 수정 (Error-Recovery)**에 대한 귀중한 신호가 포함되어, 에이전트가 실제 환경에서 실수를 극복하는 능력을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. OpenMobile 프레임워크 및 데이터셋 공개: 모바일 에이전트 훈련을 위한 태스크 및 궤적 합성 프레임워크를 오픈소스로 공개했습니다. 20 개 안드로이드 앱에서 2,800 개의 태스크 지시문과 34,000 개의 행동 단계 (Action Steps) 로 구성된 데이터셋을 제공합니다.
2. 새로운 합성 아키텍처 제안:
   • 분리된 태스크 합성: 글로벌 환경 메모리를 기반으로 한 지시문 생성으로 다양성과 현실성을 확보했습니다.
   • 정책 전환 롤아웃: 학습자의 오류를 전문가가 수정하는 과정을 통해 기존 데이터셋에 부재했던 '오류 복구' 능력을 학습 데이터에 포함시켰습니다.
3. 엄격한 평가 및 투명성 분석:
   • 3 가지 동적 벤치마크 (AndroidWorld, AndroidLab, MobileWorld) 에서 광범위한 평가를 수행했습니다.
   • 합성 데이터와 벤치마크 테스트 세트 간의 중첩 (Overlap) 을 투명하게 분석하여, 성능 향상이 벤치마크 과적합 (Overfitting) 이 아니라 광범위한 기능 커버리지와 오류 복구 능력에서 비롯됨을 입증했습니다.

4. 실험 결과 (Results)

OpenMobile 데이터로 미세 조정 (Fine-tuning) 된 모델들은 기존 오픈소스 기반 방법론을 크게 상회하며, 폐쇄형 상용 시스템과도 경쟁 가능한 성능을 보였습니다.

• AndroidWorld:
  • Qwen2.5-VL-7B: 51.7% 성공률 (기존 오픈소스 모델 대비 25% 이상 향상).
  • Qwen3-VL-8B: 64.7% 성공률 (폐쇄형 시스템인 Step-GUI, MAI-UI 등과 경쟁 가능한 수준).
• AndroidLab 및 MobileWorld:
  • MobileWorld (더 어려운 장거리 및 크로스 앱 작업) 에서 9.4% 에서 17.4% 로 성능을 크게 개선했으며, AndroidLab 에서도 우수한 결과를 기록했습니다.
• 일반화 능력: OpenMobile 환경 (AndroidWorld) 에서 학습되었음에도 불구하고, 보지 못한 앱과 환경에서도 뛰어난 일반화 능력을 보여주었습니다.
• 오류 복구 능력: 실시간 실행 테스트에서 학습된 모델은 오류를 인식하고 수정하는 능력이 기저 모델 (Base Model) 에 비해 현저히 향상된 것을 확인했습니다.

5. 의의 및 중요성 (Significance)

• 오픈소스 생태계 활성화: 산업계와 오픈소스 커뮤니티 간의 성능 격차를 해소하는 구체적인 기반을 마련했습니다.
• 데이터 품질의 중요성 입증: 단순히 모델 크기를 키우는 것뿐만 아니라, 오류 복구 신호가 포함된 고품질 합성 데이터가 모바일 에이전트 성능 향상의 핵심 요소임을 증명했습니다.
• 연구 투명성: 합성 데이터가 벤치마크를 단순히 암기하는 것이 아님을 데이터 기반 분석을 통해 입증함으로써, 신뢰할 수 있는 오픈 모바일 에이전트 연구의 새로운 표준을 제시합니다.
• 향후 연구 방향: 모바일 에이전트 연구가 폐쇄된 데이터에 의존하지 않고도 고성능을 달성할 수 있음을 보여줌으로써, 보다 투명하고 재현 가능한 AI 에이전트 연구의 토대를 제공합니다.

요약하자면, OpenMobile은 모바일 에이전트 연구의 '블랙박스'를 열어젖히고, 체계적인 데이터 합성 기법을 통해 오픈소스 모델이 폐쇄형 상용 모델과 대등한 성능을 낼 수 있음을 입증한 획기적인 연구입니다.