기술 요약: 생성형 시각적 코드 기반 모바일 월드 모델

문제 정의

모바일 그래픽 사용자 인터페이스 (GUI) 월드 모델 (WM) 은 에이전트의 훈련 및 추론 중 성능을 향상시키기 위해 미래 인터페이스 상태를 예측하는 것을 목표로 합니다. 현재 접근 방식은 중요한 트레이드오프에 직면해 있습니다:

1. 텍스트 기반 WM: 픽셀 공간을 텍스트로 추상화하여 시각적 충실도를 희생하며, 중요한 공간적 레이아웃과 시각적 속성 (예: 아이콘, 타이포그래피) 을 상실합니다.
2. 시각적 (픽셀 기반) WM: 정밀한 텍스트 렌더링과 이산적인 GUI 동역학 처리에 어려움을 겪습니다. 기존 시각적 WM(예: VIMO) 은 외부 OCR, 텍스트 마스킹, 확산 모델, 그리고 텍스트 채우기를 위한 폐쇄형 가중치 LLM 을 포함하는 복잡하고 다단계 파이프라인에 의존합니다. 이로 인해 상당한 계산 오버헤드, 지연 시간, 그리고 폐쇄형 가중치로 인한 재현성 저하가 발생합니다.

또한, 기존 벤치마크는 종종 행동을 텍스트로 변환하거나 분포 내 (in-distribution) 시나리오만 테스트함으로써 문제를 단순화하여, 제로샷 일반화 능력이나 네이티브 시각적 행동 공간을 평가하지 못합니다.

방법론

저자들은 렌더 가능한 코드 생성을 통한 시각적 모바일 GUI 월드 모델링을 위한 새로운 패러다임인 gWorld를 제안합니다. 픽셀을 직접 생성하는 대신, 모델은 픽셀로 렌더링 가능한 실행 가능한 웹 코드 (HTML/CSS) 로서 다음 GUI 상태를 예측합니다.

핵심 아키텍처

• 모델: gWorld 는 오픈 가중치 비전 - 언어 모델 (VLM) 을 기반으로 구축되었으며, 구체적으로 Qwen3 VL(8B 및 32B 파라미터) 의 파인튜닝 버전입니다.
• 표현: 모델은 구조화된 웹 코드를 출력합니다. 이는 정밀한 텍스트 렌더링을 위한 VLM 의 언어적 사전 지식과 고품질 시각적 생성을 위한 구조화된 웹 코드에 대한 사전 학습을 활용합니다.
• 훈련 목적: 모델은 현재 이미지 상태 ($S_t$) 와 행동 ($A_t$) 을 입력받아 추론 궤적 ($R_t$) 과 코드 기반 다음 상태 ($S^{code}_{t+1}$) 를 모두 예측하도록 훈련됩니다.

데이터 생성 프레임워크

코드 기반 GUI 월드 모델링 데이터셋이 존재하지 않기 때문에, 저자들은 훈련 데이터를 합성하기 위한 프레임워크를 도입합니다:

1. 궤적 재사용: 오프라인 모바일 에이전트 정책 궤적 (AitW, GUIOdyssey, AndroidControl, AMEX 에서 유래) 을 전이 삼중항 $(S_t, A_t, S_{t+1})$ 으로 변환합니다.
2. 교차 모달 재레이블링: 정답인 다음 상태 이미지 ($S^{image}_{t+1}$) 를 이미지 --to-코드 프롬프트를 통해 최첨단 모델 (Gemini 3 Flash) 을 사용하여 렌더 가능한 웹 코드 ($S^{code}_{t+1}$) 로 변환합니다.
3. 선제적 추론: 정답인 다음 상태에 대한 "자유 선제적 (free look-ahead)" 접근을 가진 최첨단 모델을 사용하여 추론 궤적 ($R_t$) 을 합성합니다. 이는 문제를 먼저 자연어로 상태 변화를 예측한 후 코드로 변환하는 방식으로 분해하여, 추론과 최종 출력 간의 정렬을 보장합니다.

벤치마크: MWMBENCH

저자들은 6 개의 데이터셋으로 구성된 포괄적인 벤치마크 MWMBENCH를 도입합니다:

• 분포 내 (ID): 4 개의 데이터셋 (AitW, GUIOdyssey, AndroidControl, AMEX).
• 분포 외 (OOD): 2 개의 새로운 데이터셋:
  • AndroidWorld: AndroidWorld 벤치마크에서 자동 수집.
  • KApps: 인기 있는 한국 앱 (예: 배달의민족, 카카오톡) 을 특징으로 하는 수동 큐레이션된 한국어 궤적로, 다국어 및 지역 일반화를 테스트합니다.
• 주요 특징: MWMBENCH 는 행동을 텍스트로 변환하는 대신 네이티브 시각적 모달리티(행동의 원본 좌표 보존) 에서 모델을 평가하며, 제로샷 일반화를 위한 OOD 평가를 포함합니다.

주요 기여

1. gWorld 모델: 렌더 가능한 코드 생성을 통해 작동하는 최초의 오픈 가중치 단일 통합 시각적 모바일 GUI WM(8B 및 32B).
2. 데이터 생성 파이프라인: 기존 정책 궤적에서 추론 궤적이 포함된 대규모 코드 기반 훈련 데이터를 자동으로 합성하는 프레임워크.
3. MWMBENCH: 분포 내 및 분포 외 설정에서 네이티브 시각적 행동 공간을 갖춘 시각적 월드 모델링의 체계적 평가를 가능하게 하는 새로운 벤치마크 스위트.
4. 실증적 검증: 코드 기반 모델링이 픽셀 기반 생성 및 텍스트 기반 추상화보다 우월함을 입증하여, 정확도와 모델 크기 간의 새로운 파레토 프론티어를 확립했습니다.

결과

6 개 벤치마크 (4 개 ID, 2 개 OOD) 에 대한 광범위한 평가는 다음과 같은 결과를 보여줍니다:

• 성능: gWorld 8B 및 32B 는 모든 벤치마크에서 최고의 및 두 번째로 높은 지시 정확도 (IAcc.) 를 달성했습니다. 이들은 최대 50.25 배 더 큰 8 개의 최첨단 오픈 가중치 모델 (Llama 4 402B 및 Qwen3 VL 235B 포함) 보다 우수한 성능을 발휘했습니다.
• 파레토 프론티어: gWorld 는 기존 최첨단 모델보다 훨씬 적은 파라미터로 더 높은 정확도를 달성하여 새로운 파레토 프론티어를 설정했습니다.
• 강건성: 이 모델들은 OOD 벤치마크 (AndroidWorld 및 KApps) 에서 강력한 일반화를 보여주었으며, ID 설정에 비해 성능이 크게 저하되지 않았습니다.
• 렌더링 충실도: 코드 기반 접근 방식은 구조적 오류를 실질적으로 제거하여 렌더링 실패율이 1% 미만입니다 (일부 베이스라인의 30% 이상과 비교).
• 스케일링 법칙: 성능은 데이터셋 크기 (37K 에서 240K 샘플) 에 따라 예측 가능한 멱법칙을 따르며, 더 많은 데이터로 추가 향상이 가능함을 시사합니다.
• 하류 영향: gWorld 를 폭넓은 롤아웃 및 가치 추정을 통해 정책 에이전트 (M3A) 에 통합하면, 정책 단독 또는 월드 모델 없는 가치 함수를 사용하는 것에 비해 상당한 성능 향상을 가져옵니다 (예: 베이스라인 대비 평균 정확도 22.4% 향상).
• 효율성: gWorld 는 이전 픽셀 기반 WM(예: VIMO) 보다 훨씬 빠릅니다. 엔드 - 투 - 엔드 지연 시간은 0.55 초 (8B) 및 **1.30 초 (32B)**이며, VIMO 의 보고된 160 초와 비교됩니다.

중요성 및 주장

본 논문은 렌더 가능한 코드 월드 모델링이 확장 가능하고 효율적인 모바일 GUI 에이전트를 위한 실용적인 기반을 제공한다고 주장합니다. 표현을 픽셀에서 코드로 전환함으로써 gWorld 는 GUI 구조와 텍스트 충실도를 유지하면서 다단계 픽셀 기반 파이프라인의 복잡성과 지연 시간을 회피합니다.

저자들은 다음과 같은 점을 강조합니다:

• 이 접근 방식은 시각적 충실도와 텍스트 정밀도 간의 트레이드오프를 해결합니다.
• 훨씬 더 큰 폐쇄형 가중치 또는 픽셀 기반 대안보다 우수한 성능을 내는 오픈 가중치, 재현 가능한 월드 모델 생성을 가능하게 합니다.
• 이 방법은 매우 효율적이어서 모바일 에이전트를 위한 실시간 월드 모델링을 실현 가능하게 합니다.
• 도입된 벤치마크와 데이터 생성 프레임워크는 모바일 GUI 월드 모델링에 대한 향후 연구를 위한 필수 인프라를 제공합니다.

논문은 한계에 대해 겸손하게 서술하며, 웹 코드를 통해 고충실도로 재구성하기 어려운 사진과 같은 사실적인 콘텐츠 (예: 비디오 플레이어의 복잡한 자연 이미지) 가 있다고 언급하지만, 이는 대부분의 GUI 작업에 대한 의미적 유용성에 크게 영향을 미치지 않는다고 덧붙입니다. 향후 작업으로는 장기 의존성을 위한 명시적 작업 기억의 통합이 제안됩니다.