기술 요약: UI-MOPD

문제 정의

본 논문은 서로 다른 환경(구체적으로 데스크톱 및 모바일)에서 작동하면서도 각 플랫폼의 고유한 상호작용 관습을 유지할 수 있는 통합 멀티 플랫폼 GUI 에이전트를 학습시키는 과제를 다룹니다.

현재의 교차 플랫폼 학습 방식은 대개 다음과 같은 방식에 의존합니다:

1. 데이터 집계(Data Aggregation): 서로 다른 플랫폼으로부터 오는 이질적인 감독 신호를 혼합함.
2. 모델 병합(Model Merging): 특화된 모델들의 파라미터를 평균화함.
3. 순차적 학습(Sequential Training): 한 플랫폼을 학습시킨 후 다른 플랫폼을 학습시킴.

저자들은 이러한 방법들이 종종 실패한다고 주장하는데, 그 이유는 데스크톱과 모바일 플랫폼이 기초적인 능력(시각적 이해, 계획 등)은 공유하지만, 상충하는 액션 시맨틱(action semantics)과 상호작용 관습(예: OS 간의 "뒤로 가기" 내비게이션 차이)을 가지고 있기 때문입니다. 감독 신호를 혼합하거나 파라미터를 평균화하면 고유한 동작이 흐려져, 능력의 혼재(capability conflation), 불균형한 성능, 그리고 플랫폼별 사전 지식(priors)의 저하를 초래합니다. 또한, 고품질의 실행 가능한 교차 플랫폼 상호작용 데이터가 부족하여 견고한 통합 에이전트 개발에 어려움이 있었습니다.

방법론: UI-MOPD

이러한 문제를 해결하기 위해, 저자들은 서로 다른 상호작용 관습을 평균화하지 않고 전문가의 지식을 통합하는 프레임워크인 **UI-MOPD (Multi-Platform On-Policy Distillation)**를 제안합니다. 이 접근 방식은 두 가지 주요 단계로 구성됩니다.

1. 데이터 구축: Uni-GUI

저자들은 먼저 약 10,000개의 실행 가능한 교차 플랫폼 상호작용 궤적을 포함하는 고품질 데이터셋인 Uni-GUI를 구축했습니다.

• 수집: 통합 데스크톱-모바일 하네스를 사용하여 약 110K의 컴퓨터 상호작용 단계와 약 50K의 모바일 상호작용 단계를 수집했습니다.
• 처리: 실행 가능한 액션과 상태-액션 정렬의 정확성을 보장하기 위해 엄격한 필터링, 궤적 검증 및 품질 관리가 적용되었습니다.

2. 학습 프레임워크: 다중 교사 온-폴리시 증류 (Multi-Teacher On-Policy Distillation, MOPD)

학습 파이프라인은 두 단계로 진행됩니다:

• 1단계 (교사 학습): 비전-언어 파운데이션 모델(Q-wen3-VL-32B)을 Uni-GUI의 플랫폼별 파티션에 대해 지도 미세 조정(SFT)하여 두 명의 전문가 교사인 데스크톱 교사 ($\pi^d_{ref}$)와 모바일 교사 ($\pi^m_{ref}$)를 생성합니다.
• 2단계 (학생 학습): 공유 학생 정책 ($\pi_\theta$, 8B 모델로 초기화됨)을 다중 교사 온-폴리시 증류를 사용하여 학습시킵니다.
  • 온-폴리시 롤아웃(On-Policy Rollouts): 학생은 혼합된 플랫폼 환경에서 자신의 현재 정책으로부터 롤아웃을 샘플링합니다.
  • 플랫폼 조건부 라우팅(Platform-Conditioned Routing): 각 롤아웃은 환경 레이블에 따라 그에 대응하는 플랫폼 특화 교사에게 라우팅됩니다.
  • 행동 앵커링(Behavioral Anchoring): 교사는 학생이 실제로 방문한 상태에서만 가이드를 제공합니다. 이는 플랫폼 조건부 행동 앵커 역할을 하여, 학생이 다른 플랫폼의 신호로 인해 고유한 상호작용 패턴을 덮어쓰는 것을 방지합니다.
  • 손실 함수: 학습 목적 함수는 클리핑된 정책 최적화(PPO 스타일)와 역 KL 발산(Reverse KL divergence) 페널티를 결합합니다. KL 항은 통합된 교사가 아닌, 라우팅된 교사와 계산됩니다.
  • 적응형 KL 마스킹(Adaptive KL Masking): 작업 피드백(보상)이 이미 충분할 때 교사의 페널티를 제거하기 위해 그룹 레벨 마스크 ($\mu$)가 적용되어, 고성능 롤아웃에서의 불필요한 탐색 제한을 방지합니다.

주요 기여

1. Uni-GUI 데이터셋: 실행 가능한 멀티 플랫폼 데이터의 희소성 문제를 해결하는, 약 10K의 고품질 교차 플랫폼 상호작용 궤적을 담은 Uni-GUI 데이터셋을 도입했습니다.
2. UI-MOPD 프레임워크: 다중 교사 온-폴리시 증류를 통합 GUI 에이전트 학습에 최초로 적용했습니다. 이 방식은 서로 다른 상호작용 관습을 평균화하는 대신, 플랫폼 조건부 교사를 행동 앵커로 사용하여 상호 보완적인 데스크톱 및 모바일 전문 지식을 독특하게 통합합니다.
3. 체계적 평가: UI-MOPD가 일반적인 GUI 그라운딩 능력을 유지하면서도 파라미터 매칭 통합 전략(혼합 SFT/RL, 모델 병합 등)보다 우수한 균형 잡힌 교차 플랫폼 성능을 달라는 것을 종합적인 실험을 통해 입증했습니다.

실험 결과

저자들은 8B 파라미터 학생 모델을 사용하여 OSWorld(데스크톱) 및 MobileWorld(모바일) 벤치마크에서 UI-MOPD를 평가했습니다.

• 성능:
  • OSWorld: **38.2%**의 작업 성공률을 달성했습니다 (기본 모델 대비 12.7% 상대적 향상).
  • MobileWorld: **12.0%**의 작업 성공률을 달성했습니다 (기본 모델 대비 55.8% 상대적 향상).
  • 균형: UI-MOPD는 모든 8B 통합 전략 중 가장 높은 **조화 평균(H-Mean)**인 18.3%를 기록하며, 균형 잡힌 능력 측면에서 훨씬 더 큰 235B 파라미터 모델의 성능에 필적했습니다.
• 비교:
  • Mixed-SFT, Mixed-RL, Model Merging (Weight Averaging/TIES), Sequential-RL과 같은 전략보다 뛰어난 성능을 보였습니다.
  • 단일 "통합 교사"(혼합 데이터로 학습된)나 단일 플랫폼 교사를 사용하는 것이 라우팅된 다중 교사 접근 방식에 비해 불충분함을 입증했습니다.
• 일반화:
  • 이 방법은 일반적인 GUI 그라운딩 능력을 보존했습니다. 다른 통합 전략들이 광범적인 저하를 일으키는 것과 달리, AndroidControl, ScreenSpot-Pro, OSWorld-G와 같은 정적 벤치마크에서 개선되거나 무시할 만한 수준의 저하만을 보였습니다.

의의 및 주장

본 논문은 다중 교사 온-폴리시 증류가 통합 교차 플랫폼 GUI 에이전트를 구축하는 효과적인 접근 방식임을 주장합니다. 핵심적인 의의는 다음과 같습니다:

• 전문 지식 통합: 플랫폼 특화 교사들은 중복되는 것이 아니라 상호 보완적인 감독을 제공합니다. 이들은 공유 정책이 플랫폼 특유의 행동 사전 지식을 지우지 않으면서도 작업 완수 능력을 향상시킬 수 있도록 하는 안정적인 앵커 역할을 합니다.
• 갈등 해결: 롤아웃을 특정 교사에게 라우팅함으로써, 이 방법은 공유된 능력과 상이한 상호작용 관습 사이의 갈등을 해결하고, 다른 통합 방법들을 괴롭히는 "평균화" 효과를 피합니다.
• 효율성: 이 접근 방식은 일반적인 GUI 이해도를 희생하지 않으면서도, 일반적으로 훨씬 더 큰 모델이나 별도의 특화된 에이전트가 필요한 플랫폼 전반에 걸쳐 균형 잡힌 성능을 달 수 있도록 단일 8B 모델을 가능하게 합니다.

저자들은 이 프레임워크가 단순한 데이터 혼합을 넘어 구조화되고 조건 인지적인 지식 통합으로 나아가는, 이질적인 환경에서의 통합 에이전트 학습을 위한 새로운 패러다임을 구축한다고 결론짓습니다.