기술 요약: POINTS-GUI-G: GUI 그라운딩 여정

문제 정의

시각-언어 모델(VLM)의 급격한 발전은 온라인 쇼핑부터 항공권 예약에 이르기까지 복잡한 디지털 워크플로우를 자동화할 수 있는 GUI 에이전트의 등장을 가능하게 했습니다. 이러한 에이전트의 근본적인 전제 조건은 GUI 그라운딩(GUI grounding), 즉 클릭이나 타이핑과 같은 작업을 실행하기 위해 스크린샷 내의 인터페이스 요소(텍스트, 아이콘, 버튼)를 정확하게 찾아내는 능력입니다.

현재의 연구들은 종-단간(end-to-end) 작업 실행에 집중하기 위해 이미 강력한 공간 인지 능력을 갖춘 모델(예: Qwen3-VL)에 의존하는 경우가 많지만, 이러한 접근 방식은 반복적인 개발에 필요한 핵심적인 기술적 통찰을 가릴 수 있습니다. 또한, 기존 방식들은 데이터 이질성, 훈련과 추론 사이의 해상도 불일치, 그리고 지각 집약적 작업에서 강화 학습의 잠재력과 같은 구체적인 그라운딩의 과제들을 간과하는 경우가 많습니다. 본 논문은 최적화된 파운데이션 모델이 아닌, 최소한의 네이티브 그라운딩 능력을 가진 베이스 모델(POINTS-1.5)로부터 시작하여 GUI 그라운딩의 전체 기술 파이프라인을 마스터하는 것을 목표로 함으로써 이러한 격차를 해소하고자 합니다.

방법론

저자들은 세 가지 핵심 축으로 구성된 "풀스택(full-stack)" 접근 방식을 통해 개발된 POINTS-GUI-G-8B 모델을 소개합니다.

1. 정교한 데이터 엔지니어링

저자들은 기존의 오픈 소스 GUI 그라운딩 데이터셋의 한계를 해결하기 위해 다단계 파이프라인을 구현했습니다:

• 표준화: 다양한 데이터셋을 모든 좌표를 3자리 소수점 정밀도의 $[0, 1]$ 범위로 정규화하고, 태스크를 일관된 UI 요소 로컬라이제이션 형식(경계 상자 예측 또는 중심점 로컬라이제이션)으로 재구성하여 통합했습니다.
• 노이즈 감소: 부정확한 어노테이션을 제거하기 위해 OmniParser-v2를 사용한 자동 필터링 파이프라인을 채택했습니다. 점(point) 어노테이션의 경우, 감지된 UI 요소에 대한 커버리지 점수를 계산하였으며, 환각된 좌표를 제거하기 위해 높은 중첩도($S \ge \tau$)를 가진 샘플만을 유지했습니다.
• 복잡도 향상: 성능의 한계를 높이기 위해 레이아웃 엔트로피(Layout Entropy) 지표(1D 투영 및 2D 그리드 엔트로피)를 사용하여 "단순한" 샘플(희소한 레이아웃, 과도하게 큰 영역)을 필터링했습니다. 또한, 다음과 같은 방식으로 도전적인 데이터를 합성했습니다:
  • GUI-CodeGen: 고밀도 기능 구성 요소를 갖춘 전문 소프트웨어 인터페이스(예: VS Code)를 렌더링합니다.
  • GUI-Overlay: 데스크톱 배경 위에 여러 애플리케이션 창을 레이어링하여 현실적인 방해 요소와 가려짐(occlusion)을 도입합니다.

2. 개선된 훈련 전략

지각 정확도를 높이기 위해 훈련 파이프라인에 두 가지 결정적인 조정을 가했습니다:

• 비동결 비전 인코더(Unfrozen Vision Encoder): 이전 반복 버전에서는 비전 인코더를 동결했던 것과 달리, 저자들은 훈련 중에 (Qwen2-VL-NaVi-V 기반의) 인코더를 완전히 해제했습니다. 이를 통해 모델이 GUI 도메인에 특화되도록 특징 추출을 적응시킬 수 있었으며, 이는 상당한 성능 향상을 가져왔습니다.
• 해상도 일관성: 저해상도 데이터로 훈련함에 따라 발생하는 고해상도 벤치마크(예: ScreenSpot-Pro)에서의 성능 저하를 완화하기 위해, 저자들은 최대 훈련 해상도 캡을 3072 × 3072 픽셀로 높이고 추론 해상도를 2000 × 2000 픽셀 미만으로 제한했습니다. 이러한 정렬을 통해 고해상도 벤치마크에서 10점 이상의 성능 향상을 달ер성했습니다.

3. 검증 가능한 보상을 통한 강화 학습(RLVR)

본 논문은 전통적으로 지도 미세 조정(SFT)이 지배적이었던 GUI 그라운딩 작업에 RL을 적용하는 것을 보여줍니다.

• 검증 가능한 보상: 출력 공간(점 또는 경계 상자)은 정밀하고 객관적인 보상 함수를 허용합니다. 보상은 예측된 좌표가 주석 처리된 경계 상자 내에 있는지 여부에 따라 이진값($1$또는$0$)으로 결정됩니다.
• 알고리즘: 저자들은 **GRPO(Group Relative Policy Optimization)**를 채택했습니다.
• 커리큘럼 학습: 훈련 샘플의 난이도를 점진적으로 높이는 커리큘럼 기반 전략을 사용하여 학습 과정을 안정화했습니다.
• 추론 과정 생략: GTA1을 따라, 모델은 좌표를 출력하기 전에 추론 과정(reasoning trace)을 생성하지 않고 순수하게 지각-행동 매핑에 집중합니다.

주요 결과

POINTS-GUI-G-8B는 5개의 주요 벤치마크에서 훨씬 더 큰 모델(예: 32B 및 72B 파라미터 모델)을 능가하는 최첨단(SOTA) 성능을 달성했습니다:

• ScreenSpot-Pro: 59.9점을 기록하여 GTA1-7B보다 9.8점, GUI-Owl-7B보다 5점 높은 점수를 기록했습니다.
• OSWorld-G: 66.0점을 달성하여 SOTA 모델 중 1위를 차지했으며, MAI-UI-8B를 약 6점 차이로 앞질렀습니다.
• ScreenSpot-v2: 95.7점을 달성했습니다.
• UI-Vision: 49.9점을 기록하며 경쟁 모델들을 종종 10점 이상의 격차로 앞질렀습니다.
• MMBench-GUI-L2: 87.0점을 달성하여 모바일, 데스크톱, 웹 환경 전반에서 견고한 성능을 보여주었습니다.

절제 연구(Ablation Study, Figure 7)는 데이터 엔지니어링(DE), 비동결 비전 인코더(UVE), 이미지 해상도 일관성(IR), 그리고 강화 학습(RL)이 각각 최종 성능에 점진적으로 기여하며, 특히 RL이 지도 학습 베이스라인보다 지속적인 개선을 제공함을 확인시켜 줍니다.

의의 및 주장

본 논문은 POINTS-GUI-G가 미래의 GUI 에이전트 개발을 위한 견고한 토대가 될 것이라고 주장합니다. 그 의의는 다음과 같습니다:

1. 풀스택 숙련도: 최소한의 그라운딩 능력을 가진 베이스 모델에서 시작하여 정교한 데이터 및 훈련 전략을 통해 구축함으로써 SOTA 결과를 낼 수 있음을 입증하였으며, 이는 단순히 사전 최적화된 대규모 모델에만 의존하는 것에 대한 포괄적인 대안을 제시합니다.
2. 지각에서의 RL: 보상이 쉽게 검증 가능하고 정확한 GUI 그라운딩과 같은 지각 집약적 작업에 검증 가능한 보상을 통한 강화 학습(RL)이 매우 효과적임을 증명하여, RL이 오직 추론 작업만을 위한 것이라는 통념에 도전합니다.
3. 기술적 미묘함: 해상도 일관성과 특수 도메인을 위한 비전 인코더 해제의 필요성과 같이 흔히 간과되는 요소들을 강조합니다.

저자들은 연구 커뮤니티를 지원하고 일관되지 않은 평가 표준 문제를 해결하기 위해 모델과 평가 스위트를 오픈 소스로 공개하였으며, 이를 통해 엔드 투 엔드 GUI 에이전트 실행의 발전을 촉진하고자 합니다.