기술 요약: VISTA (View-Consistent Self-Verified Training)를 이용한 GUI Grounding

1. 문제 정의

GUI grounding은 자연어 지시문과 스크린샷을 정밀한 클릭 좌표로 매핑하는 작업을 포함합니다. 최근 연구들은 규칙 기반의 "point-in-box" 보상을 사용하여 이 작업에 Group Relative Policy Optimization (GRPO)을 적용해 왔으나, 저자들은 한 가지 결정적인 실패 모드인 보상 퇴화(reward degeneracy) 문제를 식별했습니다.

표준 GRPO에서는 단일 고정 스크린샷 뷰로부터 하나의 그룹 내 롤아웃(rollout)들을 샘플링합니다. 이는 다음과 같은 두 가지 문제 있는 시나리오를 초래합니다:

1. 전부 실패하는 그룹 (All-Fail Groups): 어려운 인스턴스의 경우, 샘플링된 모든 롤아웃이 타겟을 놓치게 되어 보상이 모두 0인 그룹이 생성됩니다.
2. 전부 성공하는 그룹 (All-Success Groups): 쉬운 인스턴스의 경우, 모든 롤아웃이 타겟을 적중하여 보상이 모두 만점인 그룹이 생성됩니다.

두 경우 모두 그룹 평균($\mu$)과 표준 편차($\sigma$)가 붕괴되어, 모든 샘플에 대해 상대적 이득(advantage, $A$)이 0이 됩니다. 이는 학습 신호를 제거합니다. 저자들은 고정 뷰 GRPO에서 학습 그룹 중 "정보가 있는(informative)" 그룹(성공과 실패가 섞여 있는 그룹)은 5% 미만이라는 점을 언급했습니다. 또한, GUI 좌표는 스크린샷 기하학 구조와 밀접하게 결합되어 있기 때문에, 특정 뷰에서 올바른 예측이라도 크롭(crop) 후에에는 타겟이 여전히 보임에도 불구하고 틀릴 수 있습니다. 표준 GRPO는 비교 그룹 내에서 입력 뷰를 변화시키지 않기 때문에 이러한 기하학적 민감성을 노출하지 못합니다.

2. 방법론: VISTA

본 논문은 정보가 풍부한 비교 그룹을 구축하고 좌표 생성을 안정화하기 위해 설계된 GRPO 기반 프레임워크인 VISTA(View-Consistent Self-Verified Training)를 제안합니다. 이는 두 가지 주요 구성 요소로 이루어져 있습니다.

A. 뷰 일관적 그룹 롤아웃 (View-Consistent Group Rollout)

단일 고정 스크린샷에서 여러 완료(completion)를 샘플링하는 대신, VISTA는 동일한 GUI 인스턴스의 **다중 타겟 보존 뷰(multiple target-preserving views)**로부터 각 GRPO 그룹을 구성합니다.

• 타겟 보존 크롭 (Target-Preserving Crops): 주어진 태스크 $(I, q, B)$에 대해, 시스템은 $K$개의 크롭 뷰를 생성합니다. 각 크롭은 타겟 바운딩 박스 $B$를 완전히 포함하도록 보장됩니다.
• 정확한 리매핑 (Exact Remapping): 타겟 박스 좌표는 새로운 크롭 좌표계로 기하학적으로 재매핑됩니다.
• 그룹 구성: 모델은 각 뷰당 $n$개의 완료를 생성합니다 (여기서 $K \times n = G$, 전체 그룹 크기).
• 이점: 이를 통해 그룹이 동일한 지시문과 타겟을 갖지만 기하학적으로는 다른 스크린샷을 포함하도록 보장합니다. 이는 단일 그룹 내에서 혼합된 결과(일부는 적중, 일부는 미적중)를 관찰할 가능성을 높여, 비제로(non-zero) 상대적 이득을 복구합니다.

B. 셀프 검증 크로스 뷰 앵커 (Self-Verified Cross-View Anchor)

멀티 뷰 롤아웃은 탐색을 개선하지만, 모호한 뷰에서는 좌표 생성의 불안정성을 초래할 수 있습니다. 이를 무조건적인 지도 미세 조정(SFT)으로 되돌리지 않고 해결하기 위해, VISTA는 셀프 검증 앵커를 도입합니다.

• 조건부 활성화 (Conditional Activation): 오라클 답변(재매핑된 타겟 박스의 중심점)은 현재 정책이 그룹 내에서 적어도 하나의 **최대 보상 롤아웃(maximum-reward rollout)**을 생성했을 때만 학습 신호로 도입됩니다.
• 베이스라인 제외 (Baseline Exclusion): 오라클 답변은 그룹 평균($\mu_m$) 및 표준 편차($\sigma_m$) 계산에서 제외됩니다. 이는 별도의 지도 신호로 취급됩니다.
• 메커니즘:
  • 그룹이 "셀프 검증"된 경우(모델의 성공적인 롤아웃이 포함된 경우), 모델 전용 베이스라인으로부터 유도된 양(+)의 이득과 함께 앵커가 활성화됩니다.
  • 그룹이 "전부 실패"한 경우(모델의 롤아웃 중 성공한 것이 없는 경우), 앵커는 활성화되지 않습니다. 이는 모델이 해당 인스턴스를 해결할 능력을 아직 보여주지 못한 상태에서 오라클로부터 학습하여 무조건적인 모방 학습으로 붕괴되는 것을 방지합니다.

C. 학습 목적 함수 (Training Objective)

최종 손실 함수는 모델이 생성한 롤아웃에 대한 표준 클리핑된 GRPO 목적 함수와 앵커에 대한 가중치 적용된 지도 학습 손실을 결합합니다:
$$\mathcal{L}_{VISTA} = -\frac{1}{G+1} \left[ \sum \ell_{clip} + \lambda_a \ell_{anchor} \right] + \beta \mathcal{L}_{KL}$$
앵커 손실은 그룹이 셀프 검증된 경우에만 계산되어, 정책이 이미 역량을 보여준 경우에만 지도 신호가 안정화되도록 보장합니다.

3. 주요 기여

1. 뷰 일관적 그룹 롤아웃: 단일 고정 뷰가 아닌 동일 인스턴스의 다중 타겟 보존 뷰로부터 샘플링하는 새로운 그룹 구성 전략입니다. 이는 정보가 있는 그룹의 비율을 크게 높이며(5% 미만에서 ~20%로) 보상 분산을 복구합니다.
2. 셀프 검증 크로스 뷰 앵커: 그룹 내의 적어도 하나의 뷰에서 모델이 이미 성공했을 때만 오라클 가이드를 주입하는 조건부 안정화 메커니즘입니다. 이는 앵커가 GRPO 베이스라인을 변화시키거나 정보가 없는 "전부 실패" 그룹을 감독하는 것을 방지합니다.
3. 포괄적 검증: 5개의 벤치마크(ScreenSpot-Pro, ScreenSpot-V2, MMBench-L2, OSWorld-G-R, OSWorld-G)와 다양한 모델 규모(4B ~ 30B+)에 걸친 광범위한 실험을 수행했습니다.

4. 실험 결과

본 논문은 Qwen3-VL 백본(4B, 8B, 30B-A3B) 및 Qwen3.5로 초기화된 모델 전반에서 일관된 성능 향상을 보고합니다.

• ScreenSpot-Pro 성능: VISTA는 작은 타겟과 조밀한 인터페이스를 특징으로 하는 까다로운 벤치마크인 ScreenSpot-Pro에서 정확도를 크게 향상시켰습니다.
  • Qwen3-VL 4B: 55.5에서 63.4로 향상.
  • Qwen3-VL 8B: 52.7에서 65.8로 향상.
  • Qwen3-VL 30B-A3B: 53.7에서 67.0으로 향상.
  • Qwen3.5 35B-A3B: 표준 GRPO 대비 71.7에서 72.9로 향상.
• 강건성 (Robustness): VISTA는 표준 GRPO에 비해 더 높은 최악의 뷰 정확도(worst-view accuracy)와 낮은 예측 반전율(prediction flip rate)을 보여주며, 이는 기하학적 섭동 하에서의 더 나은 안정성을 나타냅니다.
• 절제 연구 (Ablation Studies):
  • 뷰 일관적 크롭을 제거하면(표준 GRPO 사용) 성능이 떨어집니다.
  • 셀프 검증 게이트를 제거하면(무조건적인 오라클 주입 사용) 성능이 심각하게 저하됩니다(예: 한 절제 연구에서 ScreenSpot-Pro 성능이 64.3에서 57.8로 하락). 이는 조건부 활성화의 필요성을 확인시켜 줍니다.
  • 두 구성 요소를 결 모두 결합했을 때 최상의 결과를 얻었습니다.

5. 의의 및 주장

본 논문은 GUI grounding에 GRPO를 적용할 때 발생하는 근본적인 병목 현상인 뷰 불변 보상 퇴화로 인한 정보 부족 문제를 VISTA가 해결한다고 주장합니다.

• 설계 초점의 전환: 저자들은 GUI grounding을 개선하기 위한 RL의 핵심은 단순히 클릭을 어떻게 보상하느냐가 아니라, 어떻게 비교 그룹을 구성하느냐라고 주장합니다. VISTA는 시맨틱(semantics)을 보존하면서 뷰의 기하학적 구조를 변화시킴으로써, 정책이 특정 픽셀 위치를 암기하는 대신 강건한 좌표 생성을 학습하도록 강제합니다.
• 모방 없는 안정성: 셀프 검증 앵커는 모델이 탐색을 억제할 수 있는 무조건적인 모방 학습으로 변질되지 않으면서도 그라운드 트루스 가이드를 받을 수 있게 합니다.
• 일반화 가능성: 이 방법은 다양한 모델 규모와 백본에서 효과적임이 입증되었으며, 이는 뷰 일관적 그룹 구성이 GUI grounding 작업에 대한 일반화 가능한 학습 신호임을 시사합니다.

저자들은 VISTA가 특히 표준 GRPO가 학습 신호를 제공하지 못하는 어려운 인스턴스에서 정확도와 강건성을 모두 개선한다고 결론지었습니다. 또한, 혼합된 실행 가능/거절 데이터셋에 대한 문제와 공격적인 크롭에 따른 최적화 민감도를 인정하며, 향밀한 적응형 스케줄링에 대한 후속 연구를 제안했습니다.