기술 요약: 시각적 피드백을 통한 공간 추론으로 GUI 그라운딩 학습하기

문제 정의

그래픽 사용자 인터페이스 (GUI) 그라운딩은 자연어 명령을 화면의 특정 픽셀 좌표에 매핑하여 동작 (예: 클릭) 을 실행하는 작업입니다. 최근 비전 - 언어 모델 (VLM) 이 발전했음에도 불구하고, 복잡한 레이아웃을 가진 고해상도 GUI 에서 정확한 수치 좌표를 예측하는 데 자주 실패합니다. 이러한 실패는 공간적 의미 정합 (spatial semantic alignment) 의 부재에서 비롯됩니다. 즉, 모델이 시각적 요소에 대한 이해를 이산적인 좌표 토큰으로 암묵적으로 매핑하는 데 어려움을 겪기 때문입니다.

기존 접근법은 GUI 그라운딩을 일반적으로 단일 단계 예측 문제로 간주하며, 모델이 스크린샷으로부터 직접 좌표를 생성합니다. 이 패러다임의 결정적인 한계는 시각적 피드백 루프의 부재입니다. 모델은 최종 수치 출력에 대해서만 감독을 받고, 예측이 실제로 화면의 어디에 위치하는지에 대한 정보를 받지 못합니다. 결과적으로 모델은 수치 예측과 해당 화면 위치 간의 견고한 정합을 발전시키지 못해 공간 추론 능력이 저하됩니다.

방법론: GUI-CURSOR

이러한 한계를 해결하기 위해 저자들은 GUI 그라운딩을 정적 단일 단계 작업에서 동적 상호작용 검색 작업으로 재정의한 GUI-CURSOR를 제안합니다.

1. 상호작용 검색 환경

최종 좌표를 즉시 예측하는 대신, 모델은 GUI 이미지 상의 가상 커서를 제어합니다. 이 과정은 일련의 단계로 운영됩니다:

• 관측: 각 단계 $t$에서 모델은 현재 위치 $(x_t, y_t)$에 있는 커서가 포함된 GUI 스크린샷을 관측합니다.
• 추론 및 행동: 모델은 사고 과정 (목표, 현재 커서 위치, 공간적 관계 분석) 과 이어지는 행동을 포함하는 응답을 생성합니다. 행동은 커서를 이동할 새로운 좌표 $(x_{t+1}, y_{t+1})$이거나, 커서가 올바르게 위치했을 때 STOP 명령입니다.
• 시각적 피드백: 환경은 커서를 새로운 위치에 렌더링하고 다음 단계에 대한 업데이트된 스크린샷을 제공합니다. 이 명시적인 시각적 피드백을 통해 모델은 예측을 검증하고 공간적 이해를 점진적으로 정제할 수 있습니다.

2. 강화 학습을 통한 훈련

모델은 이 상호작용 환경 내에서 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 훈련됩니다. 훈련 목표는 최종 정확도와 검색 행동 모두를 안내하도록 설계된 맞춤형 **궤적 기반 보상 함수 ($R_T$)**에 의존합니다.

보상 함수는 다음으로 구성됩니다:

• 위치 보상 ($r_p$): 최종 커서 위치와 목표 바운딩 박스 사이의 거리를 기반으로 하는 밀집 보상이며, 가장자리와의 근접성과 박스 내 중심성을 모두 고려합니다.
• 궤적 페널티: 퇴화 전략 (예: 이동 없이 즉시 중지, 왕복 이동, 목표에서 멀어지는 이동) 을 방지하기 위해 저자들은 네 가지 특정 페널티를 도입합니다:
  • 잘못된 중지 페널티 ($r_{FS}$): 커서가 목표 바깥에 있을 때 중지를 멈추는 경우를 페널티 처리합니다.
  • 잘못된 이동 페널티 ($r_{FM}$): 커서가 이미 목표 박스에 진입한 후에도 계속 이동하는 경우를 페널티 처리합니다.
  • 잘못된 방향 페널티 ($r_{FD}$): 초기 예측 대비 목표까지의 거리를 증가시키는 이동을 페널티 처리합니다.
  • 반복 위치 페널티 ($r_{RP}$): 동일한 좌표를 한 번 이상 예측하는 경우를 페널티 처리합니다.

3. 커서 중심 집중 (CCF)

prohibitive 한 계산 비용을 들이지 않고 고해상도 이미지를 효율적으로 처리하기 위해, 저자들은 2 단계 전략을 도입합니다:

• 훈련: 이미지를 관리 가능한 해상도 (예: 1920×1080) 로 다운샘플링합니다.
• 추론: 훈련 해상도보다 큰 이미지의 경우, 모델은 먼저 전체 이미지에서 대략적인 예측을 수행합니다. 그런 다음 이 예측을 중심으로 영역을 자르고 (훈련 해상도 유지) 이 집중된 뷰 내에서 세밀한 이동을 수행합니다. 이는 훈련 효율성과 추론 정확도 사이의 균형을 맞춥니다.

주요 기여

1. GUI 그라운딩의 재정의: 이 논문은 정적 좌표 예측에서 시각적 피드백을 통해 좌표 - 공간 정합을 학습하는 동적 상호작용 과정으로의 패러다임 전환을 제시합니다.
2. GUI-CURSOR 모델: 밀집되고 궤적 인식 보상 함수를 활용하여 합리적인 검색 행동을 강제하는 상호작용 환경에서 강화 학습을 통해 훈련된 GUI 그라운딩 모델을 도입합니다.
3. 향상된 공간 추론: 포괄적인 평가는 커서를 이동하며 GUI 그라운딩을 학습하는 것이 그라운딩 정확도뿐만 아니라 분포 외 (out-of-distribution) 도메인으로 일반화되는 일반 공간 추론 능력도 향상시킨다는 것을 보여줍니다.

실험 결과

저자들은 Qwen2.5-VL-7B 및 UI-TARS-1.5-7B 기반 모델을 사용하여 ScreenSpot-Pro, OSWorld-G, UI-Vision, ScreenSpot-v2를 포함한 여러 벤치마크에서 GUI-CURSOR 를 평가했습니다.

• 그라운딩 성능: GUI-CURSOR 는 SeeClick, UGround 와 같은 지도 미세 조정 방법과 GTA1 과 같은 RL 기반 방법을 포함한 강력한 베이스라인보다 일관되게 우월한 성능을 보였습니다. 특히 까다로운 ScreenSpot-Pro 벤치마크에서 GUI-CURSOR(UI-TARS-1.5-7B 기반) 는 훨씬 적은 훈련 샘플 (8K 대 64K) 을 사용함에도 불구하고 선도 모델 GTA1을 8.1% 상회했습니다.
• 에이전트 작업: OSWorld의 온라인 에이전트 평가에서 GUI-CURSOR 는 GTA1 보다 적은 행동 단계로 더 높은 성공률을 달성하여 현실적이고 다양한 시나리오에서의 효과성을 입증했습니다.
• 공간 추론:
  • 커서 - 인 - 박스 테스트: 커스텀 테스트는 표준 VLM 들 (미세 조정된 모델조차) 이 간단한 공간 분류 (커서가 박스 내부에 있는지 판단) 에 어려움을 겪고 강한 중심 편향을 보인다는 것을 드러냈습니다. GUI-CURSOR 는 이 분류 작업에 대한 명시적 훈련 없이도 훨씬 높은 F1 점수를 달성하여, 그라운딩 능력이 더 견고한 공간 이해에 기반하고 있음을 시사합니다.
  • 일반화: SPHERE 및 SpatialMQA와 같은 벤치마크에서 GUI-CURSOR 는 추론 및 결합 기술의 개선을 보여주어, 상호작용 훈련 패러다임이 GUI 도메인 너머의 공간 추론 능력을 향상시킨다는 것을 나타냅니다.
• 효율성: 모델은 어려운 예제 (예: 작은 목표) 에 대해서만 적응적으로 더 많은 단계를 수행하도록 학습하며, 사례의 95% 를 두 단계 이내에 해결합니다.

중요성 및 주장

이 논문은 이 작업의 주요 중요성이 시각적 피드백 루프가 VLM 에서 수치 예측을 공간적 현실과 정합시키는 데 필수적임을 입증하는 데 있다고 주장합니다. 그라운딩을 검색 작업으로 재정의함으로써 모델은 단일 샷 추측에 의존하는 대신 공간적 관계에 대해 '생각'하고 궤적을 수정하는 법을 학습합니다.

저자들은 이 접근법이 다음과 같다고 주장합니다:

1. 단일 단계 예측에 내재된 공간적 의미 정합 문제를 해결합니다.
2. 더 적은 훈련 샘플로 최첨단 결과를 달성하여 데이터 효율성을 개선합니다.
3. 분포 외 작업으로 일반화되는 더 견고한 공간 추론 능력을 함양하며, 이는 멀티모달 에이전트에서 공간적 이해의 근본적인 구성 요소로서 상호작용적으로 목표를 찾는 능력임을 시사합니다.

이 작업은 커서를 이동하며 GUI 그라운딩을 학습하는 것이 복잡하고 디지털 인터페이스를 효과적으로 탐색하고 상호작용할 수 있는 에이전트를 개발하기 위한 우월한 전략이라고 결론지었습니다.