기술 요약: HyperClick – 자기 비판 강화 학습을 통한 신뢰할 수 있는 GUI 그라운딩 향상

문제 제기

자율 그래픽 사용자 인터페이스 (GUI) 에이전트는 사용자의 명령을 실행하기 위해 GUI 그라운딩—자연어 지시를 화면 요소의 정확한 픽셀 좌표로 매핑하는 능력—에 의존합니다. 최근의 감독 미세 조정 (SFT) 과 강화 학습 (RL) 의 발전으로 그라운딩 정확도가 향상되었지만, 중요한 신뢰성 격차가 여전히 존재합니다. 현재 모델들은 종종 과신 (overconfidence) 을 보입니다. 이들의 신뢰 신호 (확률적 토큰 가능성 또는 구술된 자기 평가 여부) 는 실제 그라운딩 정확도와 잘 일치하지 않습니다. 이러한 불일치는 단일 중간 오류가 전체 작업 실패로 이어질 수 있는 실제 자동화 환경에서 에이전트가 높은 확신을 가진 오류를 범하게 만들어 특히 위험합니다. 기존 방법들은 주로 위치 파악 정확도를 최적화하지만, 모델의 신뢰도가 예측의 품질을 얼마나 정확하게 반영하는지는 크게 간과하고 있습니다.

방법론: HyperClick 프레임워크

과신 문제를 해결하기 위해 저자들은 자기 비판 강화 학습 (SCRL) 을 통해 신뢰할 수 있는 GUI 그라운딩을 강화하는 HyperClick 프레임워크를 제안합니다. 그라운딩을 이진 분류 작업으로 취급하는 이전 접근법과 달리, HyperClick 은 신뢰도 추정을 의사 결정 과정에 명시적으로 통합합니다.

1. 문제 공식화

이 작업은 정책 모델이 대상 UI 요소의 중심을 나타내는 단일 점 $\hat{p} = (\hat{x}, \hat{y})$ 를 예측하는 클릭 공식화로 정의됩니다. 모델은 좌표와 함께 구술된 신뢰도 점수를 출력하도록 훈련됩니다.

2. 신뢰도 모델링 (공간 신뢰도 목표)

토큰화에서 혼란을 일으킬 수 있는 토큰 수준의 확률에 의존하는 대신, HyperClick 은 가우스 오차 분석을 기반으로 유계 공간 신뢰도 목표를 구성합니다.

• 목표 구성: 중심이 $\mu$인 정답 바운딩 박스 $b$에 대해, 가우스 커널이 예측된 임의의 점 $\hat{p}$에 대한 신뢰도 값 $C(\hat{p})$를 생성합니다.
• 제약 조건: 점이 바운딩 박스 바깥에 있으면 신뢰도는 0 으로 설정됩니다. 박스 내부에서는 중심으로부터의 거리에 따라 값이 감소합니다.
• 적응형 분산: 다양한 요소 크기를 처리하기 위해 가우스의 표준 편차 ($\sigma$) 를 박스 크기 ($\sigma = \alpha \cdot \text{size}$) 로 스케일링합니다. 이는 더 작은 요소는 더 높은 정밀도 (더 날카로운 피크) 를 요구하도록 하고, 더 큰 요소는 더 넓은 고신뢰 영역을 허용하도록 보장합니다.

3. 훈련 목적 및 보상

정책은 합성 보상 함수 $R = R_{format} + R_{correctness} + R_{confidence}$를 사용하여 그룹 상대 정책 최적화 (GRPO) 로 최적화됩니다.

• 포맷 보상 ($R_{format}$): <point>[x,y]</point><confidence>conf</confidence>와 같은 엄격한 출력 템플릿을 강제하여 파서 가능성을 보장하고 지나치게 긴 완성을 방지합니다.
• 정확도 보상 ($R_{correctness}$): 예측된 점이 정답 바운딩 박스 내에 있는지 여부를 나타내는 이진 보상 (1 또는 0) 입니다.
• 신뢰도 정렬 보상 ($R_{confidence}$): 모델이 생성한 구술된 신뢰도 $\hat{c}$를 공간 신뢰도 목표 $C(\hat{x}, \hat{y})$와 정렬시키는 $L_2$ 제약 조건입니다. 이는 모델이 정확하고 정밀한 클릭에는 높은 신뢰도를, 부정확하거나 부정밀한 클릭에는 낮은 신뢰도를 할당하도록 보상합니다.

주요 기여

1. 과신에 대한 체계적 분석: 저자들은 ScreenSpot-Pro 벤치마크에서 기존 범용 및 GUI 전용 모델들을 체계적으로 평가하여, 현재 에이전트들이 예측에서 현저히 과신하고 있으며 신뢰도 점수가 실제 정확도를 크게 초과함을 밝혔습니다.
2. HyperClick 프레임워크: 그라운딩 정확도와 신뢰도 정렬을 공동으로 최적화하는 새로운 SCRL 프레임워크를 도입했습니다. 모델이 클릭 예측과 함께 불확실성을 드러내도록 훈련함으로써, HyperClick 은 신뢰도 기반 자제를 가능하게 하여 에이전트가 불확실할 때 행동을 삼가게 합니다.
3. 이중 보상 메커니즘: 이진 정확도와 유계 공간 신뢰도 목표를 결합한 특정 이중 보상 메커니즘을 제안하여, 이 접근법이 그라운딩 성능을 희생하지 않으면서도 높은 확신의 오류를 효과적으로 줄임을 입증했습니다.

실험 결과

저자들은 ScreenSpot, ScreenSpot-V2, ScreenSpot-Pro, MMBench-GUI라는 네 가지 까다로운 벤치마크에서 HyperClick 을 평가했습니다.

• 성능: HyperClick(Qwen2.5-VL-3B 및 7B 기반) 은 모바일, 데스크톱, 웹 플랫폼 전반에 걸쳐 최첨단 SFT 및 RL 베이스라인과 비교하여 경쟁력 있거나 우수한 그라운딩 정확도를 유지합니다. 특히 ScreenSpot-Pro 와 같은 고해상도, 복잡한 벤치마크에서 상당한 향상을 보입니다.
• 신뢰도 정렬: ScreenSpot-Pro 에 대한 신뢰도 다이어그램은 기대 보정 오차 (ECE) 의 극적인 감소를 보여줍니다. 베이스라인 모델 (예: UI-TARS, Qwen2.5-VL) 은 0.48~0.63 정도의 ECE 를 보여 심각한 과신을 나타내는 반면, HyperClick-7B 는 ECE 를 0.249로 줄입니다.
• 어블레이션 연구:
  • 세 가지 보상 구성 요소 (포맷, 정확도, 신뢰도) 의 조합이 가장 좋은 결과를 낳습니다 (ScreenSpot-V2 에서 93.7% 정확도). 반면 신뢰도 정렬만 사용하면 보상 해킹이 발생합니다.
  • 적응형 분산 매개변수 $\alpha$가 결정적입니다. $\alpha = 1/4$는 집중과 확산 사이의 최적 균형을 제공합니다.
  • 이 프레임워크는 잘 일반화되어 MiMo-VL과 같은 다른 베이스라인에 적용될 때 성능을 향상시킵니다.

중요성 및 주장

이 논문은 신뢰할 수 있는 GUI 그라운딩이 신뢰할 수 있는 자율 에이전트의 전제 조건이라고 주장합니다. 단순한 정확도 지표를 넘어 신뢰도 - 품질 정렬을 포함하도록 이동함으로써, HyperClick 은 현재 GUI 에이전트의 근본적인 한계인 신뢰할 수 있는 행동과 신뢰할 수 없는 행동을 구분하지 못하는 문제를 해결합니다.

저자들은 이 작업을 더 안전한 GUI 자동화를 향한 한 걸음으로 위치시킵니다. 보정된 구술된 신뢰도를 통해 에이전트가 "자신이 무엇을 모르는지 알 수 있게" 함으로써, 이 프레임워크는 선택적 자제를 지원하여 다단계 작업에서 오류 전파를 방지합니다. 논문은 현재 작업이 그라운딩에 초점을 맞추고 있지만, 신뢰도 정렬의 원칙은 신뢰할 수 없는 의사 결정이 연쇄적인 부정적인 영향을 미칠 수 있는 GUI 계획으로의 향후 확장에 필수적이라고 결론지었습니다. 저자들은 자신들의 접근 방식이 신뢰 신호에 대해 모델 중립적이며 다양한 VLM 아키텍처에 걸쳐 확장 가능하다고 강조합니다.