UI-Zoomer: GUI Grounding을 위한 불확실성 기반 적응형 줌인 (Zoom-In) 프레임워크

1. 문제 정의 (Problem)

• GUI Grounding의 한계: 자연어 명령을 통해 스크린샷 내의 인터페이스 요소 (아이콘, 버튼 등) 의 위치를 특정하는 작업은 여전히 어렵습니다. 특히 작은 아이콘이나 밀집된 레이아웃을 가진 복잡한 인터페이스에서 기존 모델은 성능이 저하됩니다.
• 기존 Test-time Zoom-in 방법의 결함:
  • 무조건적인 확대: 기존 방법 (예: DiMo-GUI, RegionFocus) 은 모든 샘플에 대해 고정된 비율로 무조건적으로 스크린샷을 잘라내어 고해상도로 재추론합니다. 이는 쉬운 경우에도 불필요한 계산을 유발하고, 전역 컨텍스트 (global context) 를 잃게 만들어 오히려 정확도를 떨어뜨릴 수 있습니다.
  • 경직된 크롭 비율: 모든 경우에 동일한 크롭 비율을 적용합니다. 예측 후보들이 밀집되어 있거나 흩어져 있는지에 관계없이 고정된 비율을 사용하면, 해상도 향상에는 불충분하거나 중요한 컨텍스트를 잃을 수 있습니다.
  • 자원 낭비: 불확실성이 낮은 쉬운 사례까지 줌인을 수행하여 추론 시간을 비효율적으로 증가시킵니다.

2. 방법론 (Methodology)

UI-Zoomer 는 학습이 필요 없는 (training-free) 적응형 줌인 프레임워크로, 줌인의 **발생 여부 (Trigger)**와 **확대 범위 (Scale)**를 모두 모델의 예측 불확실성 (Uncertainty) 정량화 문제로 접근합니다.

• 3 단계 프로세스:
  1. 전역 다중 샘플링 (Global Multi-Sampling):
     • 주어진 이미지와 명령어에 대해 모델 (VLM) 로부터 $N$개의 확률적 예측 후보 (Bounding Box) 를 샘플링합니다 (Temperature $T=0.9$).
     • 각 후보에 대해 토큰 수준의 신뢰도 (Token-level confidence) 를 계산합니다.
  2. 신뢰도 게이트 (Reliability Gating):
     • 공간적 합의 (Spatial Consensus): 샘플링된 후보들 간의 평균 IoU (Intersection over Union) 를 계산하여 위치적 일관성을 측정합니다.
     • 신뢰도 점수 (Gating Score): 공간적 합의와 평균 토큰 신뢰도를 결합하여 점수 $S$를 산출합니다.
     • 의사결정: $S$가 임계값 ($\tau$) 보다 높으면 (확실한 경우), 합의 투표 (Consensus Voting) 를 통해 즉시 최종 예측을 반환합니다. $S$가 낮으면 (불확실한 경우), 적응형 크롭 단계로 이동합니다.
  3. 불확실성 기반 적응형 크롭 (Uncertainty-Driven Adaptive Crop):
     • 이상치 제거: 예측 중심에서 멀리 떨어진 이상치 샘플을 제거하여 분산 추정을 정제합니다.
     • 분산 분해 (Variance Decomposition): 전체 분산을 두 가지 요소로 분해하여 크롭 반경을 결정합니다.
       • Inter-sample Variance ($v_{inter}$): 서로 다른 샘플 간의 위치 불일치 (흩어짐) 를 반영합니다.
       • Intra-sample Variance ($v_{intra}$): 각 샘플이 예측한 박스 자체의 크기 (확장 범위) 를 반영합니다.
     • 적응형 크롭 생성: 총 분산 ($\sigma = \sqrt{v_{inter} + v_{intra}}$) 을 기반으로 각 인스턴스마다 다른 크롭 반경 ($r = \gamma\sigma$) 을 계산합니다. 이는 예측이 불확실할수록 크롭 영역을 넓히고, 확실할 때는 좁게 설정합니다.
     • 재추론: 생성된 크롭 영역을 고해상도로 리사이즈하여 모델에 한 번 더 추론 (Deterministic pass) 을 수행하고, 결과를 전역 좌표로 매핑합니다.

3. 주요 기여 (Key Contributions)

1. UI-Zoomer 프레임워크 제안: 학습 없이 적용 가능한 적응형 줌인 프레임워크를 제안하며, 줌인의 시점과 규모를 예측 불확실성 정량화 문제로 재정의했습니다.
2. 이중 신호 기반 게이트 및 적응형 크롭:
   • 공간적 합의와 토큰 신뢰도를 융합한 신뢰도 게이트를 통해 불필요한 계산을 차단합니다.
   • 예측 분산을 분해하여 개별 인스턴스별 크롭 크기를 동적으로 결정하는 모듈을 개발했습니다.
3. 광범위한 실험 검증: ScreenSpot-Pro, UI-Vision, ScreenSpot-v2 등 3 개의 벤치마크에서 4 가지 다른 모델 아키텍처를 대상으로 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상:
  • ScreenSpot-Pro: 최대 **+13.4%**의 정확도 향상 (UI-Venus-7B 기준).
  • UI-Vision: 최대 +10.3% 향상.
  • ScreenSpot-v2: 최대 +4.2% 향상.
• 아이콘 vs 텍스트: 작은 아이콘 타겟에서 텍스트 타겟보다 더 큰 성능 향상을 보였습니다 (+12.5% vs +11.1%). 이는 고해상도 정제가 시각적으로 모호하고 작은 요소에 더 효과적임을 시사합니다.
• 비교 우위:
  • 기존 고정 비율 줌인 방법 (RegionFocus 등) 보다 월등히 우수합니다.
  • 단순 샘플링 (Pass@8) 보다 적은 추론 비용으로 더 높은 정확도를 달성합니다.
  • 강화학습 (RL) 기반 모델보다도 우수한 성능을 보여주며, 학습 시간 최적화와 보완적임을 입증했습니다.
• 효율성: 불확실한 경우에만 줌인을 수행하므로, 전체적인 추론 시간 증가를 최소화하면서도 정확도를 높였습니다.

5. 의의 및 결론 (Significance)

• 원칙의 확립: "불확실할 때만 줌인하고, 예측이 얼마나 불일치하는지에 따라 줌인 규모를 결정한다"는 단순하지만 효과적인 원칙을 정립했습니다.
• 실용성: 추가적인 모델 학습 (Fine-tuning) 이 필요 없어, 기존 다양한 GUI 모델에 즉시 적용 가능하여 실제 자율 GUI 에이전트의 신뢰성을 높이는 데 기여합니다.
• 차별점: 기존 방법들이 '모든 경우'에 동일한 전략을 적용했던 것과 달리, 모델의 내부 상태 (예측 분산) 를 활용하여 상황 인지형 (Context-aware) 으로 리소스를 할당한다는 점에서 GUI Grounding 분야의 새로운 패러다임을 제시합니다.

이 논문은 고해상도 처리의 필요성과 전역 컨텍스트 유지 사이의 균형을 불확실성 기반의 적응적 메커니즘으로 해결함으로써, 복잡한 GUI 환경에서의 에이전트 성능을 크게 개선했습니다.