Zoom Consistency: A Free Confidence Signal in Multi-Step Visual Grounding Pipelines

1. 연구 배경 및 문제 정의 (Problem)

• 배경: GUI(그래픽 사용자 인터페이스) 그리딩 (Grounding) 작업, 즉 스크린샷에서 특정 요소를 찾아 좌표를 예측하는 작업에서 '다단계 줌인 (Multi-step zoom-in)' 파이프라인이 널리 사용되고 있습니다. 일반적으로 2 단계 프로세스를 거치는데, 1 단계에서 전체 스크린샷을 보고 대략적인 좌표를 예측한 후, 해당 영역을 잘라내어 (Crop) 확대한 다음 2 단계에서 다시 정밀한 좌표를 예측합니다.
• 문제점: 기존 파이프라인에서는 2 단계 예측을 원래 좌표계로 변환하여 최종 결과로 사용하고, 1 단계 예측이나 2 단계 예측 과정에서 발생하는 중간 출력 (Intermediate outputs) 은 폐기합니다.
• 핵심 질문: 이러한 폐기된 중간 예측 데이터들에는 모델의 예측 신뢰도 (Confidence) 를 판단할 수 있는 유용한 신호가 숨어있지 않을까? 추가적인 계산이나 모델 내부 접근 없이 이를 활용할 수 있을까?

2. 제안 방법론: 줌 컨시스턴시 (Zoom Consistency)

저자들은 줌 컨시스턴시 (Zoom Consistency) 라는 새로운 개념을 제안하며, 이는 추가 비용 없이 얻을 수 있는 무료 신뢰 신호입니다.

• 정의: 줌 컨시스턴시 ($c$) 는 2 단계 예측 ($\hat{p}_2$) 과 잘라낸 영역의 중심 ($m$) 사이의 유클리드 거리로 정의됩니다.
  $$c = \|\hat{p}_2 - m\|_2$$
• 직관적 원리:
  • 1 단계 예측이 정확했다면, 타겟 요소는 잘라낸 영역의 중심에 위치하게 됩니다. 따라서 2 단계 모델도 중심을 예측할 것이므로 $c \approx 0$이 됩니다.
  • 1 단계 예측이 빗나갔다면, 타겟은 중심에서 벗어난 위치에 있게 됩니다. 2 단계 모델이 이를 보정하기 위해 중심에서 멀리 예측하게 되므로 $c$ 값이 커집니다.
• 수학적 성질 (Proposition 1): 이상적인 조건 (2 단계 예측이 완벽하고 타겟이 잘라낸 영역 내에 있음) 하에서 줌 컨시스턴시는 1 단계의 공간적 오차 ($\|\epsilon_1\|$) 의 선형 추정기 (Linear Estimator) 임을 증명했습니다.
  $$c = \frac{\|\epsilon_1\|}{r}$$
  (여기서 $r$은 줌 비율입니다.)
• 모델 간 비교 가능성 (Proposition 2): 로그 확률 (Log-probabilities) 이나 토큰 수준의 불확실성 점수는 모델 아키텍처나 토크나이저에 따라 보정 (Calibration) 이 필요하지만, 줌 컨시스턴시는 공유된 좌표 공간 (1000x1000) 의 기하학적 거리이므로 다른 아키텍처의 VLM 간에도 보정 없이 직접 비교가 가능합니다.

3. 주요 기여 (Key Contributions)

1. 정의 및 증명: 줌 컨시스턴시를 정의하고 이상적 조건 하에서 1 단계 공간 오차의 선형 추정기임을 수학적으로 증명했습니다. 또한 선형 관계가 깨지는 3 가지 실패 모드 (타겟이 영역 밖, 2 단계 오차, 경계 자르기) 를 규명했습니다.
2. 보정 없는 비교 가능성: 다른 아키텍처의 VLM 간에도 추가 학습이나 보정 없이 신뢰도를 직접 비교할 수 있음을 증명했습니다.
3. 실증적 검증: ScreenSpot-Pro 벤치마크 (1,581 개 샘플) 에서 두 개의 서로 다른 모델 (KV-Ground-8B, Qwen3.5-27B) 을 통해 줌 컨시스턴시가 예측 정확도와 유의미한 음의 상관관계를 가짐을 확인했습니다.
4. 크로스-모델 라우팅 (Cross-Model Routing): 줌 컨시스턴시를 활용하여 전문 모델 (Specialist) 과 일반 모델 (Generalist) 사이를 라우팅하는 Proof-of-Concept 을 구현했습니다.

4. 실험 결과 (Results)

• 상관관계 분석:
  • KV-Ground-8B: AUC = 0.60, Spearman $\rho$ = -0.139 ($p < 10^{-6}$)
  • Qwen3.5-27B: AUC = 0.588, Spearman $\rho$ = -0.109 ($p = 0.0003$)
  • 줌 컨시스턴시 값이 낮을수록 (중심에 가까울수록) 예측이 정확할 확률이 높다는 것을 확인했습니다.
  • 컨시스턴시가 30 미만인 그룹의 정확도는 87.1% 였으나, 250 이상인 그룹은 75.6% 로 11.5%p 차이가 발생했습니다.
• 라우팅 성능:
  • 두 모델의 줌 컨시스턴시를 비교하여 더 낮은 값 (더 높은 신뢰도) 을 가진 모델의 예측을 선택하는 라우팅 전략을 적용했습니다.
  • 성능 향상: KV-Ground-8B 단독 (80.1%) 대비 +0.8% 향상 (80.9%) 을 기록했습니다.
  • Oracle Headroom: 두 모델 중 하나만 맞는 경우 (Oracle headroom) 중 16.5% 를 성공적으로 포착했습니다.
  • 통계적 유의성 (McNemar test, $p=0.19$) 은 높지 않았으나, 방향성은 일관되었습니다. 이는 신호의 상관관계가 약하고 ($|\rho| \approx 0.13$), 불일치 집합 내에서도 일반 모델이 이기는 경우 (S01) 가 전문 모델이 이기는 경우 (S10) 보다 훨씬 적기 때문입니다.

5. 의의 및 의의 (Significance)

• 비용 효율성: 추가적인 순전파 (Forward pass), 모델 내부 접근, 또는 추가 학습 없이 기존 파이프라인의 중간 출력만으로 신뢰 신호를 얻을 수 있습니다.
• 모델 무관성 (Model-Agnostic): 서로 다른 아키텍처의 모델 간에도 보정 없이 신뢰도를 비교할 수 있어, 다양한 모델 조합을 활용한 라우팅이나 앙상블에 유연하게 적용 가능합니다.
• 확장 가능성:
  • 다단계 파이프라인: 3 단계 이상의 줌인 과정에서 불필요한 단계를 조기에 종료 (Early stopping) 하는 데 활용 가능.
  • 신뢰도 기반 에이전트: 불확실한 클릭 예측 시 인간 개입 (Human-in-the-loop) 을 요청하거나 경고.
  • 품질 모니터링: 배치 예측의 평균 컨시스턴시 변화를 통해 데이터 분포 변화 (Distribution shift) 감지.
  • 활성 학습 (Active Learning): 컨시스턴시가 높은 (신뢰도가 낮은) 샘플을 인간이 라벨링하도록 선별.

6. 결론

이 논문은 멀티 스텝 GUI 그리딩 파이프라인에 내재된 줌 컨시스턴시가 강력한 무료 신뢰 신호임을 규명했습니다. 이는 1 단계 예측 오차의 기하학적 추정기 역할을 하며, 모델 간 보정 없이 비교 가능합니다. 실증 실험을 통해 이 신호를 활용한 라우팅이 전문 모델의 성능을 소폭이지만 유의미하게 향상시킬 수 있음을 보여주었습니다. 향후 더 강력한 신호를 찾거나 다양한 벤치마크에서의 일반화 연구가 필요하지만, 계산 비용 없이 신뢰도를 추정할 수 있는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.