기술 요약: 올바른 스승을 신뢰하라: GUI 그라운딩을 위한 품질 인식 자기 증류 (Quality-Aware Self-Distillation)

1. 문제 정의

그래픽 사용자 인터페이스(GUI) 그라운딩은 시각 언어 모델(VLM)이 고해상도 스크린샷에서 특정 인터페이스 요소를 식별하고 정밀한 화면 좌표를 예측하도록 요구합니다. 이 작업은 대상 요소의 크기가 작고, 시각적으로 유사하며, 밀집되어 배치되어 있다는 점 때문에 특히 까다롭습니다.

기존의 사후 학습(post-training) 방법들은 이러한 좌표 민감형 도메인에서 상당한 한계에 직면해 있습니다:

• 지도 미세 조정 (Supervised Fine-Tuning, SFT): 주석이 달린 좌표를 하드 타겟(hard targets)으로 취급하여, 최종 정답 이외의 정보는 거의 제공하지 못하며, 가능한 좌표 토큰에 대한 교사의 불확실성이나 "다크 노리지(dark knowledge)"를 활용하지 못합니다.
• 강화 학습 (예: GRPO): 작업 결과(outcome)를 최적화하지만, 희소한 보상(sparse rewards)과 다수의 롤아웃(rollouts)에 의존하므로 미세한 위치 파악을 위한 약한 가이드를 제공합니다.
• 나이브 온-폴리시 자기 증류 (Naive On-Policy Self-Distillation, OPSD): 교사로부터 조밀한 토큰 수준의 신호를 제공한다는 점에서는 유망하지만, 나이브 OPSD는 GUI 그라운딩에 적합하지 않습니다. OPSD에서는 학생이 생성한 접두사(prefix)에 대해 교사에게 질의합니다. 만약 학생이 잘못된 접두사(잘못된 공간적 가설)를 생성하면, 교사의 후속 로짓(logits)은 실제 목표를 향한 신호가 아니라 그 잘못된 좌표의 타당한 연속이 될 수 있습니다. 이는 신뢰할 수 없는 교사 신호를 초래하여 성능을 저하시킵니다.

2. 방법론: 품질 인식 자기 증류 (Quality-Aware Self-Distillation)

저자들은 GUI 그라운딩의 공간적 검증 가능성(spatial verifiability)을 활용하여 좌표 토큰 감독을 보정하는 방법인 품질 인식 자기 증류를 제안합니다. 이 접근 방식은 **연성 정답 인식 게이팅 (Soft Correctness-Aware Gating)**과 **교사 확률 스케일링 (Teacher-Probability Scaling)**이라는 두 가지 상호 보완적인 메커니즘을 결합합니다.

2.1 특권 정보 구축 (Privileged Information Construction)

이전 연구(GUI-SD)를 따라, 본 방법은 대상 영역이 시각적으로 강조되고 레이아웃을 보존하는 지역적 마스킹을 통해 작업과 무관한 영역이 억제된 특권 교사 입력 $(x^+, I^+)$을 구축합니다. 학생은 원래 입력 $(x, I)$를 조건으로 하는 반면, 교사는 신호를 생성하기 위해 특권 입력 $(x^+, I^+)$을 조건으로 합니다.

2.2 연성 정답 인식 게이팅 (Soft Correctness-Aware Gating)

이 메커니즘은 학생의 결함 있는 접두사를 바탕으로 교사가 타당하지만 틀린 연속을 제공하는 문제를 해결합니다.

• 검증: 좌표 토큰 위치 $t$에 대해, 현재 학생이 생성한 접두사를 고려했을 때 교사의 최상위 예측 좌표 토콘($d^*_t$)이 여전히 정답 바운딩 박스 구간($B_{a(t)}$) 내에서 유효한 좌표로 완성될 수 있는지 확인합니다.
• 이진 지표: 완성이 가능하면(호환되면) 이진 지표 $h_t$를 1로, 불가능하면 0으로 설정합니다.
• 연성 게이팅: 신호 전체를 완전히 버리는 대신(하드 게이팅), 연성 게이트 $g_t = \alpha + (1-\alpha)h_t$를 적용합니다.
  • 호환되는 경우 ($h_t=1$), $g_t = 1$입니다.
  • 호환되지 않는 경우 ($h_t=0$), $g_t = \alpha$입니다 (실험에서는 0.5로 설정).
  • 이는 신호를 완전히 제거하는 대신 가중치를 낮춤으로써, 부정적인 영향을 줄이면서도 잠재적으로 유용한 교정 정보를 보존합니다.

2.3 교사 확률 스케일링 (Teacher-Probability Scaling)

정답 인식 게이팅만으로는 교사의 확신도를 고려하지 못합니다. 두 신호 모두 게이트를 통과할 수 있지만, 하나는 매우 확신하는 반면 다른 하나는 결정 경계 근처에 있을 수 있습니다.

• 스케일링 인자: 방법론은 교사의 최상위 좌표 토큰 예측 확률인 $p_t = P^T_T(d^*_t)$를 스케일링 인자로 사용합니다.
• 메커니즘: 높은 $p_t$(높은 확신도)는 더 강한 증류 가중치를 부여하고, 낮은 $p_t$(높은 불확실성)는 신호를 부드럽게 만듭니다. 이를 통해 공간적으로 호환되는 신호라도 그 신뢰도에 따라 가중치가 부여되도록 합니다.

2.4 가중 역-KL 목적 함수 (Weighted Reverse-KL Objective)

최종 손실 함수는 다음 요소들을 하나의 토큰 수준 가중치 $w_t$로 결합합니다:
$$w_t = (1 - r_t) + r_t \cdot g_t \cdot \lambda \cdot p_t$$
여기서 $r_t$는 좌표 토큰의 지표이며, $\lambda$는 스케일링 계수(3으로 설정), $g_t$는 연성 게이트입니다.

• 비좌표 토큰은 가중치 1로 증류됩니다.
• 호환되는 좌표 토큰은 $\lambda p_t$로 가중치가 부여됩니다.
• 호환되지 않는 좌표 토큰은 $\alpha \lambda p_t$로 가중치가 부여됩니다.

3. 주요 기여

1. 품질 인식 자기 증류: 모든 교사 신호를 동일하게 신뢰할 수 있는 것으로 취급하는 대신, 신뢰도(공간적 호환성)와 확실성(확률)을 기반으로 교사 신호를 보정하는 새로운 GUI 그라운딩 방법론을 제시했습니다.
2. 신호 신뢰성에 대한 경험적 연구: 본 논문은 GUI 그라운딩의 공간적으로 검증 가능한 특성을 활용하여, 온-폴리시 자기 증류에서 신뢰할 수 없는 교사 신호를 어떻게 처리해야 하는지를 경험적으로 연구하였으며, 연성 가중치 감소 전략이 하드 폐기 또는 맹목적 모방보다 우수함을 입증했습니다.
3. 상호 보완적 메커니즘: 저자들은 게이팅이나 스케일링 중 하나만 사용해서는 성능이 향 향상되지 않으며, 두 메커니즘의 결합이 필수적임을 보여주었습니다. 게이팅은 신뢰할 수 없는 신호를 억제하고, 스케일링은 남은 신뢰할 수 있는 신호의 강도를 조절합니다.

4. 실험 결과

Qwen3.5-9B를 백본으로 사용하여 6개의 GUI 그라운딩 벤치마크(ScreenSpot-Pro, ScreenSpot-v2, UIEG, OSWorld-G, OSWorld-G-R, MMG)에서 실험을 수행했습니다.

• 성능: 제안된 방법은 매크로 평균 정확도 72.23을 달성하여 가장 강력한 베이스라인인 GUI-SD보다 2.16 포인트 앞섰습니다.
• 비교: SFT(+4.14 포인트) 및 GRPO(+6.37 포인트)는 물론, Naive-OPSD 및 Vision-PV-Only 베이스라인보다 유의미하게 높은 성능을 보였습니다.
• 절제 연구 (Ablation Studies):
  • 구성 요소 시너지: 게이팅 또는 스케일링만 사용하는 경우 베이스라인보다 낮은 성능을 보여, 두 역할의 상호 보완성을 확인했습니다.
  • 게이팅 강도: 연성 게이팅($\alpha=0.5$)이 하드 게이팅($\alpha=0$)보다 우수한 성능을 보여, 실패한 게이트 신호를 완전히 버리는 것이 가치 있는 교정 가이드를 제거할 수 있음을 시사했습니다.
  • 스케일링 계수: 스케일링 계수 $\lambda=3$이 최적의 결과를 냈으며, 이는 신뢰할 수 없는 신호의 억제와 신뢰할 수 있는 토큰에 대한 충분한 감독 사이의 균형을 맞춥니다.

5. 의의 및 주장

본 논문은 공간적 검증 가능성이 자기 증류에서 교사 신호의 신뢰도를 높이기 위해 활용되지 않았던 중요한 신호라고 주장합니다. 간접적인 대리 지표(엔트로피, 퍼플렉시티 등)를 통해 신뢰도를 추론하는 일반적인 토큰 예측 작업과 달리, GUI 그라운딩은 예측이 정답 제약 조건 내에서 여전히 실행 가능한지 직접 검증할 수 있게 해줍니다.

저자들은 자신들의 방법이 "맹목적 모방"에서 "신뢰할 수 있는 모방"으로의 전환을 나타낸다고 주장합니다. 대상 영역과의 호환성 및 교사의 확신도를 기준으로 교사 신호의 가중치를 부드럽게 낮추고 스케일링함으로써, 잘못된 공간적 가설이 강화되는 위험을 완화하는 동시에 자기 증류를 효과적으로 만드는 조밀하고 세밀한 학습 신호를 보존합니다. 이 연구는 검증 가능한 제약 조건이 있는 작업의 경우, 신뢰도 인식 증류 전략이 복잡한 강화 학습 설정 없이도 모델 성능을 크게 향상시킬 수 있음을 시사합니다.