기술 요약: 완전한 화면 파싱 감독을 통한 희소 그라운딩의 극복

문제 제기

현대적인 컴퓨터 사용 에이전트 (CUAs) 는 지시를 신뢰성 있게 그라운딩하고 행동을 실행하기 위해 화면에 대한 구조화된 인식이 필요합니다. 여기에는 가시적인 UI 요소, 그 위치, 그리고 텍스트 콘텐츠를 식별하는 작업이 포함됩니다. 그러나 현재 최첨단 모델들은 특정 작업 단계와 관련된 단일 요소만 주석하는 '희소 (sparse)' 그라운딩 데이터셋 (예: Mind2Web, ScreenSpot) 에 크게 의존하고 있습니다. 이러한 희소 감독은 화면의 대부분 요소를 레이블 없이 방치하여, 모델들이 완전한 화면 상태를 형성하지 못할 수 있는 단축키를 학습하게 만듭니다. 결과적으로 이러한 모델들은 견고성, 새로운 레이아웃으로의 일반화, 그리고 분포 외 (out-of-distribution) 시나리오에서 어려움을 겪습니다. 또한, 실제 배포는 종종 저지연 온디바이스 추론을 요구하며, 이는 방대한 기초 비전 - 언어 모델 (VLMs) 로는 달성하기 어렵습니다.

방법론

1. 데이터셋: ScreenParse

저자들은 완전한 화면 파싱을 위해 설계된 대규모 데이터셋인 ScreenParse를 소개합니다. 희소 주석을 제공하는 이전 데이터셋들과 달리, ScreenParse 는 771,000 개의 웹 스크린샷에 걸쳐 모든 가시적인 UI 요소에 대한 밀집 주석을 제공하며, 총 2100 만 개의 요소를 포함합니다.

• 주석 범위: 각 요소는 바운딩 박스, 링크, 버튼, 텍스트, 컨테이너 등을 포괄하는 55 개 클래스 분류 체계의 의미론적 유형, 그리고 연관된 텍스트로 주석됩니다.
• 계층 구조: 이 데이터셋은 문서 객체 모델 (DOM) 계층 구조를 보존하며, 원자적 요소와 의미론적으로 의미 있는 컨테이너 요소 (예: 내비게이션 바, 카드) 모두를 주석합니다.
• 생성 파이프라인 (Webshot): 인간 주석의 비용을 극복하기 위해 저자들은 Webshot이라는 완전히 자동화되고 확장 가능한 파이프라인을 개발했습니다:
  1. 크롤링 및 렌더링: 100 만 개의 고유한 URL 을 크롤링하고 Playwright 를 사용하여 표준화된 뷰포트 (1440x900) 에서 렌더링합니다.
  2. DOM 추출: 파이프라인은 DOM 트리를 추출하여 가시적인 요소를 필터링하고, 퇴화되거나 화면 밖의 아티팩트를 제거합니다.
  3. VLM 정제: VLM(Qwen3-VL-8B) 이 55 개 클래스 분류 체계에 대비하여 DOM 에서 파생된 거친 클래스 레이블을 정제합니다.
  4. 품질 필터링: 'VLM-as-a-judge' 모듈이 주석 품질 (커버리지, 오탐지, 중복, 위치 특정화) 을 점수화하여 저품질 페이지를 필터링합니다.

2. 모델: ScreenVLM

ScreenParse 를 활용하여 저자들은 316M 파라미터 규모의 소형 비전 - 언어 모델인 ScreenVLM을 훈련시켰습니다.

• 아키텍처: Idefics3 기반의 Granite Docling 아키텍처를 적용하여 SigLIP-2 비전 인코더와 경량 Granite 165M 자기회귀 디코더를 결합했습니다.
• 표현 (ScreenTag): 이 모델은 ScreenTag라고 불리는 구조화된 XML 형식의 시퀀스를 출력합니다. 이 형식은 요소들을 타입 지정 태그, 이산화된 위치 토큰 (0–500 그리드), 그리고 선택적 텍스트로 직렬화하여 전체 화면 상태의 자기회귀 디코딩을 가능하게 합니다.
• 훈련 목적: 표준 교차 엔트로피 손실이 텍스트 토큰에 의해 지배되는 문제를 해결하기 위해, 저자들은 **구조 인식 가중 손실 (structure-aware weighted loss)**을 도입했습니다. 이 손실은 텍스트 토큰에 비해 구조에 중요한 토큰 (태그 및 위치 좌표) 의 가중치를 높여, 모델이 단순한 전사가 아닌 정확한 레이아웃과 타이핑을 우선시하도록 보장합니다.

주요 기여

1. ScreenParse 데이터셋: 자동화 파이프라인을 통해 생성된 55 개 클래스에 걸친 2100 만 개 UI 요소에 대한 밀집되고 완전한 주석을 가진 웹 규모의 데이터셋.
2. Webshot 파이프라인: 인간의 개입 없이 밀집된 화면 파싱 주석을 수집하고 정제하기 위한 확장 가능하고 완전히 자동화된 프레임워크.
3. ScreenVLM: 훨씬 더 큰 기초 모델들을 능가하는 고정밀 밀집 파싱을 달성하는 소형 VLM 아키텍처.
4. 구조 인식 손실: 구조 토큰을 우선시함으로써 예측된 레이아웃의 충실도를 향상시키는 새로운 훈련 목적 함수.
5. 전이성 증거: 밀집된 화면 감독이 ScreenVLM 뿐만 아니라 ScreenParse 로 미세 조정될 때 기존 기초 VLM 과 검출기 기반 파서에도 유익한 전이 가능한 구조적 사전 지식을 제공한다는 증명.

실험 결과

도메인 내 성능 (ScreenParse)

ScreenVLM 은 밀집 파싱 지표에서 더 큰 기초 VLM 들을 크게 능가합니다:

• PageIoU: ScreenVLM 은 0.606을 달성하여 Qwen3-VL-8B(0.294) 와 InternVL3-2B(0.111) 를 크게 앞섭니다.
• Label PageIoU: ScreenVLM 은 0.197에 도달한 반면, Qwen3-VL-2B 는 0.051 입니다.
• 효율성: ScreenVLM 은 2B 규모 VLM 들보다 약 6 배 작고 (316M 파라미터), 처리량 측면에서 약 4 배 빨라 저지연 배포에 적합합니다.

분포 외 전이

• GroundCUA: ScreenVLM 은 이 다양한 멀티플랫폼 벤치마크에서 강력한 성능 (PageIoU 0.251) 을 유지하며, 프롬프트 기반 기초 모델들 (예: 0.060 의 Qwen3-VL-8B) 보다 우수합니다.
• ScreenSpot: 희소 그라운딩 벤치마크 (Web/PC/Mobile) 에서 ScreenVLM 은 강력한 픽셀 커버리지 (PixCov) 를 보여주지만, PC/Mobile 분할에서 요소 수준 재현율 (Recall@50) 이 감소하여 웹과 네이티브 UI 간의 도메인 격차를 나타냅니다.

다른 모델에 미치는 영향

ScreenParse 에서 기존 기초 VLM 들 (Qwen3-VL-2B, InternVL3-2B) 과 검출기 기반 파서들 (OmniParser, YOLO, RT-DETR) 을 미세 조정하면 모든 벤치마크에서 일관되고 상당한 개선이 이루어집니다. 예를 들어, ScreenParse 에서 InternVL3-2B 를 미세 조정하면 ScreenParse 의 PageIoU 가 0.111 에서 0.509 로 향상됩니다. 이는 밀집된 화면 감독이 UI 이해를 위한 일반화 가능한 구조적 사전 지식을 제공한다는 것을 시사합니다.

제거 분석

구조 인식 가중 손실은 성능을 크게 향상시킵니다. 표준 교차 엔트로피에 비해 구조 인식 변형은 ScreenParse 에서 PageIoU 를 2.4% 향상시키고 GroundCUA 에서 11.1% 향상시켰으며, 가장 큰 개선은 분포 외 시나리오에서 관찰되었습니다 (예: ScreenSpot PC 재현율 72.1% 향상).

중요성과 주장

이 논문은 완전한 화면 파싱을 핵심 훈련 목적 함수로 취급하는 것이 희소 그라운딩의 한계에 대한 자연스러운 해결책이라고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 밀집 감독이 우월하다: 이는 모델이 견고한 하류 계획 및 행동 실행의 전제 조건인 전체적인 화면 상태를 형성할 수 있게 합니다.
2. 확장성은 달성 가능하다: Webshot 파이프라인은 인간 주석 없이 고품질 밀집 주석을 대규모로 생성할 수 있음을 보여줍니다.
3. 전이성이 핵심이다: 밀집된 화면 파싱에서 학습된 구조적 사전 지식은 전이 가능하며, 전문 파서와 일반 기초 VLM 모두를 향상시킵니다.
4. 효율성은 중요하다: 밀집 데이터로 훈련된 소형 모델은 더 큰 기초 모델들을 능가하면서도 온디바이스 저지연 애플리케이션에 실용적입니다.

저자들은 한계를 인정하며, ScreenParse 가 주로 웹 중심이어서 네이티브 데스크톱/모바일 애플리케이션에 도메인 격차가 존재하고, DOM 추출에서 남은 잔류 노이즈가 여전히 과제라고 지적합니다. 향후 연구는 밀집 파싱을 네이티브 UI 로 확장하고, 이러한 모델을 비전 - 언어 - 행동 에이전트의 비전 백본으로 활용하는 것을 제안합니다.