기술 요약: GUICrafter: 대규모 미주석 스크린샷을 활용한 약지도 학습 기반 GUI 에이전트

1. 문제 정의

GUI 에이전트의 개발은 현재 심각한 데이터 부족 문제에 의해 저해되고 있습니다. 파운데이션 모델들이 방대한 인터넷 규모의 데이터 덕분에 급격히 발전한 반면, GUI 에이전트 데이터는 웹에서 사용 가능한 형태로 직접 수집할 수 없습니다. GUI 태스크를 위한 세밀한 그라운딩(grounding) 위치와 다단계 동작을 주석(annotation) 처리하는 것은 매우 노동 집약적이며, 기존의 자동 주석 방법들은 신뢰할 수 없거나 품질이 낮은 레이블을 생성하는 경우가 많습니다.

결과적으로, 현재의 GUI 에이전트는 다음과 같은 두 가지 주요 한계에 직면해 있습니다:

1. 취약한 시각적 그라운딩(Visual Grounding): 에이전트가 미세한 GUI 요소를 정확하게 찾아내는 데 실패하여 태스크 수행에 실패하는 경우가 빈번합니다.
2. 제한된 일반화 능력: 명시적으로 학습 데이터에 포함되지 않은 교차 기기 또는 교차 도메인 시나리오에 적응하는 데 어려움을 겪으며, 이는 주로 다양하고 포괄적인 학습 사례의 부족 때문입니다.

저자들은 다음과 같은 질문을 던집니다: "비싼 인간 주석 없이도 웹페이지 및 전자 기기의 방대한 미주석 스크선샷 데이터를 활용하여 시각적 그라운딩과 일반화 능력을 향상시킬 수 있는가?"

2. 방법론

저자들은 미주석 스크린샷을 학습 가능한 데이터로 변환하는 약지도 학습 프레임워크인 GUICrafter를 제안합니다. 이 접근 방식은 **검증 가능한 보상을 활용한 강화 학습(RLVR)**을 통해 훈련되는 두 단계의 커리큘럼 학습 프레임워크를 활용합니다.

1단계: 약지도 GUI 사전 학습 (Weakly-Supervised GUI Pretraining)

이 단계의 목표는 LLM이 텍스트로 사전 학습하는 것과 유사하게, 에이전트가 대규모 미주석 데이터를 사용하여 GUI를 "보고" 배우도록 하는 것입니다.

• 데이터 수집:
  • 웹(Web): 인기 있는 웹사이트들을 크롤링하여 리소스를 보존하기 위해 MHTML 형식으로 저장합니다. 실제 다단계 태스크 분포를 시뮬레이션하기 위해 재귀적 크롤링을 수행합니다.
  • 모바일(Mobile): 오픈 소스 데이터셋(AndroidControl, AITZ)을 활용하되, 인간이 주석을 달은 궤적(trajectory)은 버리고, 자동으로 수집된 상호작용 가능한 GUI 요소(예: 클릭 가능, 체크 가능, 편집 가능 요소)만을 활용합니다.
• 메타 태스크 제작 (Meta-Task Crafting): 특정 태스크 지침 대신, 시스템은 암시적 상호작용 신호(클릭 가능, 타이핑 가능, 선택 가능 요소)를 추출하고 이를 메타 태스크로 제작합니다. 이는 특정 동작 유형의 모든 태스크를 요약하는 추상적인 프롬프트(예: "빈 공간이 아닌 페이지의 클릭 가능한 영역 중 아무 곳이나 클릭하세요")입니다.
• 보상 설계 (RLVR):
  • 포맷 보상 (Format Reward): 출력이 특정 JSON 구조를 준수하는지 확인합니다.
  • 동작 유형 보상 (Action Type Reward): 예측된 동작이 실제 정답(ground truth)과 일치하는지 확인합니다.
  • 위치 보상 (Position Reward): 단순한 이진(binary) 보상 대신, 정답 바운딩 박스를 중심으로 하는 **가우시안 분포(Gaussian distribution)**를 사용합니다. 보상은 예측된 점과 상호작용 영역 중심 사이의 거리에 따라 계산되어 더 조밀한 피드백을 제공합니다.
  • 텍스트 보상 (Text Reward): 타이핑/선택의 경우, 토큰 수준의 유사성을 확인합니다.
• 훈련: 모델(Qwen2.5-VL 기반)은 추론 과정(reasoning traces)을 생성한 후 JSON 형식의 동작을 생성하며, GRPO 알고리즘을 사용하여 최적화됩니다.

2단계: 고품질 강화 미세 조정 (High-Quality Reinforcement Fine-tuning)

이 단계는 1단계에서 학습된 능력을 정교화하기 위해 소량의 고품질 수동 주석 데이터를 사용하여 모델을 교정합니다.

• 데이터 큐레이션: 기존 데이터셋(Mind2Web, GUI-R1-3K, AMEX)을 필터링하고 정제하여 유효하지 않은 스크린샷, 불분명한 지침, 부정확한 주석을 제거합니다.
• 훈련: 모델은 동일한 RLVR 프레임워크를 사용하여 이 큐레이션된 데이터셋(약 6,795개의 웹/데스크톱 샘플 및 3,200개의 모바일 샘플)에서 추가 미세 조정되며, 이때 보상 계산을 위해 정밀한 정답 바운딩 박스 또는 점을 사용합니다.

3. 주요 기여

1. 데이터 중심 솔루션: 본 논문은 대규모 미주석 데이터와 최소한의 고품질 데이터를 결합하여 대응하는 데이터셋을 구축함으로써 GUI 데이터 딜레마를 해결하는 방법을 제안합니다.
2. 2단계 프레임워크: 약지도 학습 기반 사전 학습(1단계)과 지도 강화 미세 조정(2단계)을 통합하는 새로운 커리큘럼 학습 프레임워크를 제시합니다. 이 접근 방식은 사전 학습 단계에서 노동 집약적인 주석 작업을 제거합니다.
3. 메타 태스크 추상화: 수동으로 주석을 단 태스크의 확장 가능한 대안으로서, 상호작용 신호로부터 유도된 "메타 태스크"를 도입하여 에이전트가 일반적인 GUI 상호작용 패턴을 배울 수 있게 합니다.
4. 가우시안 위치 보상: 1단계에서 단순 이진 인박스(in-box) 보상보다 더 미세한 피드백을 제공하는 거리 기반 가우시안 보상을 구현하여 시각적 그라운딩 정밀도를 향상시켰습니다.

4. 실험 결과

GUICrafter는 Mind2Web, ScreenSpot-Pro, OmniACT, AndroidControl, AITW, AndroidWorld 등 6개의 벤치마크에서 평가되었습니다.

• 성능 대비 데이터 효율성:
  • GUICrafter는 약 **0.1%**의 데이터(고품질 약 6,795개 + 약지도 샘플 20,000개)만을 사용하여 UI-TARS(1,840만 개의 궤적으로 훈련됨)와 같은 고급 시스템과 대등하거나 우수한 성능을 달성합니다.
  • Mind2Web에서 GUICrafter-3B는 평균 그라운딩 정확도 **60.2%**를 달 기록하며, UI-TARS-2B(59.5%)를 앞서고 동일한 양의 주석 데이터를 사용해 훈련된 GUI-R1-3B(54.7%)를 크게 능가했습니다.
  • ScreenSpot-Pro에서 GUICrafter-3B는 평균 정확도 **33.5%**를 달성하여 GUI-R1-3B(28.6%)와 UI-TARS-2B(27.7%)를 능가했습니다.
• 일반화: 1단계에서의 다양한 실제 웹페이지 노출 덕분에 교차 웹사이트 및 교차 도메인 서브셋에서 상당한 성능 향상을 보였습니다.
• 절제 연구 (Ablation Studies):
  • 1단계의 영향: 1단계만으로 훈련했을 때, 인간의 노동 없이도 Mind2Web에서 그라운딩 정확도가 기본 모델 대비 10% 이상, ScreenSpot-Pro에서 약 10% 향상되었습니다.
  • 커리큘럼의 이점: 1단계와 2단계를 결합하면 2단계 단독 훈련보다 3~4%의 향상이 나타나, 사전 학습이 견고한 기초를 제공함을 확인했습니다.
  • 보상 설계: 가우시안 위치 보상은 특히 어려운 벤치마크에서 단순 이진 보상보다 뛰어난 성능을 보였습니다.
  • 노이즈 강건성: 2단계 미세 조정이 적용된다면, 1단계 데이터에 최대 30%의 노이즈가 있더라도 프레임워크는 견고함을 유지합니다.

5. 의의 및 주장

본 논문은 GUICrafter가 GUI 에이전트 개발의 데이터 병목 현상을 성공적으로 해결했다고 주장합니다. 비싼 수동 주석 궤적에 의존하는 방식에서 메타 태스크와 상호작용 신호를 통해 대규모 미주석 스크린샷으로부터 학습하는 패러다임으로 전환함으로써, 저자들은 다음을 입증했습니다:

• 데이터 효율성: 고성능 GUI 에이전트를 최첨단 시스템에 필요한 데이터의 극히 일부만으로 구축할 수 있습니다.
• 확장성: 약지도 사전 학습 접근 방식은 확장 가능합니다. 5만 개 샘플까지 포화 상태가 관찰되지 않았으며, 미주석 데이터의 양이 증가함에 따라 성능이 계속 향상됩니다.
• 일반화: 1단계에서 다양한 실제 세계의 미주석 데이터에 노출되는 것은 에이전트가 보지 못한 도메인과 기기에 적응하는 능력을 크게 향상시킵니다.

저자들은 현재의 접근 방식이 2단계를 위해 소량의 인간 주석 데이터에 여전히 의존하고 있지만, 이 프레임워크가 주석 비용을 줄이기 위한 실행 가능한 경로를 구축한다고 결고합니다. 또한, 향후 연구에서 LLM 기반의 역태스크 합성(reverse task synthesis)을 탐구하여 지속적인 자기 진화를 위한 "데이터 플라이휠(data flywheel)"을 생성함으로써, 잠재적으로 데이터 병목 현상을 완전히 해결할 수 있을 것이라고 제안합니다.