기술 요약: 컴퓨터 사용의 인간 행동 공간 커버리지: 데이터 합성 및 벤치마크

1. 문제 제기

컴퓨터 사용 에이전트 (CUA) 는 화면 작업을 자동화하는 것을 목표로 하지만, 복잡하고 빈도가 낮은 상호작용에서의 신뢰성은 여전히 낮아 사용자 신뢰를 제한하고 있습니다. 고급 모델 (예: GPT-5.4) 의 실패 사례 분석은 GUI 작업에서 "롱테일 (long-tail)" 패턴을 드러냅니다. 즉, 단순한 클릭은 잘 처리되지만, 작업 실패의 불균형적으로 큰 비중은 표 편집, 텍스트 조작, 캔버스 그리기, 이미지 주석 달기와 같은 복잡하고 다양한 상호작용에서 발생합니다.

이 논문은 GUI 기반 CUA 의 배포를 방해하는 두 가지 주요 병목 현상을 식별합니다:

1. 벤치마크 부재: 기존 벤치마크 (예: ScreenSpot-Pro, UI-Vision) 는 주로 "클릭 중심" 및 "위젯 중심"으로 표준 GUI 요소에 초점을 맞추고 있습니다. 드래그, 자유hand 그리기, 위젯이 아닌 모달리티 (표, 자연 이미지) 에 대한 작업과 같은 복잡한 상호작용을 평가하지 못합니다.
2. 데이터 부족: 이러한 복잡한 상호작용을 위한 대규모 학습 데이터가 심각하게 부족합니다. 현재 데이터 파이프라인은 대부분 웹 크롤링 및 접근성 트리 패러다임을 계승하여 위젯에 대한 클릭 라벨은 생성하지만, 일반화 가능한 그라운딩 (grounding) 능력에 필요한 다양성이 부족합니다.

2. 방법론

A. CUActSpot 벤치마크

평가 격차를 해소하기 위해 저자들은 단순 클릭을 넘어선 실제 컴퓨터 사용 시나리오를 반영하도록 설계된 CUActSpot 벤치마크를 소개합니다.

• 모달리티: GUI(표준 위젯), 텍스트(선택, 삽입), 표(스프레드시트 작업, 셀 크기 조절), 캔버스(그래픽 객체 조작), 자연 이미지(객체 잘라내기, 경계 그리기) 등 다섯 가지 고유한 모달리티를 포괄합니다.
• 작업 유형: 클릭(1 점), 드래그(2 점), 그리기(N 점) 를 포함하며, 순차적 (예: 화살표를 따라 드래그) 및 비순차적 작업을 모두 다룹니다.
• 평가 지표: 벤치마크는 엄격한 규칙 기반 평가 시스템을 사용합니다:
  • 정답 영역: 예측된 좌표는 이 영역 내에 있어야 합니다.
  • 금지 영역: 이 영역에 예측이 떨어지면 즉시 오답으로 처리되어 지표 조작을 방지합니다.
  • 순위 속성: 순서에 민감한 작업 (예: 시작점에서 끝점으로 드래그) 에 사용됩니다.
• 구축: 벤치마크는 33 가지 세부 작업 유형에 걸쳐 206 개의 수동으로 선별된 다양한 샘플로 구성되며, 특수 소프트웨어 지식에 대한 의존성을 최소화하고 그라운딩 능력에 초점을 맞추도록 설계되었습니다.

B. 렌더러 기반 데이터 합성 파이프라인

데이터 부족 문제를 해결하기 위해 저자들은 5 천만 개의 샘플을 생성하는 완전 합성 데이터 생성 파이프라인을 제안합니다.

• 렌더링: 각 모달리티에 대해 코드 기반 도구가 스크린샷을 렌더링하고 정확한 좌표 메타데이터 (경계 상자, 제어점, 꼭짓점) 를 추출합니다.
  • GUI/표: 웹 도구 (Playwright, HTML/CSS 생성) 를 통해 무작위 스타일과 구조로 렌더링됩니다.
  • 텍스트/캔버스: Python 그래픽 라이브러리 (PyQt5, Matplotlib) 를 사용하여 무작위 폰트, 모양, 레이아웃으로 렌더링됩니다.
  • 자연 이미지: SAM 데이터셋에서 파생되었으며, 윤곽 추출 알고리즘을 사용하여 영역에 주석이 달립니다.
• 지시문 합성: 고급 LLM(OpenAI o3) 이 렌더링된 메타데이터에서 중요한 요소를 선택하고, 중간 좌표 계산을 수행하며, 복잡한 작업 지시문과 해당 작업 추적 (PyAutoGUI 코드) 을 생성하도록 프롬프트됩니다.
• 다양성: 이 파이프라인은 시각적 스타일, 작업 구조, 상호작용 유형에서 높은 다양성을 보장하여 단일 모달리티 확장으로 인한 편향을 피합니다.

C. 모델 학습

저자들은 Phi-3.5-VL 을 기반으로 한 40 억 파라미터 규모의 비전 - 언어 모델 (VLM) 인 Phi-Ground-Any-4B를 학습시킵니다.

• 학습 전략: 이 모델은 5 천만 개의 합성 샘플과 OpenCUA 데이터를 결합하여 사전 학습/중간 학습을 거칩니다.
• Ablation 연구: 실험은 데이터 구성의 영향을 조사하며, 특히 단일 모달리티를 확장하는 것과 모달리티 및 작업 다양성을 증가시키는 것을 비교합니다.

3. 주요 기여

1. CUActSpot 벤치마크: 기존 클릭 중심 벤치마크보다 실제 CUA 요구 사항을 더 잘 반영하는 다섯 가지 모달리티와 복잡한 작업 유형 (드래그, 그리기) 을 포괄하는 새로운 평가 기준입니다.
2. 데이터 합성 파이프라인: 수동 주석에 의존하지 않고 복잡한 GUI 상호작용을 위한 고품질 학습 샘플 5 천만 개를 생성하는 확장 가능한 렌더러 기반 프레임워크입니다.
3. Phi-Ground-Any-4B: 32B 미만의 파라미터를 가진 모델 중 복잡한 상호작용 벤치마크에서 최첨단 성능을 달성한 오픈소스 모델입니다.
4. 실증적 통찰: **"다양성 확장 (Variety Scaling)"**의 발견으로, 단일 모달리티 내 데이터 양을 단순히 확장하는 것보다 작업 유형과 모달리티의 다양성을 증가시키는 것이 일반적인 상호작용 능력에 더 효과적임을 입증했습니다.

4. 실험 결과

• 벤치마크 성능: CUActSpot 에서 Phi-Ground-Any-4B 는 32B 미만 파라미터를 가진 모든 오픈소스 모델을 능가합니다. 전체 점수 **44.4%**를 기록하여 OpenCUA-7B(39.8%) 및 UI-TARS-1.5-7B(28.5%) 와 같은 모델을 크게 앞섰습니다.
• 상용 모델과의 비교: GPT-5.4 는 CUActSpot 에서 더 높은 점수 (63.6%) 를 기록하지만, Phi-Ground-Any-4B 는 오픈소스 솔루션 간에 여전히 경쟁력 있습니다.
• 일반화: 이 모델은 강력한 작업 간 일반화를 보여주어 학습 세트에 명시적으로 존재하지 않는 세부 작업 (예: 시각 콘텐츠 내 텍스트 편집) 을 성공적으로 완료합니다.
• Ablation 발견:
  • 다양성 확장: 학습 세트에 다양한 모달리티 (텍스트, 표, 캔버스, 이미지) 를 추가하면 모든 벤치마크에서 일관되게 성능이 향상되는 반면, 단일 모달리티를 확장하면 체감 수익이 감소합니다.
  • 벤치마크 민감도: 특정 소프트웨어 데이터 (예: Phi-Ground 의 애플리케이션 데이터) 로 미세 조정된 모델은 전통적인 벤치마크 (ScreenSpot-Pro, UI-Vision) 에서 성과를 보이지만, CUActSpot 에서는 종종 성능 저하를 겪습니다. 이는 분포의 변화와 일반 그라운딩 능력을 측정하는 데 있어 현재 벤치마크의 한계를 강조합니다.
• OSWorld 평가: GPT-5.4 를 플래너로 사용하는 엔드 - 투 - 엔드 에이전트 설정에서 그라운더로 사용될 때, Phi-Ground-Any-4B 는 복잡한 스프레드시트 작업에서 견고한 드래그 앤 드롭 능력을 보여주며 특정 그라운딩 시나리오에서 더 큰 모델들을 능가합니다.

5. 중요성과 주장

이 논문은 GUI 그라운딩 연구의 현재 "위젯 및 클릭" 우선순위가 차세대 컴퓨터 사용 에이전트에는 불충분하다고 주장합니다. CUActSpot 과 확장 가능한 합성 파이프라인을 도입함으로써 저자들은 커뮤니티에 인간 컴퓨터 상호작용의 "롱테일"을 평가하고 모델을 학습시키는 데 필요한 도구를 제공합니다.

저자들은 작업 다양성이 원시 데이터 규모보다 일반화 가능한 그라운딩 능력을 학습하는 데 더 중요한 동인일 수 있음을 강조합니다. 그들은 합성 데이터가 광범위한 커버리지를 가능하게 하지만, 실제 세계 분포와의 정렬과 장시간 상태가 유지되는 시나리오 처리는 향후 연구의 과제로 남아 있음을 인정하며, 그들의 작업을 더 견고한 CUA 를 향한 진단적 단계로 위치시킵니다. 벤치마크, 데이터, 코드, 모델의 공개는 이러한 방향에 대한 추가 연구를 촉진하는 것을 목표로 합니다.