🤖 AI

DragOn: A Benchmark and Dataset for Drag-Based GUI Interactions

이 논문은 드래그 기반 GUI 상호작용 데이터의 부족 문제를 해결하기 위해 4개 도메인에 걸친 286K개의 스크린샷과 3.5M개의 태스크로 구성된 포괄적인 벤치마크 및 데이터셋인 DragOn을 소개하며, 이 데이터셋으로 미세 조정을 하는 것이 복잡한 컴퓨터 사용 작업에서 최첨단 시각-언어 모델의 성능을 유의미하게 향상시킨다는 것을 입증한다.

원저자: Nathan Bout, Maxime Langevin, Ronan Riochet

게시일 2026-06-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nathan Bout, Maxime Langevin, Ronan Riochet

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 컴퓨터 사용법을 가르치고 있다고 상상해 보세요. 지금까지 우리는 로봇에게 버튼을 클릭하는 법을 가르치는 데 매우 능숙했습니다. 이것은 마치 아이에게 사진을 가리키며 "저걸 터치해!"라고 말하는 법을 가르치는 것과 같습니다. 우리는 이런 예시를 수백만 개나 가지고 있으며, 로봇들은 이 작업에 꽤 능숙해지고 있습니다.

하지만 훨씬 더 어려운 기술이 있습니다. 바로 **드래그(dragging)**입니다.

드래그를 무거운 상자를 들어 올려 새로운 장소로 옮기거나, 페이지를 아래로 스크롤하기 위해 손가락으로 쓸어 넘기거나, 사진의 모서리를 잡고 크기를 조절하는 것이라고 생각해 보세요. 이러한 동작은 로봇이 단순히 어디를 터치할 것인가를 넘어, 지점 A에서 지점 B까지 어떻게 움직여야 하는지를 이해할 것을 요구합니다. 현재 로봇들은 이 부분에 매우 서툽니다. 그들은 마치 장난감을 가리킬 수는 있지만, 그것을 집어 들고 방을 가로질러 운반하는 법은 모르는 유아와 같습니다.

이 논문은 이 문제를 해결하기 위해 DragOn이라는 새로운 도구를 소개합니다. 이 도구가 어떻게 작동하는지 간단히 설명하면 다음과 같습니다.

1. 문제점: "드래그" 연습의 부족

저자들은 드래г하는 법을 가르치기 위한 데이터가 클릭을 가르치는 데이터에 비해 약 10배에서 100배 정도 적다는 점에 주목했습니다. 이 때문에 OpenAI나 Anthropic 같은 가장 똑똑한 AI 모델들조차 텍스트 하이라이트, 창 크기 조절, 슬라이더 조작과 같은 작업에서 어려움을 겪습니다. 그들은 혼란을 느끼며 자주 실패하곤 합니다.

2. 해결책: "렌더링을 통한 감독(Rendering-as-Supervision)"

수천 명의 사람을 고용하여 일일이 클릭하고 드래그하게 만드는 대신, 저자들은 **"렌더링을 통한 감독"**이라는 영리한 트릭을 발명하여 거대한 드래그 예시 라이브러리를 구축했습니다.

기존 방식: 사람이 화면을 보면서 단어 주변에 상자를 그리고 좌표를 적는 방식입니다. 이는 느리고 비용이 많이 듭니다.
DragOn 방식: 당신에게 문서(PDF나 스프레드시트 등)의 마법 같은 청사진(blueprint)이 있다고 상상해 보세요. 컴퓨터는 모든 글자와 셀이 정확히 어디에 있는지 알고 있습니다. 왜냐하면 컴퓨터가 직접 그 문서를 만들었기 때문입니다. 이미지를 보고 추측하는 대신, 컴퓨터는 청사판에 물어봅니다: "'Hello'라는 단어가 어디에 있니?" 그러면 청사진은 답합니다: "정확히 이 좌표들에 있어."

그러면 컴퓨터는 이미지를 "렌더링(그리기)"하고, 그 청사진을 바탕으로 드래그 동작의 시작점과 끝점을 자동으로 라벨링합니다. 이는 마치 운전을 시작하기도 전에 모든 도로 표지판의 정확한 위치를 알고 있는 GPS를 가진 것과 같습니다. 이를 통해 저자들은 매우 빠르고 저렴하게 350만 개의 훈련 작업을 만들어낼 수 있었습니다.

3. 데이터셋: 네 가지 새로운 놀이터

그들은 단순히 한 가지 유형의 드래그 작업만 만든 것이 아니라, 로봇이 연습할 수 있는 네 가지 서로 다른 "놀이터"를 구축했습니다.

텍스트 하이라이트: 문장을 드래그하여 선택하기 (교과서의 단어를 강조하는 것처럼).
셀 선택: 스프레드시트의 그리드를 드래그하여 숫자 블록을 선택하기.
요소 크기 조절: 사진이나 창의 모서리를 잡고 당겨서 크게 만들거나 작게 만들기.
슬라이더 조작: 슬라이더 바(볼륨 조절 장치 같은)를 잡고 왼쪽이나 오른쪽으로 밀기.

총 286,000개의 스크린샷을 제작하여 로봇들이 학습할 수 있도록 했습니다.

4. 결과: 연습이 완벽함을 만든다

저자들은 이 새로운 데이터셋을 세계에서 가장 똑똑한 AI 모델들을 대상으로 테스트했습니다.

베이스라인(기준점): 기존의 가장 뛰어난 "기성" AI 모델들(GPT, Claude 등)은 이러한 작업에서 30% 미만의 점수를 기록했습니다. 즉, 성공하는 횟수보다 실패하는 횟수가 더 많았습니다.
돌파구: 저자들은 오픈 소스 AI 모델을 가져와 이 새로운 DragOn 데이터셋으로 특별히 훈련시켰습니다.
결과: 이 훈련된 모델은 정확도가 **35.3%**로 뛰어올랐습니다. 이 수치가 엄청나게 커 보이지 않을 수도 있지만, 기본 모델(2.3%였던)에 비하면 엄청난 향상이며, 네 가지 작업 중 세 가지에서 가장 비싼 독점 모델들을 능가했습니다.

핵심 요약

이 논문은 스마트하고 자동화된 청사진 방식을 통해 만들어진 방대하고 고품질인 "드래그" 예시 라이브러리를 AI 모델에게 제공함으로써, 복잡한 컴퓨터 작업을 훨씬 더 잘 수행하도록 가르칠 수 있다고 주장합니다. 이는 데이터가 핵심임을 증명합니다. 즉, 적절한 종류의 연습 데이터로 훈련한다면 일반적인 오픈 소스 모델도 가장 비싼 상용 모델보다 더 뛰어난 성능을 낼 수 있다는 것입니다.

저자들은 이 새로운 벤치마크와 데이터셋이 미래의 로봇들이 단순한 클릭을 넘어, 인간처럼 드래그하고, 드롭하고, 크기를 조절하고, 스와이프할 수 있는 신뢰할 수 있는 "컴퓨터 사용자"가 되는 데 도움이 되기를 바랍니다.

기술 요약: DragOn: 드래그 기반 GUI 상호작용을 위한 벤치마크 및 데이터셋

문제 정의

시각-언어 모델(VLM)은 "클릭 그라운딩(click-grounding)"(자연어 지침을 단일 화면 좌표로 매핑하는 것)에서 상당한 진전을 이루었으나, "드래그 그라운딩(drag-grounding)"에는 어려움을 겪고 있습니다. 드래그 그라운딩은 드래그 앤 드롭, 스와이프, 하이라이팅, 크기 조절과 같은 연속적인 상호작용을 실행하기 위해 한 쌍의 좌표를 출력할 것을 요구합니다. 기존의 이러한 상호작용을 위한 데이터셋은 클릭 그라운딩 코퍼스보다 규모가 한 자릿수 더 작으며, 주로 텍스트 하이라이팅 작업에 치중되어 있습니다. 결과적으로, 현재의 최첨단 모델들은 스프레드시트 셀 선택, 요소 크기 조절, 슬라이더 조작과 같이 실제 세계의 GUI 워크플로우에서 흔히 발견되는 복잡하고 광범위한 드래그 기반 상호작용에서 낮은 성능을 보입니다.

방법론

렌더링 기반 감독 (Rendering-as-Supervision)

핵심적인 방법론적 기여는 "렌더링 기반 감독"이라 명명된 원칙입니다. 저자들은 노이즈가 있는 인간 주석, OCR 또는 VLM 기반 레이블링에 의존하는 대신, 렌더러 자체의 기하학적 구조를 활용하여 정답(ground-truth) 데이터를 구축합니다.

메커니즘: 결정론적 렌더러( $R$ )는 구조화된 소스( $S$ )를 이미지( $I$ )로 매핑합니다. 레이블 맵( $\pi$ )은 소스 구조로부터 직접 또는 제어된 섭동(perturbation)을 통해 픽셀 공간의 경계 상자(bounding box)를 추출합니다.
장점: 이 접근 방식은 전통적인 방식에 비해 훨씬 적은 비용으로 픽셀 단위의 정확한 주석을 생성하며, OCR과 관련된 오류 없이 임의의 입도(문자에서 문단 범위까지)를 지원합니다.
구현: 두 가지 유형의 레이블 맵이 사용됩니다:
1. 분석적(Analytic): 소스 좌표(예: PDF 스팬 좌표, PPTX EMU 단위, HTML 기하학)로부터 경계 상자를 직접 계산합니다.
2. 프로브 기반(Probe-Based): 렌더러를 두 번 실행합니다. 뚜렷한 색상으로 채워진 셀과 같이 섭동된 소스를 렌더링하여 타겟을 시각적으로 위치시킨 후, 원래의 소스를 다시 렌더링하여 최종 스크린샷을 얻습니다.

DragOn 데이터셋

저자들은 이 원칙을 네 가지 이질적인 도메인에 적용했습니다:

텍스트 하이라이팅: 스타일링된 DOCX로 변환된 후 PDF로 변환된 위키피디아 문서에서 파생되었습니다. 입도는 문자에서 문단까지 다양합니다.
셀 선택: LibreOffice Calc를 통해 렌더링된 Pandas DataFrame으로부터 생성된 합성 스프레드시트입니다. 범위 선택 및 테두리 크기 조절을 포함합니다.
요소 크기 조절: Zenodo 10K 코퍼스에서 가져온 PowerPoint 슬라이드입니다. 기하학적 정보는 XML(EMU 단위)에서 추출되어 픽셀 공간으로 매핑됩니다.
슬라이더 조작: 다양한 인터랙티브 컨텍스트(예: 미디어 플레이어, 설정 패널)를 가진 절차적으로 생성된 HTML 페이지입니다.

규모: 이 데이터셋은 286,000개의 훈련 스크린샷과 350만 개의 훈련 태스크, 그리고 2,000개의 예시로 구성된 홀드아웃 평가 세트(공개 검증 세트와 비공개 테스트 세트로 분할됨)로 구성됩니다. 이 규모는 기존의 드래그 특화 코퍼스보다 한 자릿수에서 두 자릿수 더 큽니다.

주요 기여

렌더링 기반 감독 원칙: 렌더러의 기하학을 오라클(oracle)로 사용하여 GUI 그라운딩 데이터를 구축하는 공식화된 방법론으로, 구축 오류와 비용을 줄였습니다.
DragOn 데이터셋: 네 가지 서로 다른 드래그 도메인을 포괄하는 통합된 대규모 코퍼스로서, 드래그 그라운딩 능력을 훈련하고 평가하기 위한 가용 데이터를 크게 확장했습니다.
벤치마크 및 베이스라인: 독점 모델(GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.7), 오픈 웨이트 모델(Qwen, Kimi, Holo), 그리고 DragOn 데이터셋으로 미세 조정된 모델에 대한 종합적인 평가를 수행했습니다.

실험 결과

저자들은 2,000개의 예시로 구성된 테스트 세트에서 모델들을 평가했습니다. 주요 결과는 다음과 같습니다:

프런티어 모델 성능: 독점 모델(GPT, Claude)과 오픈 웨이트 모델은 일반적으로 전체적으로 30% 미만의 점수를 기록했습니다. 성능은 도메인별로 크게 다릅니다:
- 가장 강한 분야: 슬라이더 조작(Claude Opus 4.7의 경우 최대 57.2%) 및 셀 선택.
- 가장 약한 분야: 텍스트 하이라이팅(종종 10% 미만) 및 요소 크기 조절(종종 20% 미만).
오픈 웨이트 베이스라인: 표준 오픈 웨이트 모델(예: Qwen3.5-35B)은 매우 낮은 성능(2.3%)을 보였으나, 더 큰 변체(Qwen3.5-397B)는 독점 모델 수준(21.5%)에 근접했습니다.
미세 조정의 영향: DragOn 데이터셋으로 미세 조정된 Qwen3.5-35B 모델은 **35.3%**의 전체 성공률을 달しまいました. 이는 베이스 모델 대비 33% 포인트의 절대적 개선을 의미하며, 평가된 모든 프런티어 모델보다 최소 7.6% 포인트 더 높은 성능을 보였습니다.
도메인 특이성: 미세 조정된 모델은 네 가지 도메인 중 세 가지(텍스트 하이라이팅, 슬라이더 조작, 요소 크기 조절)에서 선두를 차지했으나, 셀 선택에서는 Claude Opus 4.7에 비해 약간 뒤처졌습니다.
허용 오차 분석: 요소 크기 조절의 경우, 완화된 공간 허용 오차(예: 엄격한 임계값에서의 32.0%에서 15% 허용 시 57.2%로) 하에서 성능이 크게 향상되었습니다. 이는 오류가 질적인 그라운딩 실패보다는 주로 작은 크기의 오프셋임을 시사합니다.

의의 및 주장

본 논문은 드래그 그라운딩이 현재 가장 강력한 폐쇄형 시스템에서도 여전히 도전적이고 미충족된 문제임을 주장합니다. 이 연구의 주요 의의는 타겟팅된 훈련 데이터가 다운스트림 컴퓨터 사용 작업에 대한 모델 성능을 실질적으로 향 향상시킬 수 있음을 입증했다는 데 있습니다.

저자들은 DragOn 벤치마크와 데이터셋이 복잡하고 연속적인 GUI 상호작용을 수행할 수 있는 신뢰할 수 있는 자율 에이전트 개발을 진전시키는 데 필요한 인프라를 제공한다고 상정합니다. 오픈 소스 모델을 자신들의 데이터로 미세 조정했을 때 독점 프런티어 모델을 능가할 수 있음을 보여줌으로써, 본 논문은 데이터 품질과 도메인 특이성이 에이전트 역량을 향상시키는 데 있어 중요한 레버임을 시사하며, 컴퓨터 사용 시나리오에서 오픈 시스템과 독점 시스템 간의 격차를 좁힐 수 있는 가능성을 제시합니다.