🤖 AI

Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding

이 논문은 GUI 그라운딩 작업에서 기존 autoregressive 모델을 대체할 수 있는 잠재력을 가진 이산 디퓨션 비전 - 언어 모델 (DVLM) 을 제안하고, 계층적 구조를 포착하기 위해 고안된 하이브리드 마스킹 스케줄을 통해 정확도를 크게 향상시켰음을 다양한 벤치마크를 통해 입증합니다.

원저자: Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

게시일 2026-03-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shrinidhi Kumbhar, Haofu Liao, Srikar Appalaraju, Kunwar Yashraj Singh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"컴퓨터 화면을 보고 마우스를 클릭하거나 텍스트를 입력하는 AI 에이전트"**를 만드는 새로운 방법을 소개합니다.

기존에 가장 잘하던 방식은 ' autoregressive (AR, 자기회귀)' 모델이었습니다. 이는 마치 사람이 글을 쓸 때, 한 글자씩 순서대로 이어 나가는 방식과 같습니다. 하지만 이 논문은 **'확산 모델 (Diffusion Model)'**이라는 새로운 방식을 제안하며, "한 번에 전체 그림을 그려나가는 방식"이 GUI(그래픽 사용자 인터페이스) 작업에서도 훌륭하게 작동할 수 있다고 증명합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🎨 비유: "화려한 그림 그리기 대회"

상상해 보세요. AI 는 이제부터 화려한 그림을 그리는 화가가 되었습니다. 이 화가의 임무는 "사용자가 '검색창에 hello 라고 입력해'라고 말하면, 화면에서 검색창을 찾아 그 위에 'hello'라고 쓰는 것"입니다.

1. 기존 방식 (AR 모델): "조각조각 맞추는 퍼즐"

기존의 AI 는 퍼즐 조각을 하나씩 맞춰가는 방식을 썼습니다.

"검색창이 어디 있지?" → "여기 있네."
"그럼 클릭할까?" → "아니, 입력해야 해."
"그럼 'h'를 치고..." → "다음은 'e'..."
이 방식은 순서대로 하나씩 생각해서 답을 내놓습니다. 정확하지만, 때로는 실수가 쌓이거나 전체적인 그림을 한눈에 보기 어려울 수 있습니다.

2. 새로운 방식 (이 논문의 확산 모델): "흐릿한 그림을 선명하게 다듬기"

이 논문에서 제안한 **확산 모델 (Diffusion Model)**은 조금 다릅니다.

처음에 AI 는 화면 전체를 완전히 흐릿하게 (블랙아웃) 봅니다.
그리고 **"검색창이 어디 있었지? 클릭할까? 입력할까?"**라는 질문을 받습니다.
AI 는 한 번에 전체 그림을 대략적으로 상상한 뒤, 점점 선명하게 다듬어 나갑니다.
마치 안개 낀 산을 등산하다가, 한 걸음 한 걸음 걸을수록 산의 윤곽이 뚜렷해지듯이, 수십 번의 반복을 거치며 정확한 위치를 찾아냅니다.

이 방식의 장점은 한 번에 전체 맥락을 보고 (양방향 주의) 실수를 수정할 수 있다는 점입니다.

🛠️ 핵심 기술: "혼합 마스킹 전략" (Hybrid Masking)

그런데 여기서 문제가 생겼습니다. 확산 모델이 **좌표 (x, y)**를 그릴 때, 순서를 무시하고 무작위로 지우다 보니, **"어디를 시작할지 (Anchor)"**와 "얼마나 넓게 할지 (Extent)" 사이의 관계를 헷갈려 했습니다.

비유: 건축가가 건물을 지을 때, "기둥을 어디에 세울지"와 "건물이 얼마나 넓어질지"를 동시에 무작위로 결정하려다 보니 건물이 비뚤어지는 일이 생긴 겁니다.

저자들은 이를 해결하기 위해 **두 단계로 나누는 '혼합 전략'**을 고안했습니다.

1 단계 (대략적인 위치 잡기): 먼저 "어떤 행동 (클릭/입력) 을 할지"와 **"시작점 (기둥) 을 어디에 둘지"**를 무작위로 연습하며 대략적인 위치를 잡습니다. (기존 방식 유지)
2 단계 (정확한 크기 잡기): 이제 시작점이 정해졌으니, **"그 시작점을 기준으로 끝까지 얼마나 넓힐지"**를 집중적으로 연습합니다. 이때는 시작점이 고정된 채로 나머지 부분만 다듬습니다.

결과: 마치 먼저 대략적인 윤곽을 잡고 (Coarse), 그 다음에 디테일을 채우는 (Fine) 방식이라서, 건물이 훨씬 더 정확하게 세워졌습니다.

📈 실험 결과: "더 많은 데이터, 더 빠른 학습"

이 새로운 방식을 테스트하기 위해 다양한 데이터 (웹, 모바일, 데스크톱 화면) 를 섞어서 학습시켰습니다.

데이터 양 늘리기: 7 천 개에서 12 만 개로 데이터를 늘리니, AI 가 더 다양한 상황을 배우게 되어 실수가 줄고, 더 빨리 (레이턴시 감소) 정답을 찾아냈습니다.
성능 비교: 기존에 가장 잘하던 순서대로 답을 내는 모델 (AR) 과 비교해도, 거의 비슷한 수준의 정확도를 보여주었습니다. 특히 "Step Success Rate(단계 성공률)"라는 지표에서 기존 확산 모델보다 약 6% 포인트나 더 좋아졌습니다.

💡 결론: 왜 이것이 중요한가요?

이 논문은 **"AI 가 컴퓨터 화면을 조작하는 일 (GUI 에이전트)"**을 할 때, 한 번에 전체를 보고 수정해 나가는 확산 모델도 매우 유망한 방법임을 처음 증명했습니다.

기존 방식: 한 글자씩 차근차근 (순차적).
새로운 방식: 전체를 보고 수정하며 완성 (병렬적, 반복적).

이 연구는 앞으로 AI 가 우리 대신 복잡한 웹사이트를 돌아다니거나, 컴퓨터 프로그램을 자동으로 조작하는 **'스마트한 비서'**를 만드는 데 중요한 발걸음이 될 것입니다. 마치 안개 낀 길을 걷던 AI 가 이제 선명한 지도를 들고 길을 찾게 된 것과 같습니다.

1. 문제 정의 (Problem Definition)

배경: 최근 멀티모달 이해 및 추론 분야에서 자동회귀 (Autoregressive, AR) 기반의 비전 - 언어 모델 (VLM) 이 GUI (그래픽 사용자 인터페이스) 그라운딩 (GUI Grounding) 작업을 주도하고 있습니다. GUI 그라운딩은 자연어 지시를 통해 GUI 이미지 내의 특정 요소를 찾아내고 (위치 파악), 해당 요소에 대한 행동 (클릭, 호버, 입력 등) 을 수행하는 능력을 의미합니다.
한계: 기존 AR 모델은 순차적 디코딩과 단방향 주의 (unidirectional attention) 메커니즘을 사용하여, 토큰 생성이 직렬적으로 이루어집니다. 이는 병렬 처리와 반복적 정제 (iterative refinement) 가 가능한 확산 (Diffusion) 모델의 잠재력을 활용하지 못하게 합니다.
연구 목표: 이 논문은 **이산적 확산 비전 - 언어 모델 (Discrete Diffusion VLMs, DVLM)**이 GUI 그라운딩 작업에서 AR 모델을 대체할 수 있는 유효한 대안인지, 그리고 이를 어떻게 최적화할 수 있는지를 탐구합니다. 특히, LLaDA-V 와 같은 기존 DVLM 을 GUI 작업에 적응시키고, 좌표의 계층적 구조를 더 잘 포착할 수 있는 새로운 학습 전략을 제안합니다.

2. 방법론 (Methodology)

연구팀은 LLaDA-V를 베이스 모델로 선택하여 GUI 그라운딩에 적응시켰으며, 다음과 같은 핵심 방법론을 도입했습니다.

가. 모델 적응 (Adaptation for GUI Grounding)

입력: 자연어 지시문과 GUI 스크린샷 (웹, 데스크톱, 모바일).
출력: 행동 유형 (클릭, 호버, 입력 등) 과 대상 영역을 정의하는 바운딩 박스 좌표 $(x_1, y_1, x_2, y_2)$ 를 텍스트 토큰으로 생성.
학습 목표: 마스킹된 토큰을 시각적 및 텍스트적 컨텍스트를 기반으로 재구성하는 이산 확산 목적 함수를 사용하여 훈련.

나. 하이브리드 마스킹 스케줄 (Hybrid Masking Schedule) - 핵심 기여

기존 LLaDA-V 의 선형 마스킹 (Linear Masking) 은 모든 토큰을 무작위로 손상시켜, 바운딩 박스 좌표 간의 기하학적 계층 구조 (Anchor 와 Extent 의 관계) 를 학습하는 데 한계가 있다고 판단했습니다. 이를 해결하기 위해 두 단계로 구성된 하이브리드 방식을 제안했습니다.

선형 마스킹 단계 (Linear Masking Phase):
- 행동 유형과 앵커 좌표 $(x_1, y_1)$ 를 점진적으로 학습합니다.
- 기존 LLaDA-V 의 선형 마스킹 스케줄을 유지하여 coarse(대략적인) 그라운딩을 수행합니다.
전적 결정론적 마스킹 단계 (Full Deterministic-Masking Phase):
- 앵커 $(x_1, y_1)$ 가 고정된 상태에서, 나머지 좌표 $(x_2, y_2)$ 를 예측하도록 훈련합니다.
- 이 단계에서는 목표 토큰을 완전히 마스킹하고, 앵커와 지시문을 조건으로 하여 바운딩 박스의 범위 (extent) 를 정밀하게 예측합니다.
- 효과: 앵커와 범위 간의 조건부 의존 관계를 명시적으로 학습하여 공간적 일관성을 향상시킵니다.

다. 추론 파라미터 최적화

확산 단계 (Diffusion Steps), 생성 길이 (Generation Length), 블록 길이 (Block Length) 를 조정하여 정확도와 지연 시간 (Latency) 사이의 균형을 찾았습니다.
실험 결과, 모든 파라미터를 64로 설정했을 때 가장 좋은 성능과 효율성을 보였습니다.

3. 주요 기여 (Key Contributions)

DVLM 의 GUI 그라운딩 가능성 입증: 이산 확산 모델이 AR 모델에 비해 제한된 사전 학습 데이터로도 GUI 그라운딩 작업에서 경쟁력 있는 성능을 낼 수 있음을 최초로 체계적으로 증명했습니다.
하이브리드 마스킹 전략 제안: 바운딩 박스의 기하학적 구조 (앵커 vs 범위) 를 반영한 새로운 마스킹 스케줄을 도입하여, 단순 선형 마스킹 대비 Step Success Rate (SSR) 를 최대 6.1%p 향상시켰습니다.
데이터 확장 효과 분석: 웹, 모바일, 데스크톱 등 다양한 도메인의 데이터를 120K 개로 확장하여 학습했을 때, 정확도가 평균 20%p 증가하고 지연 시간이 약 1.3 초 감소하는 것을 확인했습니다. 이는 모델의 일반화 능력과 수렴 속도를 동시에 개선함을 보여줍니다.
AR 모델과의 격차 축소: 제한된 사전 학습과 그라운딩 특화 지도 학습 없이도, 제안된 하이브리드 모델은 AR 기반 모델들과의 성능 격차를 약 25%p 에서 15%p 미만으로 줄였습니다.

4. 실험 결과 (Results)

데이터셋: Mind2Web, ScreenSpot (Web-Text, Web-Icon), VisualWebArena 등 4 가지 벤치마크에서 평가.
성능 (SSR 및 F1):
- 하이브리드 모델 vs 선형 모델: 모든 벤치마크에서 하이브리드 모델이 우세했습니다. 특히 VisualWebArena 에서 SSR 이 6.1%p 향상되었습니다.
- 하이브리드 모델 vs AR 모델 (Qwen2.5-VL, Phi-3-Vision):
  - Mind2Web: AR 모델 (Qwen 7B) 의 SSR 81.9% 대비 하이브리드 모델 83.9% 로 오히려 상회.
  - ScreenSpot-Web-Icon: AR 모델 85.4% 대비 하이브리드 모델 63.1% (여전히 AR 에 미치지 못하지만, 선형 모델 57.8% 대비 크게 개선).
  - 전반적으로 AR 모델과 성능 격차가 크게 축소되었습니다.
지연 시간 (Latency):
- 하이브리드 마스킹은 순차적 의존성으로 인해 선형 모델보다 약간 더 많은 지연 시간 (약 2 초 증가) 을 발생시켰으나, 데이터 확장을 통해 이를 상쇄하고 전체적인 효율성을 높였습니다.
- 확산 단계 수를 늘리면 정확도는 일정 수준 (약 80%) 에서 정체되지만 지연 시간은 계속 증가하므로, 64 단계가 최적의 트레이드오프 지점임을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

패러다임 전환: GUI 에이전트 개발에 있어 AR 모델의 독점적 지위에 도전하며, 확산 기반 모델이 GUI 그라운딩을 위한 유망한 대안임을 입증했습니다.
구조적 학습의 중요성: GUI 요소의 좌표는 단순한 토큰 나열이 아니라 기하학적 계층 구조를 가지므로, 이를 반영한 마스킹 전략 (하이브리드 스케줄) 이 필수적임을 보여줍니다.
미래 연구 방향: 이 연구는 확산 기반 GUI 에이전트 개발의 기초를 마련했으며, 향후 다단계 계획 (Multi-step planning) 및 복잡한 작업 자동화로 확장될 수 있는 토대가 됩니다.

요약하자면, 이 논문은 LLaDA-V 를 기반으로 한 하이브리드 마스킹 전략을 통해 확산 모델이 GUI 그라운딩에서 AR 모델을 능가하거나 경쟁할 수 있음을 증명하며, 다양한 도메인의 데이터 확장이 모델의 정확도와 효율성을 동시에 개선한다는 사실을 규명한 중요한 연구입니다.