🤖 AI

DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding

DRS-GUI 는 경량 UI 지각자와 MCTS 기반 행동 계획자를 활용하여 복잡한 스크린샷에서 지시와 관련된 요소를 효율적으로 찾기 위해 인간과 유사한 지각 행동 (초점, 이동, 분산) 을 동적으로 시뮬레이션함으로써 멀티모달 대규모 언어 모델의 GUI 그라운딩을 향상시키는 학습이 불필요한 프레임워크입니다.

원저자: Yichao Liu, Huawen Shen, Liu Yu, Shiyu Liu, Zeyu Chen, Yu Zhou

게시일 2026-05-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yichao Liu, Huawen Shen, Liu Yu, Shiyu Liu, Zeyu Chen, Yu Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 화면에서 클릭해야 하는 특정 작은 버튼을 찾으려 한다고 상상해 보세요. 하지만 이 화면은 그 어떤 화면도 아닙니다. 수백 개의 아이콘, 메뉴, 텍스트 상자가 뒤섞인 고해상도의 지저분한 혼란 상태입니다. 표준 AI 에게 "저장 버튼을 클릭하라"고 요청하면, AI 는 종종 안개 낀 안경을 쓴 채 건초더미 속에서 바늘을 찾으려는 사람처럼 시각적 잡음에 압도됩니다.

이 논문은 AI 가 화면의 올바른 위치를 찾도록 도와주는 새로운 "학습 불필요 (training-free)" 방법인 DRS-GUI를 소개합니다. 이 방법은 AI 를 재학습시키거나 새로운 기술을 가르칠 필요 없이, 마치 똑똑하고 인간 같은 안내자처럼 작동합니다.

간단한 비유를 들어 작동 방식을 설명해 보겠습니다:

문제: "원샷 (One-Shot)" 실수

현재의 AI 모델들은 보통 버튼의 위치를 한 번의 큰 도약으로 추측하려 합니다. 만약 혼란스러운 화면 전체를 보고 잘못된 추측을 한다면, 그들은 갇히게 됩니다. 마치 지도에서 하나의 좌표를 추측하여 거대한 도시의 특정 거리를 찾으려 하다가 확대하지 않은 채로 실수하는 것과 같습니다. 잘못된 동네를 추측하면 회복할 수 없습니다.

해결책: DRS-GUI (똑똑한 탐정)

DRS-GUI 는 게임을 바꿉니다. 즉시 추측하는 대신, 먼저 탐색한 다음 해결하는 탐정처럼 행동합니다. 이 과정은 세 가지 주요 부분으로 나뉩니다:

1. "UI 지각기 (UI Perceptor)" (탐정의 돋보기)

AI 가 정답을 추측하기 전에, 이 모듈은 화면을 스캔하여 객체 (버튼, 텍스트, 아이콘) 목록으로 분해합니다. 그런 다음 질문합니다: "이 객체들 중 사용자의 요청과 실제로 일치하는 것은 무엇인가?"

비유: 과일 바구니에서 "빨간 사과"를 찾고 있다고 상상해 보세요. 지각기는 바구니를 뒤적이며 바나나와 오렌지는 무시하고 빨간 과일만 강조하는 손과 같습니다.

2. 세 가지 "인간 같은" 움직임

지각기가 잠재적 후보 목록을 확보하면, 시스템은 한 지점만 응시하지 않습니다. 마치 인간이 하듯이 세 가지 동적인 움직임을 사용하여 시야를 조정합니다:

집중 (확대): AI 가 관련 항목들의 군집을 보게 되면, 나머지 지저분한 부분을 무시하고 더 잘 보기 위해 단단히 확대합니다.
- 비유: 메뉴판의 작은 글자를 읽기 위해 눈을 찡그리는 것.
이동 (이동): AI 가 화면의 잘못된 부분을 보고 있음을 깨닫는 경우 (예: 버튼이 아래에 있는데 상단 메뉴를 보고 있는 경우), 즉시 시야를 새로운 영역으로 이동합니다.
- 비유: 도서관에서 잘못된 선반을 보고 있음을 깨닫고 올바른 선반으로 걸어가는 것.
분산 (축소): AI 가 너무 좁게 접근하여 맥락을 놓치게 되면, 다시 더 큰 그림을 보기 위해 축소합니다.
- 비유: 너무 가까이서 세부 사항을 보지 못했기 때문에 캔버스 전체를 보기 위해 그림에서 물러서는 것.

3. "행동 계획가 (Action Planner)" (체스 마스터)

AI 는 다음에 어떤 움직임을 해야 할지 어떻게 알까요? 이는 몬테카를로 트리 서치 (MCTS) 라는 전략을 사용합니다.

비유: 이를 체스 선수처럼 생각하세요. AI 는 단순히 한 번의 수를 두는 대신, 머릿속에서 여러 가지 가능한 미래를 시뮬레이션합니다. 질문합니다: "지금 확대하면 목표를 찾을 수 있을까? 왼쪽으로 이동하면 찾을 수 있을까?"
각 가능성을 점수 매기기 위해 "품질 보상 (Quality Reward)" 시스템을 사용합니다. 질문합니다: "이 확대된 뷰에는 올바른 종류의 버튼이 포함되어 있는가? 너무 비어 있는가? 텍스트가 선명한가?"
만약 경로가 나쁘게 보이면 (예: 빈 공간으로 확대된 경우), AI 는 "후퇴"하여 다른 시도를 합니다. 이는 AI 가 막다른 길에 갇히는 것을 방지합니다.

결과: 더 깨끗한 탐색

DRS-GUI 는 주요 AI 가 예측을 시도하기 전에 "시각적 쓰레기"를 필터링하기 때문에, AI 는 화면의 작고 깨끗하며 관련 있는 부분만 보게 됩니다.

논문의 주장: 수백 개의 버튼이 있는 전문 소프트웨어와 같은 어렵고 고해상도의 화면에서 테스트했을 때, 이 방법은 AI 의 정확도를 14% 향상시켰습니다.
핵심 교훈: 기존 AI 모델을 재학습시킬 필요 없이 작동합니다. AI 가 행동하기 전에 보는 것을 더 똑똑하게 만드는 "플러그 앤 플레이" 업그레이드입니다.

간단히 말해, DRS-GUI 는 AI 가 지저분한 화면에서 맹목적으로 추측하는 것을 멈추게 하고, 대신 인간처럼 스캔하고, 이동하고, 확대하고, 주변 환경을 평가하도록 가르쳐 매번 올바른 버튼을 찾도록 보장합니다.

기술 요약: DRS-GUI

문제 제기
멀티모달 대규모 언어 모델 (MLLM) 기반의 그래픽 사용자 인터페이스 (GUI) 에이전트는 규칙 기반 스크립트에서 자연어 상호작용으로 진화했습니다. 그러나 정확도 측면에서 중요한 병목 현상이 남아있습니다: 고해상도이고 시각적으로 밀집된 스크린샷 내에서 사용자의 지시를 특정 UI 요소에 정확하게 연결하는 것입니다. 기존 접근 방식은 두 가지 주요 문제에 직면해 있습니다:

시각적 혼란: 고해상도 인터페이스는 MLLM 을 지시와 관련된 단서에서 분산시키는 상당한 중복 요소를 포함합니다.
경직된 지각: 현재 방법들은 일반적으로 '순방향만' 패러다임을 따릅니다. 단일 단계 모델은 전체 화면에 대해 좌표를 직접 회귀시켜, 종종 배경 노이즈에서 표적을 분리하는 데 실패합니다. 다단계 정제 방법 (반복적인 자르기/확대) 은 단계가 정렬을 개선하는지 평가하거나 의미론적 단서에서 경로가 벗어날 때 되돌아가는 메커니즘이 부족하여 되돌릴 수 없는 오류 누적을 초래합니다.

방법론: DRS-GUI
저자들은 DRS-GUI(지상 GUI 를 위한 동적 영역 검색) 를 제안합니다. 이는 베이스 MLLM 이 최종 좌표 예측을 수행하기 전에 동적 영역 검색 단계를 삽입하는 학습이 없는 프레임워크입니다. 이 시스템은 단일 좁아지는 경로에 의존하는 대신 주의를 동적으로 조정함으로써 인간의 지각 행동을 모방합니다.

프레임워크는 두 가지 주요 모듈로 구성됩니다:

UI 지각자 (UI Perceptor):
- 기능: OmniParser V2 를 사용하여 현재 영역을 구조화된 UI 요소 (바운딩 박스, OCR/캡셔닝을 통한 의미론적 설명, 상호작용 상태) 로 파싱합니다.
- 의미론적 정렬: 공유 접두사와 instructor-large 임베더를 사용하여 사용자 지시와 요소 설명 모두에 대한 도메인별 임베딩을 생성합니다. 이는 코사인 유사도를 통해 관련성 점수 ( $s_i$ ) 를 계산하기 위한 통합 의미론적 공간을 만듭니다.
- 지각 행동: 관련성 점수에 기반하여 지각자는 후보 영역을 생성하기 위해 세 가지 인간과 유사한 행동을 실행합니다:
  - 초점 (Focus): 매우 관련성 높은 요소로 시야를 수축시켜 공간적 이상치를 제거하고 컴팩트한 자르기를 생성합니다.
  - 이동 (Shift): 현재 시야가 정보 제공이 부족할 때 고관련성 단서를 포함하는 대체 영역으로 시야를 이동시켜 주의를 재중앙화합니다.
  - 분산 (Scatter): 현재 영역이 일관된 의미론적 단서가 부족할 때 더 넓은 맥락을 복구하기 위해 시야를 확장하여 검색이 좁은 국소 영역에 갇히는 것을 방지합니다.
MCTS 행동 계획자 (MCTS Action Planner):
- 기능: 몬테카를로 트리 검색 (MCTS) 을 사용하여 지각 행동을 스케줄링하고 가역적인 검색 경로를 구성합니다.
- 프로세스: 계획자는 영역을 검색 트리의 노드로 간주합니다. 노드 선택 (탐색과 활용을 균형 있게 조정하는 UCT 정책 사용), 확장 (Focus, Shift, 또는 Scatter 적용), 그리고 시뮬레이션 및 역전파를 반복적으로 수행합니다.
- 영역 품질 보상: 검색을 안내하기 위해 복합 보상 함수는 세 가지 지표를 기반으로 각 후보 영역을 평가합니다:
  - 상호작용 가중 관련성: 정적 텍스트보다 상호작용 요소를 우선시합니다.
  - UI 커버리지 일관성: 영역이 빈 공간이 아닌 실제 UI 구조를 포함하는지 확인합니다.
  - 의미론적 집중도: 명확한 의미론적 초점을 보장하기 위해 관련성 점수의 엔트로피를 측정합니다.
- 선택: 누적 보상이 가장 높은 영역이 베이스 MLLM 을 위한 최종 추론 영역 ( $R_{best}$ ) 으로 선택됩니다.

주요 기여

학습이 없는 프레임워크: DRS-GUI 는 추가 모델 학습이나 미세 조정이 필요 없으며, 기존 범용 및 GUI 특화 MLLM 을 위한 플러그 앤 플레이 향상 기능으로 작동합니다.
동적 지각 - 행동 프로세스: 초기 주의가 잘못 배치된 경우 시야를 이동하거나 확장할 수 있는 가역적 검색 메커니즘을 도입하여 순방향-only 정제의 취약성을 해결합니다.
구조화된 검색 공간: 경량 UI 지각자와 MCTS 기반 계획자 및 영역 품질 보상을 결합함으로써 "어디를 볼지"와 "무엇을 예측할지"를 효과적으로 분리합니다.

실험 결과
저자들은 ScreenSpot-V1, ScreenSpot-V2, 그리고 고해상도이고 요소가 밀집된 ScreenSpot-Pro 세 가지 벤치마크에서 DRS-GUI 를 평가했습니다.

성능 향상: ScreenSpot-Pro 에서 DRS-GUI 는 Qwen2.5-VL-7B 와 UGround-V1-7B 모두에 대해 지상 정확도를 14% 향상시켰습니다.
일반화: 이 프레임워크는 일반 오픈소스 MLLM(예: Qwen2.5-VL-3B/7B) 과 GUI 특화 모델 (UGround-V1-2B/7B) 을 아우르는 베이스라인보다 일관되게 우수한 성능을 보였습니다.
효율성 대 크기: 주목할 점은 DRS-GUI 로 강화된 Qwen2.5-VL-3B(정확도 28.7%) 가 OS-Atlas-7B(18.9%) 와 같은 더 큰 특화 모델을 능가했다는 것입니다. 이는 밀집된 인터페이스에서 모델 규모보다 적응형 지각 검색이 더 중요함을 시사합니다.
중복성 감소: 이 방법은 입력 이미지 픽셀 크기와 UI 요소 수를 평균적으로 약 64% 와 54% 감소시켜 시각적 노이즈를 효과적으로 필터링했습니다.

의의 및 주장
이 논문은 DRS-GUI 가 GUI 지상에서의 정적이고 비가역적인 정제 전략의 고유한 한계를 해결한다고 주장합니다. 불확실성이 발생할 때 주의를 스캔, 정제, 이동시키는 인간의 능력을 모방함으로써, 이 프레임워크는 복잡하고 고해상도 환경에서의 견고성을 크게 향상시킵니다. 저자들은 밀집된 인터페이스에서의 신뢰할 수 있는 지상은 모델 파라미터를 늘리는 것보다 적응형 지각 검색 메커니즘에 더 의존한다고 가정하며, 재학습 비용 없이 GUI 에이전트를 개선하기 위한 확장 가능한 솔루션을 제시합니다.