💻 computer science

VISUALSKILL: Multimodal Skills for Computer-Use Agents

이 논문은 시각적 형상을 텍스트로 변환하는 대신 스킬 아티팩트에 그대로 유지함으로써 컴퓨터 사용 에이전트의 장기 과제 수행 능력을 향상시키는 멀티모달 스킬 프레임워크인 VISUALSKILL을 소개하며, 이는 베이스라인 및 텍스트 전용 스킬 방식 모두에 비해 상당한 정확도 향상을 가져온다.

원저자: Ziyan Jiang, Li An, Yujian Liu, Jiabao Ji, Qiucheng Wu, Jacob Andreas, Yang Zhang, Shiyu Chang

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziyan Jiang, Li An, Yujian Liu, Jiabao Ji, Qiucheng Wu, Jacob Andreas, Yang Zhang, Shiyu Chang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 사진 편집기나 스프레드시트 프로그램 같은 복잡한 소프트웨어 사용법을 가르치려 한다고 상상해 보세요. 로봇은 화면을 볼 수 있고 마우스를 움직일 수 있지만, 그 소프트웨어를 "알지는" 못합니다. 이는 마치 관광객에게 도시의 지도를 건네주었는데, 그 지도가 온통 외국어로만 되어 있고 그림은 하나도 없는 것과 같습니다. 그들은 어디로 가야 할지 짐작은 할 수 있겠지만, 길을 잃기 쉬울 것이며, 특히 길이 바뀌거나 숨겨진 골목길을 찾아야 할 때 더욱 그렇습니다.

이것이 바로 VISUALSKILL이라는 논문이 해결하고자 하는 문제입니다.

문제점: 텍스트로 된 지도 vs 시각적 현실

현재의 "컴퓨터 사용 에이전트"(소프트웨어를 사용하는 로봇)들은 꽤 유능해지고 있지만, 여전히 길고 복잡한 작업이나 본 적 없는 소프트웨어를 다루는 데 어려움을 겪습니다.

이를 돕기 위해 연구자들은 "스킬 라이브러리(skill libraries)", 즉 로봇을 위한 일종의 사용 설명서를 구축했습니다. 하지만 문제는 이 설명서들이 오직 텍스트로만 작성되었다는 점입니다.

연구진은 두 가지 이유로 이것이 잘못된 방식이라고 주장합니다:

그림을 말로 설명하는 것은 어렵다: 로봇에게 "파란색 브러시 도구"라고 말하며 클릭할 아이콘을 알려준다고 상상해 보세요. 근처에 파란색 도구가 다섯 개 있다면, 로봇은 엉뚱한 것을 클릭할 수 있습니다. 반면, 사진은 정확한 모양과 위치를 즉각적으로 보여줍니다.
자신의 작업을 확인하기 어렵다: 여러 단계로 이루어진 작업에서 로봇은 "내가 정말 제대로 된 메뉴를 열었나?"를 확인해야 합니다. 만약 매뉴얼에 "작은 창이 나타날 것입니다"라고 적혀 있다면, 로봇은 그것이 어떻게 생겼는지 추측해야만 합니다. 하지만 매뉴날에 그 창의 스크린샷이 있다면, 로봇은 화면을 사진과 직접 비교하여 확실하게 알 수 있습니다.

해결책: VISUALSKILL

저자들은 이러한 설명서를 만드는 새로운 방법인 VISUALSKILL을 개발했습니다. 단순히 텍스트만 제공하는 대신, VISUALSKILL은 원래의 사진과 스크린샷을 지침 바로 옆에 함께 보관합니다.

이렇게 생각해보세요:

기존 방식 (텍스트 전용): "빨간 소스를 넣으세요"라고 적힌 레시피. (로봇은 어떤 병이 빨간색인지 추측해야 합니다.)
VISUALSKLILL: "빨간 소스를 넣으세요"라는 문구와 함께, 바로 아래에 선반 위에 놓인 정확한 빨간 소스 병의 사진이 있는 레시피.

구축 방법 (2단계 파이프라인)

연구팀은 이 매뉴얼을 수작업으로 작성한 것이 아니라, 두 단계에 걸쳐 자동으로 생성하는 시스템을 구축했습니다:

1단계: 공식 매뉴얼 채굴기 (The Official Manual Miner).
소프트웨어의 공식 사용자 가이드(기업이 만든 PDF 또는 웹사이트)를 가져와 구조화된 스킬로 변환합니다 가이드에 포함된 모든 원래의 다이어그램과 스크린샷을 그대로 유지합니다. 이를 통해 로봇에게 탄탄한 기초를 제공합니다.
2단계: 라이브 탐험가 (The Live Explorer).
공식 가이드는 종종 구식이거나, 실제로 소프트웨어를 사용할 때만 나타나는 특이하고 작은 팝업 창들을 놓칠 수 있습니다. 그래서 시스템은 "로봇 탐험가"를 실제로 소프트웨어에 투입합니다.
- 자유 탐색 (Free Exploration): 탐험가는 대기 상태의 화면을 돌아다니며 버튼을 클릭해 어떤 일이 일어나는지 확인하고, 새로 나타나는 모든 창의 사진을 찍습니다.
- 타겟 탐사 (Targeted Exploration): 시스템은 로봇이 이전에 실패했던 작업들을 살펴봅니다. "아, 로봇이 이 특정 메뉴에서 막혔구나"라고 판단하면, 탐험가를 해당 지점으로 구체적으로 보내 사진을 찍고 노트를 작성하게 합니다.

이 새로운 사진과 노트들은 다시 매뉴얼에 결합되어, 실제 소프트웨어와 완벽하게 일치하는 "살아있는" 가이드가 됩니다.

로봇이 사용하는 방법

로봇은 100페이지짜리 매뉴얼 전체를 한꺼번에 읽지 않습니다 (그것은 너무 많은 정보이기 때문입니다). 대신, 로봇에게는 load_topic이라는 특별한 도구가 있습니다.

로봇은 현재 자신의 작업을 살펴봅/
짧은 인덱스(목차와 같은 것)를 확인하여 어떤 주제가 관련 있는지 파악합니다.
도구에 요청합니다: "이 주제에 대한 지침을 보여줘."
도구는 그 즉시 해당 순간에 필요한 텍스트 와 특정 스크린샷을 함께 불러옵니다.

결과

연구진은 강력한 AI 에이전트를 사용하여 두 가지 주요 벤치마크(어려운 컴퓨터 작업 세트)에서 이를 테스트했습니다.

스킬 없음 (No Skill): 로봇에게 아무런 도움을 주지 않았습니다. 성공률은 약 **30%**였습니다.
텍스트 전용 스킬 (Text-Only Skill): 동일한 출처로 만든 텍스트 전용 매뉴얼을 제공했습니다. 성공률은 **37%**로 올라갔습니다.
VISUALSKILL (멀티모달): 사진이 포함된 매뉴얼을 제공했습니다. 성공률은 **45%**로 급증했습니다.

핵심 발견: 사진이 엄청난 차이를 만들었습니다. 로봇은 다음 작업들을 훨씬 더 잘 수행했습니다:

올바른 버튼 찾기: 설명을 바탕으로 추측하는 대신 아이콘을 직접 볼 수 있었습니다.
진행 상황 확인: 화면을 참조 사진과 비교하여 자신이 올바른 경로에 있는지 확인할 수 있었습니다.

이것이 중요한 이유

논문은 컴퓨터를 사용하는 로봇에게 있어 **시각 자료는 단순히 "있으면 좋은 것"이 아니라 "필수적인 것"**이라고 결론짓습니다. 그래로픽 인터페이스를 단지 글로만 설명하려는 것은, 그림을 한 번도 본 적 없는 사람에게 그림을 설명하려는 것과 같습니다. 지침서에 사진을 포함함으로써, 로봇은 인간처럼 무엇을 해야 하는지 실제로 "볼" 수 있게 됩니다.

또한 저자들은 로봇이 정보를 어떻게 얻느냐가 중요하다는 것을 발견했습니다. 만약 로봇이 사람이 책을 읽듯 파일을 읽게 내버려 두면, 사진을 건너뛰는 경우가 많았습니다. 하지만 텍스트와 사진을 한 번에 전달하는 특별한 도구(load_topic)를 사용함으로써, 로봇은 시각적 단서를 효과적으로 활용할 수 있었습니다.

요약하자면: 로봇에게 무엇을 할지 말로만 하지 말고, 보여주세요.

기술 요약: VISUALSKILL

문제 정의

컴퓨터 사용 에이전트(Computer-use agents, CUAs)는 표준화된 데스크톱 벤치마크에서 인간에 가까운 성능을 달-성했으나, 장기적인 과업(long-horizon tasks)과 미학습 소프트웨어에서는 여전히 어려움을 겪고 있다. 이러한 한계는 주로 사전 학습(pre-training)이 제공하지 못하는 애플리케이션 특유의 절차적 지식(예: 특정 메뉴 위치, 대화 상자 시퀀스, 다단계 워크플로우 상태)의 부재에서 기인한다. 기존의 스킬 라이브러리는 재사용 가능한 지식을 제공함으로써 이를 해결하려 시도하지만, 대부분의 경우 스킬을 텍스트 전용 아티팩트로 표현한다. 이러한 모달리티는 다음과 같은 두 가지 주요 이유로 GUI 상호작용에 부적합하다:

정보 손실: 많은 UI 요소(아이콘, 레이아웃, 공간적 관계)는 텍스트로 설명하기에 너무 장황하거나 모호하다. 이러한 요소들을 언어화하는 과정에서 원래 스크린샷에 존재하는 정보의 손실이 발생한다.
검증의 어려움: 다단계 워크플로우에서 에이전트는 각 동작 이후 중간 UI 상태를 검증해야 한다. 텍스트 설명은 간접적인 접지(grounding)만을 제공하므로, 의도한 상태와 시각적으로 유사하지만 잘못된 상태를 구별하기 어렵게 만든다.

방법론: VISUALSKILL

저자들은 텍스트 절차와 함께 시각적 형상(visual figures)을 유지하도록 설계된 계층적 멀티모달 스킬 아티팩트인 VISUALSKILL을 제안한다.

스킬 구조

VISUALSKILL은 대상 애플리케이션당 2개 층의 계층 구조로 구성된다:

중앙 인덱스 (skill.md): 모든 주제를 "사용 시점"에 대한 짧은 설명과 함께 나열한다.
주제별 가이드: 각 가이드 $g_t$ 는 텍스트 본문 $p_t$ 와 UI 형상 세트 $F_t$ 를 쌍으로 결합한다.
로딩 메커니즘: 에이전트는 스킬 전체를 한꺼번에 로드하지 않는다. 대신 인덱스를 참조하고 load_topic(t) 모델 컨텍스트 프로토콜(Model Context Protocol, MCP) 도구를 호출하여 필요한 시점에 특정 주제의 텍스트와 형상을 가져온다. 이는 형상이 참조 텍스트와 함께 인라인으로 전달되도록 하여, 형상이 문맥에서 누락되거나 분리되는 것을 방지한다.

구축 파이프라인

VISUALSKILL은 모달리티의 효과를 격리하기 위해 동일한 소스 콘텐츠로부터 멀티모달 스킬( $S_{mm}$ )과 매칭된 텍스트 전용 대조군( $S_{txt}$ )을 모두 생성하는 2단계 파이프라인을 통해 구축된다:

1단계: 문서 마이닝 (Documentation Mining):
- 애플리케이션의 공식 사용자 가이드(PDF/HTML)를 파싱한다.
- 문서의 목차를 주제 계층 구조로 재사용한다.
- 벤더가 그린 형상을 그대로 추출하고, 공동 LLM 호출을 통해 두 모달리티를 위한 텍스트 본문을 생성한다.
2단계: 실시간 UI 탐색 (Live UI Exploration):
- 문서에 누락된 지식(예: 저빈도 대화 상자, 시각적 어포던스)을 캡처하기 위해 LLM 제어 탐색기로 실제 애플리케이션을 구동하여 1단계 스킬을 보강한다.
- 자유 탐색기 (Free Explorer): 플래너가 유휴 애플리케이션 창을 영역별로 분할하면, 워커 에이전트들이 각 영역과 상호작용하며 스크린샷을 캡처하고 어포던스를 요약한다.
- 궤적 타겟형 탐색기 (Trajectory-Targeted Explorer): 리뷰어가 실패한 훈련 궤적을 분석하여 1단계 스킬이 성능을 발휘하지 못한 UI 영역을 식별한다. 워커들은 누락된 동적 상태를 캡처하기 위해 해당 특정 영역으로 파견된다.
- 캡처된 스크린샷과 노트는 주제별 가이드로 병합된다.

주요 기여

계층적 멀티모달 아티팩트: 시각적 형상을 텍스트와 함께 유지하며, MCP 도구를 통해 온디맨드로 접근할 수 있는 주제 인덱스 구조로서의 VISUALSKILL 설계.
2단계 구축 파이론: 포괄적인 스킬 세트를 만들기 위해 저작된 문서 마이닝과 실시간 애플리케이션 UI 탐색(자유 및 궤적 타겟형 모두 포함)을 결합하는 방법론.
통제된 평가: 동일한 소스 자료와 절차적 단계로부터 생성되었으나 모달리티만 다른 매칭된 텍스트 전용 대조군을 생성함으로써, 시각적 형상의 존재로 인한 성능 향상을 특정함.

실험 결과

저자들은 Claude Opus 4.6 기반의 Claude Code CLI 에이전트를 사용하여 CUA-World 및 OSExpert-Eval의 177개 과업에 대해 VISUALSKILL을 평가하였다.

베이스라인 개선: 에이전트는 스킬 없이 평균 점수 0.303을 기록했다.
1단계 영향: 문서 유래 VISUALSKILL을 사용했을 때 점수는 0.363으로 상승했다 (+베이스라인 대비 절대 수치 6.0%).
2단계 영향: UI 탐색(2단계)을 추가했을 때 점수는 0.456으로 더욱 증가했다 (+베이스라인 대비 절대 수치 15.3%).
멀티모달 vs. 텍스트 전용:
- 1단계에서 멀티모달 스킬은 텍스트 전용 대조군보다 +1.9% 절대 수치만큼 앞섰다 (0.344 vs. 0.363).
- 2단계에서 멀티모달 스킬은 텍스트 전용 대조군보다 +8.3% 절대 수치만큼 앞섰다 (0.373 vs. 0.456).
- 멀티모달의 이점은 아이콘, 대화 상자, 레이아웃 인식이 성공의 핵심인 시각 집약적 도메인(예: GIMP, OpenToonz, Tableau)에서 가장 두드러졌다.
로딩 메커니즘에 대한 절제 실험 (Ablation): load_topic MCP 도구를 표준 Read 파일 액세스 메커니즘으로 교체했을 때 성능이 크게 하락했다. MCP 도구는 에이전트가 궤적 전반에 걸쳐 스킬을 참조하도록 보장하였으며(중앙값 마지막 참조 단계 10.4), 과업당 약 7.9개의 형상을 로드한 반면, Read 방식은 조기 포기를 초래하였고(중앙값 단계 1.5) 과업당 약 0.8개의 형상만을 로드했다.

의의 및 주장

본 논문은 시각적 형상을 언어화하는 대신 스킬 아티팩트에 유지하는 것이 에이전트에게 다음과 같은 직접적인 증거를 제공한다는 점을 주장한다:

UI 요소 식별: 텍스트로는 모호할 수 있는 아이콘, 레이아웃, 공간적 관계를 정확하게 위치 파악함.
워크플로우 상태 검증: 현재 관찰 결과와 참조 스크린샷을 직접 대조하여 중간 상태를 확인하며, 특히 침묵의 실패(예: 입력 필드가 수락된 것처럼 보이지만 커밋 시 거부되는 경우)를 식별함.

저자들은 컴퓨터 사용 에이전트의 경우, 스킬 아티팩트가 텍스트 전용 문서가 아닌 멀티모달, 온디맨드 참조 모델이어야 한다고 결론짓는다. 이들은 시각적 접지, MCP 기반의 전달 메커니즘, 그리고 궤적 타겟형 탐색의 조합이 보고된 성능 향상을 달성하는 데 각각 필수적임을 강조한다.

한계점: 저자들은 현재 모델들이 로드된 주제 내에서 어떤 특정 형상이 관련 있는지 결정하는 데 어려움을 겪을 수 있으며, 이로 인해 컨텍스트 인플레이션이 발생할 수 있다고 언급했다. 성능이 낮은 모델의 경우, 이러한 거친 입도(coarse granularity)는 컨텍스트 길이 압박으로 인해 성능을 저하시킬 수 있으며, 이는 멀티모달 스킬을 위한 더 효과적인 컨텍스트 예산 책정(context budgeting)이 여전히 해결해야 할 과제임을 시사한다.