🤖 AI

GUI agent: Guided Exploration of User-Sensitive Screens

이 논문은 현재의 LLM 기반 에이전트가 임계 시나리오를 인식하고 인간 사용자에게 제어권 이양을 요청할 수 있도록 함으로써, 에이전트가 사용자 민감형 화면 상태와 질의를 체계적으로 식별하도록 설계된 GUI 탐색 에이전트를 소개한다.

원저자: Aradhana Nayak, Mussadiq Nazeer, Wang Peng, Feng Liu

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aradhana Nayak, Mussadiq Nazeer, Wang Peng, Feng Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 의욕 넘치는 로봇 비서(AI 에이전트)가 있다고 상상해 보세요. 이 로봇은 당신의 휴대폰 화면을 터치하고, 앱을 열고, 식료품을 사거나 달력 알림을 설정하는 등의 업무를 대신 수행할 수 있습니다. 이 로봇은 지시를 따르는 데 매우 뛰어나지만, 위험한 습관이 하나 있습니다. 바로 언제 도움을 요청하며 멈춰야 할지를 모른다는 점입니다.

만약 로봇이 비밀번호를 입력하는 화면이나, 실수로 사진을 삭제할 수도 있는 화면을 보게 된다면, 로봇은 생각 없이 그냥 계속 진행해 버릴 수 있습니다. 현실 세계에서 이는 매우 위험합니다. 당신은 로봇이 돌이킬 수 없는 행동을 하기 전에, "이것은 중요한 작업 같습니다. 제가 잠시 멈추고 사용자님의 제어를 받겠습니다"라고 말해주기를 원할 것입니다.

이 논문은 이러한 로봇 비서들이 스스로 '위험 구역'을 찾아낼 수 있도록 가르치는 새로운 도구인 **"익스플로러 에이전트(Explorer Agent)"**를 소개합니다.

논문에서 설명하는 이들의 방법론을 쉬운 비유를 들어 설명하겠습니다.

1. 문제점: 도움을 요청할 줄 모르는 로봇

현재의 AI 로봇들은 어떤 상황에서도 과업을 완수하도록 훈련되어 있습니다. 만약 과업 중에 민감한 화면(은행 송금이나 파일 삭제 등)이 포함되어 있다면, 로봇은 생각 없이 그냥 "확인"을 클릭할 수 있습니다. 저자들은 이것을 아이에게 자동차를 주며 상점에 가라고 말하면서, 정작 빨간불에 멈추는 법은 가르쳐주지 않은 것과 같다고 말합니다. 단순한 여행에는 문제가 없지만, 복잡한 여정에서는 매우 위험합니다.

2. 해결책: "지도 제작자" 로봇

단순히 로봇에게 운전하는 법을 가르치는 대신, 저자들은 특별한 "익스플로러(탐험가)" 로봇을 만들었습니다. 이 로봇의 유일한 임무는 메인 로봇이 실제로 마주하기 전에, 휴대폰 인터페이스를 돌아다니며 까다롭고 민감한 화면들을 미리 찾아내는 것입니다.

이것은 마치 정찰병을 숲속으로 먼저 보내는 것과 같습니다. 정찰병의 임무는 나무를 베거나 집을 짓는 것이 아니라, 절벽, 늪지대, 숨겨진 함정 등을 찾아내어 본대가 허가 없이 그곳에 가지 않도록 미리 알려주는 것입니다.

3. 익스플로러의 작동 방식 ("MCTS" 방법)

논문은 MCTS(Monte Carlo Tree Search)라는 방법을 사용합니다. 익스플로러가 "만약에?"라는 게임을 하고 있다고 상상해 보세요.

시작점: 익스플로러는 당신이 준 간단한 작업, 예를 들어 "Wi-Fi를 켜줘"라는 명령에서 시작합니다.
가지치기(Branching Out): 익스플로러는 스스로에게 질문합니다. "만약 내가 이 버튼 대신 다른 것을 클릭한다면? 만약 다른 비밀번호를 입력한다면? 만약 먼저 설정 메뉴로 들어간다면?"
"참신함(Novelty)" 점수: 익스플로러는 자신이 본 모든 화면의 목록을 머릿속에 기록합니다. 만약 이전에 본 적 없는 새로운 화면(novel screen)을 발견하면 높은 점수를 받습니다. 백 번 본 익숙한 화면을 발견하면 낮은 점수를 받습니다.
목표: 익스플로러의 목표는 단순히 새로운 화면을 찾는 것이 아니라, 민감한(개인 정보가 포함된 것과 같은) 화면을 찾는 것입니다.

4. 훈련 루프: 실행하며 배우기

저자들은 이 익스플로러를 세 단계(비디오 게임의 레벨과 같은)에 걸쳐 훈련시켰습니다.

1라운드: 익스플로러는 매우 거칠고 자유분방합니다. 수백 가지의 다양한 경로를 시도합니다. 많은 새로운 화면을 찾아내지만, 동시에 많은 실수를 하고 혼란을 겪기도 합니다.
2 & 3라운드: 익스플로러는 점점 더 똑똑해집니다. 이전의 시도로부터 배웁니다. 아무 데도 연결되지 않는 경로에 시간을 낭비하는 것을 멈추고, 특정 "민감한" 화면을 찾는 데 집중합니다.
결과: 훈련이 진행됨에 따라 익스플로러가 발견하는 '새로운' 화면의 수는 줄어듭니다. 이는 언뜻 나빠 보일 수 있지만, 논문에서는 오히려 좋은 신호라고 말합니다. 이는 익스플로러가 거의 모든 위험한 영역을 지도화했다는 뜻입니다. 즉, 함정이 어디에 있는지 파악했다는 의미입니다.

5. "포화(Saturation)" 체크

논문에는 탐색을 언제 멈출지 결정하는 특별한 알고리즘이 포함되어 있습니다. 벽에 페인트를 칠한다고 상상해 보세요. 처음에는 붓질 한 번에 넓은 면적을 덮을 수 있습니다. 하지만 결국에는 이미 칠해진 곳을 반복해서 칠하게 됩니다. 이 알고리즘은 익스플로러가 단순히 반복적인 행동을 하고 있다는 것을 감지하여, "좋아, 모든 독특한 민감한 화면을 다 찾았으니 이제 멈춰도 된다"라고 판단합니다.

6. 연구 결과

더 좋은 모델이 더 잘 작동한다: 그들은 익스플로러를 위해 다양한 AI 두뇌를 테스트했습니다. 더 크고 똑똑한 AI(Qwen-2.5-32B)가 더 작고 단순한 모델보다 새롭고 흥미로운 경로를 훨씬 더 잘 찾아냈습니다.
정확도 향상: 익스플로러를 훈련함에 따라, 버튼을 클릭했을 때 어떤 일이 일어날지 예측하는 능력이 향상되었습니다.
공간의 축소: 가장 중요한 발견은 훈련 라운드가 거듭될수록 "알 수 없는(unknown)" 영역이 점점 줄어들었다는 점입니다. 익스플로러는 사용자 민감 화면의 경계를 성공적으로 식별해 냈습니다.

요 요약

요약하자면, 이 논문은 AI가 다른 AI 에이전트를 위한 안전 검사관 역할을 수행하도록 훈련하는 방법을 제시합니다. 로봇이 무엇이 안전한지 스스로 알기를 막연히 기대하는 대신, 이 "익스플로러"를 사용하여 개인 정보나 위험한 정보가 포함된 모든 화면을 체계적으로 찾아냅니다. 일단 익스플로러가 이러한 구역을 지도화하고 나면, 메인 로봇은 해당 구역에 진입하기 전에 반드시 인간 사용자에게 허가를 구하도록 프로그래밍될 수 있습니다.

이 논문은 이것이 오늘 당장 당신의 휴대폰에 적용될 완성된 제품이라고 주장하는 것이 아닙니다. 그보다는 미래에 더 안전한 AI 에이전트를 구축할 수 있도록 돕는 방법론이자 데이터셋 생성 도구를 제시하는 것입니다.

기술 요약: GUI 에이전트: 사용자 민감 스크린에 대한 유도된 탐색

문제 정의
대규모 언어 모델(LLM) 에이전트는 오픈 그래픽 사용자 인터페이스(GUI) 환경 내에서 작업을 자동화하기 위해 점점 더 많이 배치되고 있습니다. 그러나 이러한 에이전트는 필연적으로 사용자 민감 정보(예: 금융 데이터, 개인 메시지)가 포함된 화면에 직면하게 되며, 여기서 자율적인 실행은 프라이버시와 안전에 대한 위험을 초-래합니다. 현재의 최첨단 LLM 기반 에이전트들은 일반적으로 안전성 함의와 관계없이 작업을 완료하도록 미세 조정되어 있어, 실제 환경에서의 배포를 어렵게 만들고 신뢰성을 저하시킵니다. 또한, GUI 에이전트 워크플로우는 종종 되돌릴 수 없는 작업(예: 파일 삭제, 이메일 전송)이 포함된 폐쇄 루프에서 작동하며, 단 한 번의 오류가 연쇄적인 실패로 이어질 수 있습니다. 따라서 사용자 민감 상태를 식별하고 분류하며, 에이전트가 언제 인간에게 제어권을 넘겨야 할지를 인식할 수 있도록 "사용자 민감 쿼리"를 정의하는 것이 절실히 필요합니다. 기존의 탐색 방법들은 솔루션 공간을 엄격하게 커버하지 못하거나 사용자 민감 상태를 구체적으로 타겟팅하는 데 실패하는 경우가 많습니다.

방법론
본 논문은 단일한 시연된 태스크로부터 시작하여 사용자 민감 상태로 이어지는 쿼리를 식별하기 위해, GUI 애플리케이션의 쿼리 공간을 체계적으로 탐색하도록 설계된 탐색 에이전트(Explorer Agent) 중심의 프레임워크를 제안합니다. 이 프레임워크는 두 가지 모델을 활용합니다:

네이티브 LM (Native LM): 실행 중 동작(예: M3A)을 결정합니다.
탐색 LM (Explorer LM): 핵심 기여 요소로, 순수 탐색을 목적으로 반복적으로 학습됩니다. 이 모델의 정책은 노벨티(novelty, 새로움)와 사용자 민감도에서 파생된 보상을 바탕으로 어떤 노드를 탐색할지 결정합니다.

방법론은 다음의 세 가지 주요 단계를 포함하는 반복적 학습 루프(알고리즘 1)를 따릅니다:

쿼리 선택, 확장 및 포화(Saturation):
- 탐색 LM은 베이스 궤적( $T_0$ )과 인스트럭션을 기반으로 쿼리 배치( $N \times M$ 에피소드)를 생성합니다.
- **쿼리 선택 알고리즘( $A_{sel}$ )**은 생성된 쿼리들을 필터링합니다. 이는 벡터 표현을 계산하고 코사인 유사도를 사용하여 기존 풀(pool) 및 배치 내의 쿼리와 유사도가 낮은(새로운) 쿼리만을 남기며, 초기 궤적과 구별되는 쿼리를 유지합니다.
- **포화 체크 알고리즘( $A_{sat}$ )**은 생성 과정을 모니터링합니다. 배치당 유지된 쿼리 수에 선형 및 다항식 곡선을 피팅하여, 모델이 더 이상 새로운 쿼리를 생성하지 않는 변곡점을 감지함으로써 포화 상태를 알립니다.
에뮬레이터를 통한 롤아웃(Roll-out):
- 선택된 쿼리들은 안드로이드 에뮬레이터(SPABench 설정 사용)에서 실행됩니다.
- 네이티브 LM이 동작을 수행하면, 시스템은 스크린샷과 액션 로그를 캡처합니다.
- 이 과정은 쿼리, 단계(step), 화면 설명 및 임베딩을 포함하는 에피소드 형태의 "메모리 뱅크"를 생성합니다.
학습 (역전파):
- 표준 MCTS 역전파 대신, 탐색 LM은 **그룹 상대 정책 최적화(GRPO)**를 사용하여 학습됩니다.
- 학습 목표는 이중적입니다: (1) 프롬프트-응답 쌍에 대한 지도 미세 조정(SFT)을 통해 정확한 단계를 생성하는 것과 (2) GRPO와 커스텀 보상 모델을 통해 새로운 사용자 민감 상태로 이어지는 새로운 쿼리를 생성하는 것입니다.
- 보상 모델링: 보상 함수( $R$ $R$ )는 세 가지 노벨티 점수로 구성됩니다:
  1. 쿼리 노벨티: K-평균 클러스터링 관성(inertia) 및 클러스터 인덱스 기반.
  2. 단계 노벨티: 메모리 뱅크에 대한 "actionPurpose" 단계의 코사인 유사도 기반.
  3. 카테고리 노벨티: 화면 카테고리의 빈도(특히 "critic" 또는 민감한 카테고리 플래깅) 기반.

주요 기여

탐색 에이전트 프레임워크: 단일 사용자 정의 궤적으로부터 사용자 민감 쿼리와 스크린을 격리하기 위해, 이전 반복의 경험 증류(experience distillation)를 활용하는 새로운 알고리즘을 제공합니다.
노벨티 기반 보상 시스템: 에이전트가 미방문된, 잠재적으로 민감한 상태로 향하도록 유도하기 위해 쿼리, 단계 및 화면 카테고리의 노벨티를 정량화하는 복합 보상 함수를 제공합니다.
포화 탐지: 탐색 공간이 충분히 커버되었는지 판단하여 불필요한 반복 학습을 방지하는 알고리즘적 접근 방식을 제공합니다.
데이터셋 생성 잠재력: 엔지니어가 크리티컬한 시나리오를 인식하고 사용자 핸드오버를 요청하는 데 도움을 줄 수 있는 사용자 민감 쿼리 데이터셋 생성을 목표로 합니다.

결과
저자들은 탐색 LM으로 Qwen-2.5-32B-Instruct 모델을 사용하여 세 차례의 학습 라운드를 수행하였으며, 더 작은 모델들(Llama3.1-8B, Qwen2.5-3B)은 초기 화면을 넘어 진행하는 데 실패했습니다.

수렴: 총 보상은 라운드가 거듭됨에 따라 차수 단위로 점진적으로 감소( $10^{-2}$ 에서 $10^{-5}$ 까지)하였으며, 이는 에이전트가 환경을 포화시켜 쿼리 및 스크린 공간이 축소되었음을 나타냅니다.
포화: 포화에 도달하는 데 필요한 쿼리 수가 라운드별로 크게 감소했습니다 (라운드 1: 160개, 라운드 2: 100개, 라운드 3: 70개).
단계 정확도: 단계 노벨티 점수의 표준 편차가 라운드 1(~~0.0686)에서 라운드 2 및 3(~~0.0024 및 ~0.0068)으로 크게 감소하였으며, 이는 SFT가 단계 예측의 정확도를 향상시켰음을 시사합니다.
인스트럭션 튜닝: 라운드 내에서 배치 번호가 증가함에 따라 노벨티 점수가 감소하였으며, 이는 인스트럭션 튜닝이 후속 배치에서 새로운 쿼리를 생성할 수 있게 함을 입증합니다.

의의 및 주장
본 논문은 사용자 민감 상태를 식별하기 위해 GUI 쿼리 공간을 자율적으로 탐색하는 체계적인 방법을 제공한다고 주장합니다. 탐색 정책을 반복적으로 최적화함으로써 프레임워크가 미방문 상태를 우선시하고 스크린 다양성 커버리지를 개선할 수 있다고 논합니다. 저자들은 후속 라운드에서 쿼리 공간이 축소되는 것이 커버리지의 증거라고 상정합니다. 또한, 이 접근 방식이 엔지니어가 애플리케이션 특화 목적의 훈련 데이터셋을 설계하는 데 도움을 주고, LLM 에이전트가 언제 멈추고 사용자 개입을 요청해야 하는지 인식하게 함으로써 에이전트의 안전성을 높일 수 있다고 제안합니다. 논문은 이 방법이 유망함을 보여주지만, 고유사성 쿼리(예: "알림 켜기" vs "알림 끄기")를 처리하고 더 공격적인 탐색 전략을 달성하기 위해서는 추가적인 연구가 필요하다는 점을 언급하며 겸허하게 결론을 맺습니다.