당신이 로봇에게 스마트폰 사용법을 가르치려 한다고 상상해 보세요. 단순히 매뉴얼을 건네주고 잘 되길 바라는 대신, 아마 앱을 어떻게 여는지, 버튼을 어떻게 누르는지, 그리고 실수로 잘못 클릭했을 때 어떻게 대처해야 하는지까지 보여줄 것입니다. 이것이 바로 GUI 에이전트의 세계입니다. 이들은 "시각-언어 모델"(텍스트를 읽고 이미지를 이해하는 눈과 뇌를 가진 로봇이라고 생각하면 됩니다)을 기반으로 구동되는 똑똑한 컴퓨터 프로그램입니다. 이 에이전트들은 커피를 주문하거나 항공권을 예약하는 것과 같은 현실 세계의 작업을 스마트폰에서 수행하도록 설계되었습니다. 하지만 여기 문제가 있습니다. 이 로봇들이 이러한 법을 배우기 위해서는 "궤적(trajectories)"이라 불리는 방대한 연습 기록 라이브러리가 필요합니다. 지금까지 우리가 가진 연습 데이터는 대부분 "쉬움 모드"로 설정된 비디오 게임과 같습니다. 모든 것이 완벽하게 진행되는 단순하고 직선적인 경로만을 보여주기 때문입니다. 하지만 현실은 복잡합니다. 앱에는 버튼이 가득 차 있고, 갑자기 팝업창이 나타나기도 하며, 때로는 뒤로 돌아가거나 다른 경로를 시도해야 할 때도 있습니다. 이러한 복잡하고 길며 까다로운 시나리오를 바탕으로 훈련하지 않으면, 우리의 로봇 조수들은 취약해지고 실제 앱의 복잡한 상황에 직면했을 때 길을 잃기 쉽습니다.

이러한 훈련 격차를 해결하기 위해 하빈 공업대학교(Harvin Institute of Technology)의 연구진이 개발한 새로운 방법인 SEE가 등장했습니다. SEE를 단순히 목적 없이 배회하는 것이 아니라, 로봇을 현장에 내보내기 전에 모든 가능한 경로를 연결하는 상세하고 상호작적인 지도를 먼저 만드는 매우 똑똑한 투어 가이드라고 생각해 보세요. 단순히 추측하고 확인하는 방식(느리고 종종 막다른 길에 다다르는 방식) 대신, SEE는 먼저 앱을 "탐색(explore)"하여 모든 화면과 버튼을 연결하는 그래프를 그립니다. 그런 다음 이 지도를 사용하여 지식을 "활용(exploit)"함으로써, 여러 단계와 우회 경로, 심지어 짜증 나는 팝업창 처리까지 포함하는 길고 복잡한 여정을 계획합니다. 그 결과, 이전과는 비교할 수 없을 정도로 훨씬 더 길고 현실적인 연습 기록인 방대한 데이터셋을 생성합니다. 이 논문은 이처럼 더 어렵고 새로운 데이터를 통해 훈련함으로써, 로봇이 혼란스러운 모바일 앱의 세계를 훨씬 더 잘 탐색할 수 있게 된다고 제안합니다.

문제점: 앱스토어에서 길을 잃는 로봇들

당신이 개에게 거대하고 끊임없이 변하는 미로를 통과하는 법을 가르치려 한다고 상상해 보세요. 만약 개가 항상 첫 번째 시도에 간식을 찾는 작고 텅 빈 복도에서만 연습하게 한다면, 그 개는 막다른 길, 움직이는 벽, 혼란스러운 표지판이 있는 실제 미로를 다루는 법을 결코 배우지 못할 것입니다. 이것이 현재 GUI 에이전트가 처한 상황입니다.

이 에이전트들은 당신의 휴대폰 화면을 제어하도록 설계된 AI 시스템입니다. 이들은 화면을 보고, 버튼이 무엇인지 파악하며, 일을 완수하기 위해 버튼을 누릅니다. 하지만 이를 배우기 위해서는 사람들이 앱을 사용하는 수천 가지의 사례를 보아야 합니다. 문제는 우리가 가진 대부분의 데이터가 앞서 말한 그 텅 빈 복도와 같다는 점입니다. 그 데이터들은 모든 것이 완벽하게 진행되는 짧고 단순한 작업들로 가득 차 있습니다. 그러나 실제 모바일 앱은 북적이는 도시와 같습니다. 수백 개의 버튼이 있고, 시야를 가리는 팝업 광고가 있으며, "홈"에서 "결제"까지 가는 길은 길고 구불구불합니다.

현재의 데이터 생성 방식은 비용이 너무 많이 들거나(모든 움직임을 기록하기 위해 사람을 고용하는 경우), 혹은 너무 서투릅니다(AI가 그냥 무작위로 클릭하게 두는 경우). 무작위 클릭은 지도에 다트를 던지는 것과 같습니다. 목표물을 맞출 수도 있겠지만, 대부분은 벽을 맞히게 될 것입니다. 이는 권한 허용 팝업이 나타났을 때 어떻게 대처해야 하는지, 혹은 복잡한 메뉴를 어떻게 탐색해야 하는지와 같은 드물지만 중요한 순간들을 놓치게 만듭니다. 이 때문에 이러한 AI 에이전트들이 실제 앱을 사용할 때, 엄청난 선택지의 수와 작업을 완료하기 위해 필요한 긴 단계들에 압도되어 길을 잃거나 혼란에 빠지곤 합니다.

해결책: 여정을 시작하기 전 지도를 그려라

SEE(Structure-aware Exploring & Exploiting)를 개발한 연구진은 다트를 던지는 대신 지도를 그리는 방식을 택했습니다. 그들의 접근 방식은 인간이 새로운 도시를 배우는 방식과 유사한 2단계 과정을 거칩니다. 먼저 탐색하여 지도를 만들고, 그다음 최적의 경로를 계획하는 것입니다.

1단계: 탐험가 (지도 구축)
첫 번째 단계에서 AI 에이전트는 호기심 많은 탐험가 역할을 합니다. 단순히 무작위로 클릭하는 대신, 앱의 레이아웃을 발견하기 위한 스마트한 전략을 사용합니다. 화면을 보고, 버튼과 아이콘을 식별하며, 스스로에게 질문합니다. "이걸 누르면 어떻게 될까?"

• "구조 인식(Structure-Aware)" 부분: 에이전트는 단순히 그림을 보는 것이 아니라 구조를 이해합니다. "뒤로 가기" 버튼은 보통 이전 화면으로 이동시킨다는 것을 알고, "검색" 바는 새로운 페이지로 이어진다는 것을 이해합니다.
• "성찰(Reflection)" 부분: 에이전트는 클릭할 때마다 잠시 멈춰 생각합니다. "이게 효과가 있었나? 내가 기대했던 새로운 페이지로 정말 이동했나, 아니면 그냥 팝업창이 뜬 것뿐인가?" 만약 행동이 타당했고 새로운 상태로 이어졌다면, 그 연결을 자신의 정신적 지도에 추가합니다. 만약 그것이 막다른 길이었거나 실수였다면, 그 사실 또한 기록합니다.
• 결과: 이 과정은 **전이 그래프(Transition Graph)**를 구축합니다. 모든 휴대폰 화면을 하나의 역으로, 버튼을 하나의 노선으로 하는 지하철 노선도를 상상해 보세요. 이 지도에는 쉬운 경로뿐만 아니라 "로그인" 벽을 통과하는 법이나 시스템 알림을 처리하는 법과 같은 까다로운 경로도 포함됩니다.

2단계: 플래너 (경로 그리기)
지도가 완성되면 두 번째 단계가 시작됩니다. 여기서 장기적 목표(long-horizon) 과업의 마법이 일어납니다. 매번 처음부터 전체 여정을 파악하려고 애쓰는 대신, 플래너는 지도를 활용합니다.

• 출발점(예: 홈 화면)과 목적지(예: "결제" 화면)를 정합니다.
• 그런 다음 지도를 사용하여 경로를 찾습니다. 여기서 놀라운 점은, 매우 복잡한 여행을 계획할 수 있다는 것입니다. 예를 들어, "홈에서 '애니메이션' 섹션으로 가서, 특정 셔츠를 찾고, 위시리스트에 담은 다음, 마지막으로 공유하기를 하자"라고 계획할 수 있습니다.
• 미리 만들어진 지도를 사용하기 때문에 추측할 필요가 없습니다. 한 화면에서 다음 화면으로 넘어가기 위해 어떤 버튼을 눌러야 하는지 정확히 알고 있습니다. 심지어 큰 작업을 작고 관리 가능한 단위로 나누는 "하위 목표(sub-goals)"를 생성할 수도 있습니다.

이 방식 덕분에 SEE는 평균 14.8단계 길이의 수천 가지 연습 기록을 생성할 수 있습니다. 이를 체감하기 위해 비교하자면, 기존의 많은 데이터셋은 작업 길이가 약 5~8단계 정도에 불과합니다. SEE는 로봇에게 단순히 동네 한 바퀴를 조깅하는 것이 아니라 마라톤을 뛰는 법을 가르치고 있는 것입니다.

발견한 점: 더 강력하고 똑똑한 훈련장

연구진은 이 새로운 방법을 테스트하기 위해 SEE라는 데이터셋을 만들고 다른 방식들과 비교했습니다. 결과는 매우 인상적이었지만, 동시에 실제 휴대폰 사용이 얼마나 어려운지도 잘 보여주었습니다.

1. 훨씬 더 풍부한 데이터
SEE 데이터셋은 복잡성으로 가득 차 있습니다. 다른 데이터셋의 화면에는 약 14개의 버튼이 있는 반면, SEE의 화면에는 평균 24.63개의 상호작용 요소가 있습니다. 이는 AI가 훨씬 더 붐비고 혼란스러운 군중 속에서 올바른 버튼을 골라내는 법을 배워야 함을 의미합니다. 또한 작업의 길이도 더 길어서, 다른 데이터셋의 짧은 작업들과 달리 여정당 평균 14.8단계를 거칩니다.

2. 로봇의 고전 (하지만 학습함)
연구진이 기존 AI 에이전트들을 이 새로운, 더 어려운 데이터로 테스트했을 때, 에이전트들은 그리 잘 해내지 못했습니다. 그들은 필요한 동작의 유형(예: "탭" 또는 "스와이프")은 맞힐 수 있었지만, 올바른 버튼을 선택하는 데는 실패했습니다. 이를 "그라운딩(grounding)" 문제라고 합니다. 이는 왼쪽으로 가야 한다는 것은 알지만, 엉뚱한 거리에서 왼쪽으로 꺾는 것과 같습니다.

• 성공률: 추가 훈련 없이는 가장 뛰어난 모델조차 테스트 세트에서 약 **39.92%**의 성공률만을 기록했습니다.
• 병목 현상: 주요 문제는 단계를 계획하는 능력이 아니라, 비슷하게 생긴 것들이 가득한 화면에서 올바른 버튼을 찾아내는 것이었습니다.

3. SEE를 통한 훈련은 큰 차이를 만듦
하지만 AI 모델을 가져와서 SEE 데이터로 미세 조정(fine-tuning, 특정 데이터로 집중 훈련)했을 때, 결과는 크게 향상되었습니다.

• 미세 조정된 모델의 성공률은 **77.29%**로 급등했습니다.
• 올바른 버튼을 선택하는 능력(Grounding Accuracy)은 **60.79%에서 69.91%**로 개선되었습니다.
• 더욱 중요한 것은, 이 훈련이 본 적 없는 다른 앱에서도 더 나은 성능을 내도록 도왔다는 점입니다. 이는 복잡하고 긴 작업에서 학습하는 것이 새로운 상황에 적용될 수 있는 일반적인 기술을 가르쳐준다는 것을 시사합니다.

4. 지도의 중요성
연구진은 또한 "지도 구축(탐색 단계)"이 실제로 작동하는지 확인했습니다. 그들은 "성찰(reflection)" 단계, 즉 AI가 방금 한 동작이 타당했는지 재확인하는 단계가 결정적이라는 것을 발견했습니다. 이 단계가 없으면 지도는 많은 오류(약 **27.1%**의 잘못된 연결)를 포함하게 됩니다. 하지만 성찰 단계를 거치면 지도는 훨씬 깨끗해져서 오류가 **9.1%**로 줄어들었습니다. 이는 방금 일어난 일에 대해 생각하는 시간을 갖는 것이 전체 시스템을 훨씬 더 신뢰할 수 있게 만든다는 것을 입증합니다.

이것이 왜 중요한가

이 논문은 단순히 인간의 시연에 더 많은 돈을 쏟아붓거나 무작위 클릭이 로봇에게 휴대폰 사용법을 가르칠 것이라고 기대해서는 안 된다고 제안합니다. 현실 세계는 너무나 복잡하기 때문입니다. 구조 인식 접근 방식을 사용하여 먼저 지도를 만들고, 그 후 길고 현실적인 여정을 계획함으로써, 우리는 실제 모바일 앱의 혼란스러운 현실에 대비할 수 있는 훈련 데이터를 만들 수 있습니다.

SEE 프레임워크는 적절한 종류의 훈련(길고, 복잡하며, 현실 세계의 방해 요소가 가득한 훈련)이 뒷받침된다면, AI 에이전트가 디지털 세계를 훨씬 더 효과적으로 항해할 수 있음을 보여줍니다. 이는 단순히 간단한 명령을 따르는 것이 아니라, 복잡하고 변화무쌍한 스마트폰의 세계에서 실제로 일을 완수하는 법을 터득하는 로봇을 향한 한 걸음입니다. 아직 갈 길은 남아 있지만(성공률이 아직 완벽하지는 않으므로), 이 방식은 우리의 디지털 비서가 진정으로 도움이 되는 존재가 되기 위한 유망한 길을 제시합니다.