💬 NLP

iOSWorld: A Benchmark for Personally Intelligent Phone Agents

이 논문은 개인화된 지능형 휴대폰 에이전트를 평가하기 위해 26개의 상호 연결된 앱과 지속적인 사용자 정체성을 특징으로 하는 최초의 대화형 네이티브 iOS 시뮬레이터 벤치마크인 iOSWorld를 소개하며, 특권적인 비전+XML 접근 권한이 프런티어 모델의 성능을 크게 향상시키지만 현재의 에이전트들은 여전히 복잡한 다중 앱 및 개인화 작업에서 어려움을 겪고 있음을 밝히고 있다.

원저자: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 휴대폰 안에 살고 있는 디지털 비서가 있다고 상상해 보세요. 현재 대부분의 비서들은 기억상실증에 걸린 관광객과 같습니다. 그들은 "손전등 켜줘"와 같은 단일 명령은 완벽하게 수행할 수 있지만, "내 평소 습관, 은행 잔고, 그리고 문자 메시지를 바탕으로 내 일주일을 계획해 줘"라고 요청하면 길을 잃고 맙니다. 그들은 당신이 누구인지 모르고, 당신의 기록을 기억하지 못하며, 서로 다른 앱들 사이의 연관성을 찾아내지 못합니다.

**"iOSWorld"**라는 논문은 휴대폰 비서가 진정으로 당신의 개인적인 조력자가 될 만큼 똑똑한지 테스트하는 새로운 방법을 소개합니다. 다음은 이해하기 쉽게 정리한 내용입니다.

1. 문제점: "백지 상태" vs "실제 삶"

현재의 휴대폰 비서 테스트는 누군가에게 빈 공책을 주고 이야기를 써보라고 하는 것과 같습니다. 문장은 쓸 수 있겠지만, 배경 이야기는 전혀 없습니다.

현실: 당신의 휴대폰에는 인생의 데이터가 가득 차 있습니다: 은행 거래 내역, 여행 계획, 친구들의 이름, 그리고 좋아하는 식당까지 말이죠. 진정으로 유용한 비서는 이 모든 것을 알아야 합니다.
격차: 누구도 AI가 이 복잡하고 연결된 실제 삶을 실제로 탐색할 수 있는지 테스트할 방법이 없었습니다. 대부분의 테스트는 안드로이드 폰에서 고립된 작업만을 살펴보았으며, 아이폰(iOS)이 작동하는 독특한 방식은 무시했습니다.

2. 해결책: "iOSWorld" 구축

연구진은 실제 아이폰을 모방한 거대하고 상호작적인 비디오 게임을 만들었습니다.

캐릭터: 그들은 샌프란시스코에 사는 31세의 가상 인물인 **조던 에이버리(Jordan Avery)**를 만들었습니다.
세계관: 그들은 조던을 위해 26개의 맞춤형 앱(가짜 우버, 가짜 은행, 가짜 이메일, 가짜 음식 배달 앱 등)을 구축했습니다.
마법 같은 연결성: 이 앱들은 모두 연결되어 있습니다. 만약 조던이 "QuickBite" 앱에서 부리토를 주문하면, "MyBank" 앱에는 자동으로 결제 내역이 표시되고, "Mail" 앱에는 영수증이 도착합니다. 만로 조던이 "SkyTrip"에서 비행기를 예약하면, "Notes" 앱에 알림이 뜹니다.
목표: 연구진은 AI에게 133가지의 서로 다른 미션을 주었습니다. 어떤 것은 간단했지만(커피 주문하기), 많은 것들은 복잡했습니다(은행 잔고를 확인하고, 커피 영수증을 찾은 뒤, 달력을 보고 상사에게 늦는다는 메시지 보내기).

3. 테스트: 휴대폰을 바라보는 두 가지 방식

AI가 얼마나 똑똑한지 확인하기 위해, 연구진은 마치 사람에게 치트 시트를 주거나 주지 않고 시험을 치르게 하는 것처럼 두 가지 "모드"로 테스트했습니다.

모드 A: 시각 전용 (The "Blind" Test - 눈먼 테스트)
AI는 오직 화면의 스크린샷만을 봅니다. 인간처럼 화면을 보고 버튼이 어디에 있는지 추측하고, 사진을 통해 상황을 파악해야 합니다.
- 비유: 마치 흐릿한 사진만 보고 퍼즐을 풀려고 노력하는 것과 같습니다.
모드 B: 시각 + XML (The "Super-Sight" Test - 초능력 시력 테스트)
AI는 스크린샷뿐만 아니라, 모든 버튼의 이름과 위치를 정확히 알려주는 숨겨진 텍스트 리스트(접근성 트리라고 불림)를 함께 봅니다.
- 비유: 퍼즐을 보는데, 빛나는 하이라이터가 각 조각을 가리키며 "이것은 하늘 조각이고, 이것은 나무 조각입니다"라고 알려주는 것과 같습니다.

4. 결과: 누가 테스트를 통과했나?

그들은 가장 똑똑한 AI 모델들(프런티어 모델)과 하나의 오픈 소스 모델을 테스트했습니다.

좋은 소식: AI가 "초능력 시력"(시각 + XML)을 가졌을 때, 가장 똑똑한 모델들의 성적이 훨씬 좋아졌습니다. 그들은 마침내 앱을 올바르게 탐색할 수 있었습니다. 한 모델(Opus)은 성공률이 **26%**에서 **52%**로 급증했습니다.
나쁜 소식: 최고의 설정에서도 AI는 여전히 어려운 작업에서 고전했습니다.
- 단일 앱 작업: 매우 잘 해냈습니다 (82% 성공).
- 다중 앱 작업: 어려움을 겪었습니다 (37% 성공). 3~4개의 서로 다른 앱 사이에서 맥락을 연결하는 것은 너무 어려웠습니다.
- 기억력 작업: 괜찮은 수준이었지만 (54% 성공), 종종 세부 사항을 잊어버렸습니다.
"작은 모델"의 문제: 더 작고 저렴한 AI 모델들은 오히려 "초능력 시력" 데이터를 받았을 때 성능이 떨어졌습니다. 이는 마치 학생에게 너무 많은 정보를 준 것과 같아서, 정보에 압도되어 혼란에 빠진 모습이었습니다.

5. 왜 실패했을까?

연구진은 AI가 막히는 세 가지 주요 원인을 발견했습니다.

시간 부족: AI에게 작업을 완료하기 위해 50단계의 기회가 주어졌습니다. 복잡한 업무의 경우, AI는 어디를 클릭해야 할지 파악하는 데만 50단계를 다 써버려 정작 일을 끝낼 시간이 없었습니다.
길을 잃음: AI는 잘못된 앱을 열거나, 루프에 빠져 똑같은 버튼을 반복해서 클릭하며 갇혀버리곤 했습니다.
"좌표" 문제: "시각 전용" 모드에서 AI는 화면의 엉뚱한 지점을 탭하는 실수를 자주 저질렀습니다. 마치 어둠 속에서 공을 잡으려는 것과 같았습니다.

핵심 요약

iOSWorld는 실제 인간의 디지털 삶을 모방하여, 연결된 환경 속에서 휴대폰 비서를 테스트한 첫 사례입니다.

논문의 결론은 다음과 같습니다. AI가 화면을 보고 버튼을 클릭하는 능력은 향상되고 있지만, 당신의 이력, 돈, 그리고 여러 앱에 걸친 관계를 이해하는 진정한 "개인적 지능"을 가진 비서가 되기에는 아직 충분히 똑똑하지 않다는 것입니다. AI가 진정으로 인간 비서를 대체하기 위해서는 계획을 세우고, 기억하고, 앱 간의 맥락을 연결하는 능력을 더 발전시켜야 합니다.

좋은 소식은? 연구진이 모든 코드와 "게임"을 무료로 공개했기 때문에, 다른 과학자들이 이 새로운 놀이터를 사용하여 더 나은 비서를 만들 수 있다는 점입니다.

기술 요약: iOSWorld

문제 정의

현재의 모바일 디지털 에이전트 벤치마크는 **개인 지능(personal intelligence)**을 평가하는 데 크게 실패하고 있습니다. 기존 프레임워크(예: AndroidWorld, WebArena, OSWorld)는 대개 에이전트가 지속적인 사용자 정체성, 히스토리 또는 교차 애플리케이션 데이터 연속성에 접근할 수 없는 고립된 샌드박스에서 격리된 명령을 실행하도록 운영됩니다. 진정으로 유용한 휴대폰 에이전트는 사용자의 특정 정체성, 선호도 및 기기에 축적된 데이터(거래 내역, 메시지, 여행 기록)를 바탕으로 추론할 수 있어야 합니다. 또한, 안드로이드용으로는 상호작적인 벤치마크가 존재하지만, 네이티브 iOS 평가에는 상당한 공백이 존재합니다. iOS는 UI 프레임워크, 내비게이션 패턴, 오픈 소스 접근성 도구의 부재 측면에서 안드로이드와 근본적으로 다르기 때문에, 안드로이드 벤치마크를 직접 포팅하는 것만으로는 불충분합니다.

방법론

iOSWorld 환경

저자들은 26개의 맞춤 제작된 iOS 애플리케이션에 걸쳐 단일하고 지속적인 사용자 정체성("Jordan Avery")을 중심으로 구축된 최초의 인터랙티브 네이티브 iOS 시뮬레이터 벤치마크인 iOSWorld를 소개합니다.

데이터 상호 연결성: 26개의 앱(금융, 여행, 음식, 메시징, 생산성 등의 도메인 포함)은 연결된 데이터를 공유합니다. 예를 들어, 한 앱에서의 음식 주문은 다른 앱들에서 은행 결제와 영수증 이메일을 생성합니다. 또한 항공권 예약은 서로 다른 앱에 있는 호텔 예약 및 캘린더 알림과 일치합니다.
태스크 카테로리: 본 벤치마크는 난이도가 증가하는 세 가지 카테고리로 분류된 133개의 태스크를 포함합니다.
1. 단일 앱 (27개 태스크): 단일 애플리케이션 내에서의 기본적인 내비게이션 및 상호작용.
2. 다중 앱 (60개 태스크): 2개에서 8개의 애플리케이션 간 정보 전달이 필요한 태스크 (예: 한 앱에서 주문 확인, 다른 앱에서 결제 내역 찾기, 세 번째 앱에서 영수증 이메일 위치 파악).
3. 메모리 및 개인화 (46개 태스크): 명시적인 지시 없이 개인 데이터를 통해 잠재적 패턴을 추론해야 하는 태스크 (예: "나의 가장 흔한 출퇴근 경로는?", "내가 가장 자주 주문하는 식당은?").
관찰 양상(Observation Modalities): 에이전트의 시각적 그라운딩(visual grounding) 능력과 특권적 접근 권한을 분리하기 위해 두 가지 설정에서 평가합니다.
- Vision-Only: 에이전트는 스크린샷(706×1536 크기로 조정됨)만 수신하며, UI 요소를 시각적으로 식별하고 좌표를 추정해야 합니다.
- Vision+XML: 에이전트는 스크린샷과 함께 Apple의 XCUITest 프레임워크를 통해 추출된 정제된 접근성 트리(XML)를 수신합니다. 이는 요소 유형, 레이블, 정규화된 좌표에 대한 구조화된 데이터를 제공하여, 실제 배포된 소비자용 에이전트가 사용할 수 없는 특권적 접근을 시뮬레이션합니다.
액션 공간(Action Space): 액션은 제공자별 어휘(예: "click"은 "tap xy"로 변환)에서 번역됩니다. Vision+XML 모드에서 에이전트는 정밀한 타겟팅을 위해 접근성 식별자(accessibility identifiers)를 사용할 수 있으며, 홈 화면 내비게이션을 거치지 않고 번들 식별자를 통해 앱을 직접 실행할 수 있습니다.

평가 프로토콜

평가 모델: 다섯 가지 프런티어 컴퓨터 사용 모델(Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, GPT-5.4 Mini, Gemini 3 Flash)과 하나의 오픈 소스 베이스라인(Qwen3.5 35B-A3B)을 평가합니다.
점수 산정: 궤적 수준의 LLM-as-a-Judge(GPT-5.4 Mini)가 루브릭 기준에 따라 전체 에이전트 궤적을 평가합니다. 128개의 궤적에 대한 인간 검증 결과, 자동화된 판사(automated judge)와 인간 주석가 사이에 상당한 일치도( $\kappa=0.77$ )가 확인되었습니다.
제약 조건: 모든 실행은 50단계(step) 예산으로 제한됩니다.

주요 기여

지속적 정체성을 가진 최초의 네이티브 iOS 벤치마크: iOSWorld는 26개의 상호 연결된 앱과 단일 사용자 페르소나를 제공하여, 기존 모바일 벤치마크의 개인화 결여 문제를 해결합니다.
포괄적인 태스크 스위트: 단일 앱, 다중 앱, 메모리/개인화 카테고리에 걸친 133개 태스크와 새로운 태스크를 추가하고 개인화된 데이터를 시딩(seeding)할 수 있는 스키마를 공개합니다.
양상(Modality) 비교: 특권적 접근성 데이터(XML)와 순수 비전(vision)의 영향을 평가하여, 모델 크기에 따른 성능 차이를 밝혀냅니다.
오픈 소스 공개: 저자들은 비-Mac 연구자들도 재현 가능하도록 26개의 앱, 시드 데이터, 태스크, 루브릭, 평가 코드, 그리고 AWS-runner(EC2 관리 Mac 인스턴스)를 모두 공개합니다.

결과

전반적인 성능

최적의 구성: 최적의 구성(Opus 4.6과 Vision+XML 조합)은 **52%**의 통과율을 달합니다.
카테고리별 분석:
- 단일 앱: 82% (Opus 4.6, Vision+XML)
- 메모리/개인화: 54% (Opus 4.6, Vision+XML)
- 다중 앱: 37% (Opus 4.6, Vision+XML)
베이스라인: 오픈 소스 Qwen3.5 35B-A3B는 Vision+XML 설정에서 전체 **11%**의 성능만을 기록했습니다.

특권적 접근(Vision+XML)의 영향

프런티어 모델: 접근성 트리에 대한 접근은 대규모 모델의 성능을 크게 향상시킵ers. Opus 4.6은 +25.6 퍼센트 포인트(26% $\to$ 52%), Sonnet 4.6은 +18.0 pp, GPT-5.4는 +19.5 pp 개선되었습니다.
소규모 모델: 더 작은 모델들(GPT-5.4 Mini, Qwen3.5)은 추가적인 XML 컨텍스트로부터 혜택을 받지 못하며, 오히려 성능이 저하되는 경우가 많습니다 (예: Qwen3.5는 13%에서 11%로 하락, GPT-5.4 Mini는 26%에서 16%로 하락). 저자들은 이를 약 3,100개의 토큰이 매 단계마다 추가됨으로써 모델의 유효 용량을 초과하여 발생하는 컨텍스트 오버플로(context overflow) 때문이라고 분석하며, 이로 인해 액션 루프나 혼란이 발생한다고 설명합니다.

실패 분석

예산 소진: 프런티어 모델 실패의 **51%**는 특히 다중 앱 및 메모리 태스크에서 50단계의 예산을 모두 소진했기 때문에 발생했습니다.
주요 실패 모드:
- Vision-Only: 에이전트가 좌표를 정확하게 추정하지 못하거나, 작은 UI 요소(예: 결제 토글)에서 멈추거나, 앱 전환을 안정적으로 수행하지 못하는 경우가 빈번했습니다.
- Vision+XML: 좌표 오류는 제거되었으나, 에이전트는 여전히 다단계 계획 수립에 어려움을 겪으며 종종 액션 루프에 빠집니다 (특히 Qwen3.5).
단계 효율성: Gemini 3 Flash가 가장 단계 효율적입니다 (태스크당 평균 21단계). 반면 Anthropic 및 OpenAI 모델은 평균 42~45단계가 소요되었습니다.

의의 및 주장

본 논문은 iOSWorld가 개인적으로 지능적인 에이전트(personally intelligent agents) 연구를 위한 필수적인 토대를 마련한다고 주장합니다. 이는 프런티어 모델들이 기본적인 단일 앱 상호작용은 처리할 수 있지만, 다중 앱 및 개인화 작업에 필요한 연속성과 추론 능력에서는 크게 고전하고 있음을 보여줍니다.

저자들은 유용한 개인용 에이전트로 가는 간극이 단순히 시각적 그라운딩의 문제가 아니라, **계획(planning)과 메모리(memory)**의 문제임을 강조합니다. 결과는 다음을 시사합니다:

특권적 접근은 양날의 검이다: 접근성 트리는 대형 모델의 시각적 그라운딩 문제를 해결해주지만, 소규모 모델에게는 과부하를 줍니다. 이는 더 나은 컨텍스트 관리나 구조화된 도구 인터페이스(MCP 도구로 개선된 사례처럼)의 필요성을 나타냅니다.
다중 앱 추론이 병목 구간이다: 최상의 모델조차 다중 앱 태스크에서 37%의 성공률만을 보였으며, 이는 서로 분리된 애플리케이션 경계를 가로질러 상태를 유지하고 정보를 전달하는 작업의 어려움을 보여줍니다.
개인화는 필수적이다: 본 벤치마크는 에이전트를 고립된 태스크만으로 평가해서는 안 된다는 점을 입증합니다. 사용자의 이력과 선호도를 바탕으로 추론하는 능력은 현재의 벤치마크가 간과하고 있는 독특하고 도전적인 역량입니다.

저자들은 유용한 배포 단계로 나아가기 위해서는 더 강력한 루프 복구(loop recovery), 더 나은 시각적 그라운딩, 그리고 사용자 이력을 명시적으로 인지하는 계획 메커니즘이 필요하다고 결론짓습니다. 이들은 iOSWorld를 실제 사용자 데이터의 프라이버시 위험 없이 개인화를 테스트할 수 있는 통제된 환경으로서, 관련 연구를 촉진하기 위한 도구로 제안합니다.