Do LLMs Need to See Everything? A Benchmark and Study of Failures in LLM-driven Smartphone Automation using Screentext vs. Screenshots

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 발전으로 모바일 에이전트 (스마트폰 화면을 조작하여 작업을 수행하는 AI) 가 주목받고 있습니다. 그러나 현재 에이전트들은 낮은 정확도, 사용자 의도 오해, 복잡한 작업 실패 등의 문제로 인해 실제 활용에 한계가 있습니다. 특히 다음과 같은 핵심 문제들이 존재합니다:

• 실패 원인 불명: 에이전트가 왜, 어디서 실패하는지에 대한 체계적인 연구가 부족합니다.
• 입력 모달리티의 모호성: 대부분의 에이전트는 화면 캡처 (Screenshot) 를 입력으로 사용하지만, 이는 사생활 침해 우려가 큽니다. 반면, 텍스트 기반의 UI 트리 (Screentext) 는 접근성이 낮거나 정보가 누락될 수 있습니다. "과연 에이전트가 모든 화면을 '보아야' (Screenshot) 하는가?"라는 근본적인 질문이 제기됩니다.
• HCI 중심 평가 부재: 기존 벤치마크는 재현성과 시스템 성능 최적화에 치중하여, 실제 사용 환경에서의 실패 모드와 인간 중심 디자인 함의를 다루지 못했습니다.

2. 방법론 (Methodology)

2.1 DailyDroid 벤치마크 구축

이 연구는 모바일 에이전트의 성공과 실패를 체계적으로 분석하기 위해 DailyDroid라는 새로운 벤치마크를 제안했습니다.

• 구성: 5 가지 일상 시나리오 (생산성, 유틸리티, 정보 접근, 미디어, 커뮤니케이션) 에 속한 25 개의 안드로이드 앱에서 총 75 개의 작업 (각 앱당 3 단계 난이도: 단순, 중간, 어려움) 으로 구성되었습니다.
• 실험 설계:
  • 모델: 베이스라인인 GPT-4o와 추론 능력이 강화된 o4-mini를 사용했습니다.
  • 입력 모달리티 비교:
    1. Text-only (Screentext): 안드로이드 UI 트리 (Accessibility Service) 를 기반으로 한 텍스트 정보만 제공.
    2. Multimodal (Screentext + Screenshot): 텍스트 정보와 화면 캡처 이미지를 함께 제공.
  • 실행 횟수: 75 개 작업 × 2 가지 모델 × 2 가지 모달리티 = 총 300 회 실험.
• 평가 지표: 작업 성공 여부, 실행 시간, 단계 수, 토큰 사용량, 비용 (USD), 그리고 실패 유형 분류.

2.2 실패 분석 프레임워크

모든 실패 사례를 **시스템 레벨 (System-level)**과 **에이전트 레벨 (Agent-level)**로 구분하여 분석했습니다.

• 시스템 레벨: UI 검색 실패, UI 파싱 오류, UI 논리 오류, 실행 오류 등 인프라 또는 접근성 문제로 인한 조기 종료.
• 에이전트 레벨: LLM 의 예측 오류, 반성 (Reflection) 실패, 최대 단계 수 초과, 불가능한 작업 등 에이전트 내부 로직의 문제.

3. 주요 결과 (Key Results)

3.1 성능 비교 (모달리티 및 모델)

• 모델 성능: 추론 능력이 강화된 o4-mini가 GPT-4o 보다 약간 더 높은 성공률 (31.3% vs 29.3%) 을 보였으며, 특히 유틸리티 및 시스템 작업에서 강점을 보였습니다. 반면 GPT-4o 는 소셜 및 콘텐츠 중심 작업에서 더 우수했습니다.
• 모달리티 영향: 멀티모달 (스크린샷 포함) 이 텍스트 전용보다 성공률이 약간 더 높았으나 (약 4~5%p 차이), 비용은 25 배 이상 증가했습니다.
  • 멀티모달은 시각적 단서 (아이콘, 색상, 레이아웃) 가 중요한 작업에서 텍스트만으로는 불가능했던 작업을 성공시켰습니다.
  • 그러나 텍스트 전용만으로도 많은 작업이 수행 가능했으며, 사생활 보호 측면에서 더 유리했습니다.

3.2 실패 원인 분석 (Failure Handbook)

연구는 DailyDroid Failure Handbook을 작성하여 실패 패턴을 분류했습니다.

• 주요 실패 원인: 전체 실패의 약 40% 이상이 시스템 레벨, 특히 **UI 검색 실패 (UI Retrieval)**와 UI 파싱 오류였습니다. 이는 앱의 접근성 (Accessibility) 정보가 누락되거나 UI 가 복잡하여 에이전트가 요소를 인식하지 못했기 때문입니다.
• 텍스트 vs 이미지: 텍스트만 제공된 경우, 화면의 시각적 단서 (예: 빨간색 종료 버튼, 진행률 표시줄) 가 누락되어 작업이 실패하는 경우가 많았습니다. 반면, UI 요소가 텍스트로 노출되지 않는 경우 (예: 이미지 내 텍스트, 비정형 아이콘) 는 스크린샷이 필수적이었습니다.
• 추론 모델의 특징: o4-mini 는 GPT-4o 에 비해 예측 오류는 적었지만, 자기 수정 (Backtracking) 을 시도하는 과정에서 최대 단계 수를 초과하는 실패가 더 빈번하게 발생했습니다.

4. 주요 기여 (Key Contributions)

1. DailyDroid 벤치마크: 일상적인 스마트폰 사용 시나리오를 반영한 75 개 작업으로 구성된 최초의 체계적인 모바일 에이전트 평가 도구.
2. 실패 핸드북 (Failure Handbook): 시스템 및 에이전트 레벨의 실패 유형을 체계적으로 분류하고, 텍스트와 멀티모달 입력 간의 실패 차이를 분석한 데이터셋.
3. 모달리티 비교 연구: 스크린샷 (멀티모달) 과 스크린텍스트 (텍스트 전용) 의 성능과 비용, 프라이버시 트레이드오프에 대한 실증적 분석.
4. 디자인 함의: 모바일 앱 개발자, UI 디자이너, 에이전트 개발자를 위한 구체적인 가이드라인 제시.

5. 의의 및 시사점 (Significance & Implications)

• UI 접근성의 중요성: 에이전트의 실패 대부분은 모델의 지능 부족이 아니라, 앱의 UI 접근성 (Accessibility) 부재에서 기인합니다. 개발자들은 android:id 와 같은 안정적인 식별자를 제공하고, 중요한 UI 요소를 텍스트로 노출해야 합니다.
• 입력 모달리티의 선택: 모든 작업에 스크린샷이 필요한 것은 아닙니다. 텍스트 기반 (Screentext) 입력만으로도 많은 작업이 수행 가능하며, 이는 사생활 보호와 비용 절감 측면에서 우선시되어야 합니다. 시각적 단서가 명확히 필요한 경우에만 멀티모달을 사용하는 하이브리드 접근이 권장됩니다.
• 에이전트 설계 개선:
  • 액션 공간 확장: 현재 에이전트는 기본 클릭/스크롤만 가능하여, 롱프레시 (Long-press) 나 스와이프 등 복잡한 제스처가 필요한 작업에서 실패합니다.
  • 단계 제한 (Step Limit) 조정: 추론 능력이 뛰어난 모델은 자기 수정을 위해 더 많은 단계를 필요로 하므로, 고정된 단계 제한을 완화해야 합니다.
  • 표준화: 앱과 LLM 간의 상호작용을 위한 표준 API (예: Model Context Protocol) 와 UI 파싱 프로토콜의 표준화가 시급합니다.

결론적으로, 이 연구는 모바일 에이전트의 성능 향상을 위해 단순히 더 강력한 LLM 을 도입하는 것보다, 앱의 접근성 개선, 입력 모달리티의 적절한 선택, 그리고 에이전트 프레임워크의 구조적 개선이 선행되어야 함을 강조합니다.