MobileDev-Bench: A Comprehensive Benchmark for Evaluating Language Models on Mobile Application Development

MobileDev-Bench: 모바일 애플리케이션 개발에 대한 언어 모델 평가를 위한 종합 벤치마크

이 논문은 대규모 언어 모델 (LLM) 이 모바일 애플리케이션 개발의 복잡한 제약 조건과 프레임워크 기반 생명주기를 얼마나 잘 처리하는지 평가하기 위해 MobileDev-Bench라는 새로운 벤치마크를 제안합니다. 기존 벤치마크가 주로 일반 라이브러리나 웹 애플리케이션에 집중했던 반면, 이 연구는 모바일 개발의 고유한 난이도 (플랫폼 제약, 다중 아티팩트 조정 등) 를 포착하는 데 초점을 맞춥니다.

1. 문제 정의 (Problem)

기존의 소프트웨어 엔지니어링 벤치마크 (예: SWE-bench 등) 는 주로 Python, Java 등의 라이브러리나 웹 애플리케이션을 대상으로 합니다. 그러나 모바일 애플리케이션 개발은 다음과 같은 고유한 특성으로 인해 기존 벤치마크와 구조적으로 다릅니다.

• 플랫폼 정의 아키텍처 및 생명주기: Android, iOS, 크로스플랫폼 (React Native, Flutter) 에 따라 실행 및 수명 주기가 엄격하게 관리됩니다.
• 이질적인 아티팩트 (Heterogeneous Artifacts) 간의 조정: 버그 수정이 소스 코드뿐만 아니라 리소스 파일, 빌드 설정 (Gradle, pubspec.yaml), 매니페스트 파일 등 다양한 파일 유형에 걸쳐 조율되어야 합니다.
• 복잡한 빌드 시스템: 정적 타입 언어 (Java, Kotlin) 와 프레임워크별 빌드 도구의 특성상 컴파일 성공 여부가 테스트 실행의 전제 조건입니다.

기존 벤치마크는 이러한 모바일 특유의 복잡성을 반영하지 못해, 실제 모바일 환경에서의 LLM 성능을 평가하는 데 한계가 있었습니다.

2. 방법론 (Methodology)

MobileDev-Bench 는 18 개의 프로덕션 모바일 애플리케이션 (Android Native, React Native, Flutter) 에서 수집된 384 개의 검증된 이슈 해결 태스크로 구성됩니다. 구축 과정은 다음과 같은 5 단계 파이프라인을 따릅니다.

1. 앱 선정 (App Selection): GitHub 와 F-Droid 에서 400 개 이상의 스타를 가진 활성 오픈소스 모바일 리포지토리를 선정합니다.
2. 이슈-PR 채굴 (Issue-PR Mining): GitHub API 를 통해 이슈와 병합된 풀 리퀘스트 (PR) 를 수집합니다. 이슈 설명, 테스트 패치, 수정 패치를 추출합니다.
3. 빌드 환경 재현 (Environment Runtime Setup): 각 리포지토리의 빌드 설정 (Gradle, package.json 등) 을 분석하여 Docker 컨테이너 환경을 자동 생성합니다.
4. 컴파일 인식 실행 기반 검증 (Compilation-aware Execution-based Validation):
   • 베이스 커밋, 테스트 패치 적용, 수정 패치 적용 등 세 가지 상태에서 테스트를 실행합니다.
   • Fail-to-Pass (F2P) 또는 None-to-Pass (N2P) 전환이 발생하고, Pass-to-Fail (P2F) 회귀가 없으며, 빌드가 성공하는 경우만 유효한 인스턴스로 간주합니다.
5. 수동 검증 (Human Verification): 560 개의 후보 인스턴스 중 176 개를 제외하고 최종 384 개를 선정합니다. 난이도 (Easy, Medium, Hard) 와 태스크 유형 (버그 수정,新功能, 최적화) 을 수동으로 라벨링합니다.

3. 주요 기여 (Key Contributions)

• MobileDev-Bench 도입: Android, React Native, Flutter 를 아우르는 384 개의 검증된 모바일 앱 이슈 해결 태스크 벤치마크를 공개했습니다.
• 컴파일 인식 평가 프레임워크 개발: Java, Kotlin, Dart, TypeScript 를 지원하는 실행 기반 평가 환경을 구축하여, 모바일 개발의 필수 조건인 컴파일 성공을 고려한 평가를 가능하게 했습니다.
• 포괄적인 LLM 평가: 최신 코드 생성 모델 4 종 (GPT-5.2, Claude Sonnet 4.5, Gemini Flash 2.5, Qwen3-Coder) 을 평가하여 모바일 개발에서의 성능 격차와 실패 패턴을 규명했습니다.

4. 주요 결과 (Results)

4 개의 최첨단 LLM 을 MobileDev-Bench 에서 평가한 결과는 기존 벤치마크 대비 매우 낮은 성능을 보여주었습니다.

• 낮은 해결률 (Resolution Rate): 전체 태스크의 **3.39% ~ 5.21%**만 성공적으로 해결되었습니다. (난이도별로는 Easy 8.99.7%, Medium 1.54.5%, Hard 0~1.6%)
• 패치 복잡성: 평균적으로 수정된 파일 수는 12.5 개, 수정된 코드 행 수는 324.9 행으로, 기존 벤치마크 (평균 1.2~4.9 개 파일) 보다 훨씬 복잡합니다.
• 다중 아티팩트 수정의 어려움: 35.7% 의 인스턴스가 소스 코드, 빌드 파일, 리소스 등 여러 유형의 아티팩트를 동시에 수정해야 했습니다. 단일 아티팩트 태스크의 해결률은 87.2% 였으나, 다중 아티팩트 태스크는 12.8% 에 그쳤습니다.
• 주요 병목 현상: 결함 위치 특정 (Fault Localization):
  • 모델이 수정해야 할 파일을 정확히 찾아내는 **Recall(재현율)**이 평균 **13.8% ~ 19.5%**로 매우 낮았습니다.
  • 파일 수가 1 개일 때 Recall 이 3453% 였으나, 11 개 이상일 경우 **23%**로 급격히 떨어졌습니다.
  • 이는 패치 생성 능력보다 어떤 파일을 수정해야 하는지 식별하는 능력이 모바일 앱 해결의 가장 큰 병목임을 시사합니다.

5. 의의 및 시사점 (Significance)

• 모바일 개발의 고유한 난이도 규명: 모바일 앱 개발은 단순한 코드 수정을 넘어 플랫폼 아키텍처, 빌드 시스템, 다양한 아티팩트 간의 조율이 필수적임을 입증했습니다.
• LLM 의 한계 지적: 현재 최첨단 LLM 들도 다중 파일 및 다중 아티팩트 간의 의존성을 추적하는 데 심각한 어려움을 겪고 있으며, 이는 자동화된 모바일 앱 개발 도구의 상용화 장벽이 됩니다.
• 향후 연구 방향 제시: 패치 생성 능력 향상보다는 다중 파일 의존성 추적 (Multi-file dependency tracing), 아티팩트 인식 검색 (Artifact-aware retrieval), 그리고 프레임워크별 아키텍처 패턴 (MVVM 등) 에 대한 이해를 높이는 연구가 시급함을 강조합니다.

결론적으로, MobileDev-Bench 는 AI 기반 모바일 개발 도구의 신뢰성을 평가하기 위한 현실적인 기준을 제공하며, 향후 연구가 단순한 코드 생성이 아닌 시스템 전체의 맥락 이해에 집중해야 함을 보여줍니다.