Mobile-Agent-RAG: Driving Smart Multi-Agent Coordination with Contextual Knowledge Empowerment for Long-Horizon Mobile Automation

이 논문은 장기적이고 복잡한 모바일 자동화 작업에서 기존 에이전트의 한계를 해결하기 위해, 고수준 계획과 저수준 실행에 각각 특화된 지식 검색 (RAG) 메커니즘을 통합한 계층적 멀티 에이전트 프레임워크인 'Mobile-Agent-RAG'와 이를 평가하는 새로운 벤치마크를 제안합니다.

핵심

📱 문제: "똑똑한 AI 가 왜 스마트폰을 못 다루지?"

지금까지 개발된 AI 는 매우 똑똑합니다. 하지만 스마트폰이라는 복잡한 환경에서 긴 작업을 시키면 (예: "X 앱에서 메타버스 채팅 툴을 검색해서 3 개를 찾아 노트에 정리해줘") 자주 실패합니다.

그 이유는 AI 가 오직 자신의 머릿속 지식 (학습 데이터) 만에 의존하기 때문입니다. 마치 여행을 가는데 지도도, 현지인도 없이 오직 자신의 기억만 믿고 길을 찾는 사람과 같습니다.

1. 전략 실수 (High-level Planning): "어떤 순서로 앱을 켜야 하지?"라고 생각할 때 엉뚱한 계획을 세웁니다. (예: 검색을 하려고 하는데 먼저 카메라를 켬)
2. 작업 실수 (Low-level Execution): "이 버튼을 누르라고?"라고 할 때 화면의 버튼을 잘못 누르거나, 잘못된 위치를 터치합니다.

🚀 해결책: "Mobile-Agent-RAG" (AI 의 두뇌 + 외부 지식)

이 논문은 AI 가 스스로 생각하는 것만으로는 부족하다고 보고, 외부에서 필요한 정보를 찾아서 (검색해서) 도움을 주는 시스템을 만들었습니다. 이를 **RAG(검색 증강 생성)**라고 합니다.

이 시스템은 두 명의 전문가로 구성된 팀처럼 작동합니다.

1. 매니저 (Manager-RAG): "현명한 프로젝트 매니저"

• 역할: 전체적인 계획을 세웁니다. "우선 X 앱을 켜고, 검색창을 누르고..." 같은 큰 그림을 그립니다.
• 비유: 여행 계획 세우는 사람입니다.
  • 기존 AI 는 "아, 여행지 가려면 비행기 타고 호텔 예약해야지"라고 막연히 생각하다가 길을 잃었습니다.
  • 새로운 AI는 "지난번에 성공했던 여행 계획서를 찾아봐!"라고 합니다. 그리고 **"사람들이 실제로 성공적으로 쓴 여행 가이드북"**을 꺼내어 "이 순서대로 하면 실패하지 않아!"라고 조언받습니다.
  • 효과: 엉뚱한 계획을 세우는 실수 (할루시네이션) 가 크게 줄어듭니다.

2. 운영자 (Operator-RAG): "정교한 기술자"

• 역할: 매니저가 세운 계획을 바탕으로 실제 손가락으로 터치하는 작업을 합니다. "화면의 313 번, 2636 번 좌표를 누르세요" 같은 정밀한 지시를 내립니다.
• 비유: 현장에서 일하는 숙련된 기술자입니다.
  • 기존 AI 는 "저기 버튼 같은 게 보이는데, 어딘가 누르면 되겠지?"라고 대충 터치해서 실수했습니다.
  • 새로운 AI는 "지금 이 앱의 화면과 비슷했던 과거의 성공 사례를 찾아봐!"라고 합니다. 그리고 **"정확히 어떤 버튼을, 어떤 위치에 터치해야 하는지 알려주는 사진과 설명"**을 찾아서 "이게 바로 그 버튼이야! 정확히 여기 누르면 돼!"라고 지시합니다.
  • 효과: 잘못된 버튼을 누르거나 화면을 잘못 조작하는 실수가 사라집니다.

🛠️ 어떻게 작동하나요? (실제 사례)

예를 들어, **"X 앱에서 2025 년 메타버스 채팅 툴을 검색해서 3 개를 노트에 정리해줘"**라는 작업을 시켰다고 가정해 봅시다.

1. 매니저가 나섭니다: "우선 X 앱을 켜고 검색창을 찾아야 해."라고 생각할 때, **과거의 성공 사례 (가이드북)**를 검색해서 "X 앱은 아이콘을 누르고, 검색창은 화면 위쪽 중앙이야"라는 정확한 순서를 확인합니다.
2. 운영자가 나섭니다: "검색창을 누르라?"라고 할 때, 과거의 성공 사진을 비교하며 "화면의 (313, 2636) 좌표가 바로 검색창이야"라고 정확한 위치를 찾아냅니다.
3. 피드백: 작업을 하고 나면 AI 는 "잘 됐나?"를 스스로 점검하고, 노트에 정보를 저장합니다.

🏆 결과: 얼마나 좋아졌나요?

이 시스템을 테스트해 보니, 기존 최고의 AI 들보다 작업 성공률이 11% 이상 높아졌고, 필요한 단계 수도 줄어들어 더 빠르게 작업을 완료했습니다.

💡 핵심 요약

이 논문은 **"AI 가 혼자 머리를 싸매고 고민하는 것보다, 과거의 성공 사례 (지식) 를 찾아서 참고하면 훨씬 똑똑해진다"**는 것을 증명했습니다.

• 기존 AI: "내 기억만 믿고 도전한다." → 자주 실패함.
• 새로운 AI (Mobile-Agent-RAG): "매니저는 가이드북을 보고 계획을 세우고, 기술자는 성공 사진을 보고 작업을 한다." → 정확하고 빠르게 성공!

이 기술은 앞으로 우리가 스마트폰으로 복잡한 업무를 할 때, AI 가 우리 대신 완벽하게 처리해 주는 시대를 앞당겨 줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

현재 모바일 에이전트 (Mobile Agents) 는 스마트폰 인터페이스를 통해 복잡한 사용자 작업을 자동화할 수 있는 잠재력을 보여주지만, 실제 환경에서의 장기적 (Long-Horizon) 이고 다중 앱 (Cross-application) 을 거치는 작업에서 성공률이 낮다는 한계가 있습니다.

• 근본 원인: 기존 최첨단 (SoTA) 에이전트들은 멀티모달 대형 언어 모델 (MLLM) 에 내장된 정적 (Static) 인 내부 지식에만 과도하게 의존합니다.
• 주요 실패 지점:
  1. 전략적 할루시네이션 (Strategic Hallucinations): 고수준 계획 (High-level Planning) 단계에서 다단계 추론이 필요할 때, 모델이 존재하지 않는 경로나 잘못된 전략을 생성합니다.
  2. 작동 오류 (Operational Errors): 저수준 실행 (Low-level Execution) 단계에서 특정 앱의 UI 요소 (버튼 위치, 아이콘 등) 를 정확히 인식하지 못해 잘못된 클릭이나 입력을 수행합니다.
• 기존 접근법의 한계: 계층적 프레임워크 (예: Mobile-Agent-E) 는 계획과 실행을 분리했지만, 여전히 두 모듈 모두 모델 자체의 추론 능력에 의존하여 할루시네이션 문제를 근본적으로 해결하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 Mobile-Agent-RAG라는 새로운 계층적 멀티 에이전트 프레임워크를 제안합니다. 핵심 아이디어는 "고수준 계획"과 "저수준 UI 작동"이 본질적으로 다른 유형의 지식을 필요로 한다는 점이며, 이를 해결하기 위해 **이중 수준 (Dual-level) 검색 증강 생성 (RAG)**을 도입했습니다.

A. 계층적 멀티 에이전트 아키텍처

시스템은 크게 두 가지 핵심 에이전트와 지원 모듈로 구성됩니다.

• Manager Agent (계획): 사용자 작업을 고수준 전략으로 분해하고 하위 작업 (Subtask) 을 생성합니다.
• Operator Agent (실행): Manager 가 생성한 하위 작업을 구체적인 원자적 행동 (Atomic Actions, 예: 탭, 스와이프, 입력) 으로 변환하여 실행합니다.
• 지원 모듈:
  • Perceptor: 스크린샷을 분석하여 텍스트, 아이콘, 위치 등 정밀한 시각 정보를 추출합니다.
  • Action Reflector: 작업 전후의 UI 상태를 비교하여 작업 성공/실패를 판단하고 피드백을 제공합니다.
  • Notetaker: 장기 작업 중 필요한 정보를 지속적으로 요약하고 저장하여 컨텍스트를 유지합니다.

B. 컨텍스트 지식 강화 (Contextual Knowledge Empowerment via RAG)

기존의 정적 지식을 보완하기 위해 외부 지식 베이스에서 실시간으로 관련 정보를 검색하여 에이전트에 제공합니다.

1. Manager-RAG (전략적 계획 지원):

   • 목적: 고수준 전략적 할루시네이션을 줄이고 장기적인 계획을 수립합니다.
   • 지식 베이스: 인간이 검증한 전체 작업 지시문 (Task Instruction) 과 그에 대한 인간 수행 단계 (Human Steps) 의 쌍으로 구성됩니다.
   • 작동: 입력된 작업 지시를 기반으로 유사한 과거 성공 사례 (Top-k) 를 검색하여 Manager 에게 고수준 가이드라인을 제공합니다.

2. Operator-RAG (정밀 작동 지원):

   • 목적: 특정 앱 UI 에 맞는 정확한 원자적 행동을 생성하여 작동 오류를 줄입니다.
   • 지식 베이스: 앱별 (App-specific) 로 분리되어 있으며, (하위 작업, 스크린샷, 원자적 행동) 의 3 요소로 구성된 문서들을 포함합니다.
   • 작동: 현재 실행 중인 앱과 하위 작업을 기반으로 가장 유사한 UI 상태와 행동 예시 (Top-1) 를 검색하여 Operator 에게 정밀한 좌표나 입력값을 제공합니다.

C. Mobile-Eval-RAG 벤치마크

• 기존 벤치마크의 한계를 보완하기 위해 제안된 새로운 평가 데이터셋입니다.
• 특징: 2~3 개의 앱을 오가는 평균 16.9 단계의 긴 작업, 정보 검색/트렌드 분석/식당 추천/쇼핑/여행 계획 등 5 가지 카테고리 포함.
• 평가 지표: 단순 성공률 (SR) 외에도 작업 완료율 (CR), 작동 정확도 (OA), 반사 정확도 (RA), 단계 효율성 (Efficiency) 등을 종합적으로 평가합니다.

3. 주요 기여 (Key Contributions)

1. Mobile-Agent-RAG 프레임워크 제안: 계획 (Manager-RAG) 과 실행 (Operator-RAG) 단계 모두에 외부 지식을 통합한 최초의 계층적 멀티 에이전트 시스템입니다.
2. 전용 지식 베이스 구축: 고수준 전략과 저수준 UI 작동에 특화된 두 가지 검색 중심 지식 베이스를 구축하고, 이를 통해 에이전트의 할루시네이션과 실행 오류를 효과적으로 감소시켰습니다.
3. Mobile-Eval-RAG 벤치마크 출시: 실제적인 다중 앱, 장기 작업을 평가하기 위한 엄격한 기준과 데이터셋을 공개했습니다.
4. 성능 입증: 다양한 실험을 통해 기존 SoTA 모델 대비 뛰어난 성능을 입증했습니다.

4. 실험 결과 (Results)

Mobile-Agent-RAG 는 Mobile-Agent-E 및 기타 단일/멀티 에이전트 기반의 기존 모델들과 비교하여 다음과 같은 성과를 보였습니다.

• 작업 완료율 (Completion Rate, CR): 기존 최첨단 모델 대비 11.0% 향상.
• 단계 효율성 (Step Efficiency): 10.2% 향상 (더 적은 단계로 작업을 완료).
• 작동 정확도 (Operator Accuracy): 90.1% (기존 모델 대비 크게 향상).
• 성공률 (Success Rate, SR): 76.0% (Mobile-Agent-E 의 48.0% 대비 28%p 향상).
• 모델 일반화: Gemini-1.5-Pro, GPT-4o, Claude-3.5-Sonnet 등 다양한 MLLM 백본에서 일관된 성능 향상을 보였습니다. 특히 추론 능력이 약한 모델일수록 RAG 를 통한 지식 보상의 효과가 컸습니다.
• Ablation Study: Manager-RAG 와 Operator-RAG 중 하나를 제거할 경우 성능이 급격히 하락하여, 두 모듈이 상호 보완적으로 작동함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 모바일 자동화 분야에서 정적 모델 지식의 한계를 극복하기 위한 새로운 패러다임을 제시합니다.

• 컨텍스트 인식형 신뢰성: 외부 지식 (RAG) 을 활용함으로써 에이전트가 실제 UI 환경과 사용자 요구에 더 잘 적응하도록 하여, 장기 작업에서의 신뢰성을 크게 높였습니다.
• 실용적 자동화: 복잡한 다중 앱 작업을 인간 수준의 정확도로 수행할 수 있는 기반을 마련하여, 실제 스마트폰 자동화 서비스 상용화에 중요한 기여를 합니다.
• 향후 연구 방향: 지식 베이스의 커버리지 확장, 시각적 인식 모듈의 고도화, 그리고 역동적인 환경 변화에 대한 적응력 향상이 향후 연구 과제로 제시되었습니다.

결론적으로, Mobile-Agent-RAG는 단순한 자동화를 넘어, 외부 지식을 효과적으로 활용하여 복잡한 모바일 작업을 신뢰성 있게 수행하는 강건한 멀티 에이전트 협업 시스템의 표준을 제시했습니다.