Do Phone-Use Agents Respect Your Privacy?

논문 개요: 모바일 에이전트의 프라이버시 존중 여부 평가

이 논문은 사용자를 대신하여 스마트폰을 조작하는 **휴대폰 사용 에이전트 (Phone-Use Agents)**가 benign(선의의) 모바일 작업을 수행할 때 사용자의 프라이버시를 존중하는지 여부를 연구합니다. 기존 평가 방식은 작업 성공률에만 초점을 맞추어, 에이전트가 불필요한 권한을 요청하거나 민감한 데이터를 과도하게 공개하는지 여부를 파악하지 못한다는 한계를 지적합니다.

저자들은 이를 해결하기 위해 MYPHONEBENCH라는 검증 가능한 평가 프레임워크를 제안하고, 5 개의 최첨단 모델에 대한 실험을 통해 프라이버시 준수와 작업 성공은 별개의 능력임을 입증했습니다.

---

1. 문제 정의 (Problem)

• 배경: AutoGLM, UI-TARS, Claude Computer Use 등 최근 모바일 에이전트 시스템은 안드로이드 환경에서 70% 이상의 작업 성공률을 보이고 있습니다.
• 핵심 질문: 에이전트가 작업을 성공적으로 완료하는지 여부는 중요하지만, 그 과정에서 사용자 데이터를 책임 있게 처리하는지가 더 중요한 배포 전제 조건입니다.
• 현재의 한계:
  • 프라이버시 준수의 비운영화 (Non-operationalized): 에이전트에게 '프라이버시 존중'이 무엇인지 명확한 기준이 없습니다.
  • 관측 불가능성: 일반 앱은 에이전트가 어떤 폼 항목에 어떤 데이터를 입력했는지, 불필요한 필드를 채웠는지, 또는 불필요한 곳에 데이터를 재공개했는지 구체적으로 드러내지 않습니다.
  • 평가 편향: 기존 벤치마크는 최종 상태 (End-state) 만 확인하므로, 작업은 성공했지만 프라이버시는 침해된 경우를 놓칩니다.

---

2. 방법론 (Methodology)

저자들은 MYPHONEBENCH를 통해 프라이버시 행위를 측정 가능한 속성으로 변환했습니다.

2.1. iMy 프라이버시 계약 (The iMy Privacy Contract)

에이전트의 실행 시 프라이버시 경계를 명확히 정의한 계약입니다.

• 데이터 분류:
  • LOW: 에이전트가 기본적으로 사용할 수 있는 데이터 (예: 이름, 음식 선호도).
  • HIGH: 명시적 사용자 승인 (Permission) 이 필요한 데이터 (예: 전화번호, 주민등록번호).
• 행위 제한:
  • HIGH 데이터 사용 시 request permission 호출 필수.
  • 메모리 관리: save profile을 통해 저장된 정보는 사용자가 확인, 수정, 삭제 가능.
  • 에이전트는 작업 완료와 프라이버시 결정을 별도의 안전 계층이 아닌, 동일한 액션 루프 내에서 결정해야 합니다.

2.2. 통제된 앱 환경 (Controlled Apps)

• 모의 앱 (Mock Apps): 9 개의 산업 분야 (음식 배달, 여행 예약, 정부 서비스 등) 에 걸쳐 10 개의 통제된 안드로이드 앱을 구축했습니다.
• 관측 가능성: 실제 앱은 숨겨져 있지만, 이 모의 앱은 SQLite 데이터베이스를 통해 에이전트가 입력한 모든 값, 폼 작성 이력, 권한 요청 내역을 기록합니다.
• 감사 (Auditing): 작업 종료 후 데이터베이스 기록을 기반으로 결정론적 규칙으로 프라이버시 위반 여부를 판단합니다.

2.3. 프라이버시 프로브 (Privacy Probes)

반복적으로 발생하는 프라이버시 위험 구조를 3 가지 프로브로 변환하여 평가합니다.

1. 과도한 권한 요청 (Over-permissioning, OP): 작업에 필요하지 않은 HIGH 등급 데이터를 요청하는지 테스트 (예: 필수 항목 바로 뒤에 선택적 민감 항목 배치).
2. 함정 저항성 (Trap Resistance, TR): 작업과 무관하지만 그럴듯하게 보이는 마케팅 위젯 등에 불필요한 데이터를 재공개하는지 테스트.
3. 폼 최소화 (Form Minimization, FM): 작업에 필요하지 않은 선택적 개인 정보를 에이전트가 임의로 채우는지 테스트 (예: 필수 항목 사이에 선택적 생년월일 필드 배치).

2.4. 평가 지표

• 작업 성공률 (Task Success): 목표 앱 상태 달성 여부.
• 프라이버시 점수 (Privacy Score): 3 가지 프로브의 평균 점수.
• 프라이버시 자격 획득 성공률 (Privacy-qualified Success Rate): 작업 성공과 동시에 설정된 프라이버시 임계값 (τ=0.7) 을 충족하는 비율.
• 세션 간 선호도 재사용 (Later-session Use): 이전 세션에서 저장된 선호도를 다음 세션에서 올바르게 활용하는지 평가.

---

3. 주요 기여 (Key Contributions)

1. 프라이버시 존중의 운영화: 권한 기반 접근, 최소 공개, 사용자 제어 메모리를 포함하는 iMy 계약을 정의하여 프라이버시 준수를 에이전트의 실행 가능한 의사결정으로 변환했습니다.
2. 검증 가능한 평가 프레임워크 구축: 도구화된 모의 앱, 구조화된 프라이버시 프로브, 규칙 기반 감사를 결합하여 에이전트의 데이터 처리 행위를 관찰 가능하고 재현 가능하게 만들었습니다.
3. 경험적 발견: 현재 최첨단 에이전트들 사이에서 '작업 성공', '프라이버시 준수', '세션 간 선호도 활용'은 **서로 다른 능력 (Distinct Capabilities)**임을 입증했습니다. 어떤 단일 모델도 세 가지 영역을 모두 지배하지 못합니다.

---

4. 실험 결과 (Results)

5 개의 최첨단 모델 (Claude Opus 4.6, Qwen 3.5 Plus, Kimi K2.5, Doubao Seed 1.8, Gemini 3 Pro) 을 10 개 앱, 300 개 작업으로 평가했습니다.

• 모델별 우위 부재:

  • Claude Opus 4.6: 작업 성공률 (82.8%) 과 세션 간 선호도 활용 (72%) 이 가장 높았으나, 프라이버시 점수는 상대적으로 낮았습니다.
  • Kimi K2.5: 평균 프라이버시 점수 (77.3%) 가 가장 높았으나, 작업 성공률은 중간 수준이었습니다.
  • Qwen 3.5 Plus: 프라이버시 자격 획득 성공률 (47.6%) 이 가장 높았습니다.
  • 결론: 작업 성공률이 높은 모델이 반드시 프라이버시를 잘 지키는 것은 아니며, 프라이버시를 잘 지키는 모델이 모든 작업을 성공하는 것도 아닙니다.

• 가장 흔한 실패 모드: 폼 최소화 (Form Minimization) 실패.

  • 에이전트들은 작업에 필요하지 않은 선택적 개인 정보 필드를 채우는 경향이 가장 강했습니다. 이는 악의적인 공격이 아니라, "작업을 완벽하게 완료하려는 과도한 도움 (Over-helpful execution)"에서 비롯된 편향으로 분석됩니다.

• 세션 간 전이 능력:

  • 단일 세션 내에서 선호도를 저장하는 능력과, 다음 세션에서 이를 올바르게 활용하는 능력 사이에는 큰 격차가 존재했습니다. (예: Qwen 은 저장/활용 시뮬레이션에서는 좋았으나, 실제 세션 간 전이에서는 성능이 떨어짐).

---

5. 의의 및 결론 (Significance & Conclusion)

• 평가 패러다임의 전환: 단순한 '작업 성공' 지표는 에이전트의 배포 준비 상태를 과대평가할 수 있음을 시사합니다. 프라이버시와 성공을 동시에 고려한 평가가 필수적입니다.
• 실제 위험: 악의적인 지시가 없더라도, 에이전트가 benign 작업을 수행하는 과정에서 과도한 권한 요청이나 불필요한 데이터 공개가 발생할 수 있습니다.
• 향후 방향: 현재 에이전트들은 프라이버시 보호와 작업 완수 사이의 균형을 잡지 못하고 있으며, 특히 '선택적 필드 채우기'와 같은 미세한 프라이버시 위반에 취약합니다. 실제 배포 전에는 이러한 프라이버시 인식 평가가 반드시 선행되어야 합니다.

이 연구는 MYPHONEBENCH의 코드, 모의 앱, 에이전트 실행 궤적을 공개하여 (GitHub), 향후 모바일 에이전트의 프라이버시 안전성 연구에 기반을 제공하고 있습니다.