Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

1. 문제 정의 (Problem Definition)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 기반의 모바일 GUI 에이전트는 복잡한 태스크를 수행할 수 있게 되었으나, 기존 연구들은 주로 '작업 성공률 (Success Rate)'이나 '효율성' 최적화에 집중했습니다.
• 핵심 문제: 사용자의 개인정보 보호 (Privacy) 선호도를 고려한 에이전트의 개인화가 간과되었습니다.
  • 동일한 태스크 목표라도 사용자의 프라이버시 성향 (예: '프라이버시 우선' vs '효용 우선') 에 따라 실행 궤적 (Execution Trajectory) 이 구조적으로 다릅니다.
  • 프라이버시 우선 (Privacy-first): 불필요한 권한 부여 거부, 로그아웃, 개인 데이터 자동 입력 방지 등 보호적 행동을 취하며 궤적 길이가 길어지거나 구조가 복잡해질 수 있습니다.
  • 효용 우선 (Utility-first): 태스크 완수를 위해 기본 설정을 수용하고 직접적인 경로를 선택하여 궤적이 짧고 단순합니다.
• 기존 방법의 한계: 기존의 선호도 최적화 (예: DPO) 는 일반적으로 길이가 같고 구조가 균일한 응답 쌍을 가정합니다. 그러나 모바일 GUI 에이전트의 경우, 선호도에 따라 궤적의 길이와 구조가 이질적 (Heterogeneous) 이기 때문에, 단순한 정렬 (Padding) 을 통해 비교하면 중요한 프라이버시 관련 단계의 신호가 희석되거나 노이즈 (Alignment Noise) 로 인해 학습이 불안정해집니다.

2. 제안 방법: TIPO (Trajectory Induced Preference Optimization)

이러한 구조적 이질성을 해결하기 위해 저자들은 궤적 유도 선호도 최적화 (TIPO) 를 제안했습니다. TIPO 는 두 가지 핵심 기법을 통해 학습을 안정화하고 성능을 향상시킵니다.

A. 선호도 강도 가중치 (Preference-Intensity Weighting)

• 목적: 긴 궤적 내에서 프라이버시와 관련된 핵심 결정 단계 (예: 권한 거부, 추적 비활성화) 를 강조합니다.
• 동작: 모든 정렬된 단계를 균일하게 취급하는 기존 DPO 와 달리, 각 단계 쌍에 대해 선호도 강도 가중치 ($\alpha_t$) 를 부여합니다.
  • 규칙 기반 점수 체계와 LLM 을 활용하여 각 단계가 프라이버시 선호도에 얼마나 중요한지 점수화합니다.
  • 프라이버시 관련 단계의 점수 차이가 클수록 가중치를 높여, 모델이 핵심 결정 지점에 더 집중하도록 유도합니다.

B. 패딩 게이트 (Padding Gating)

• 목적: 길이가 다른 궤적을 비교하기 위해 삽입된 의미 없는 '패딩 (No-action)' 단계로 인한 학습 노이즈를 제거합니다.
• 동작: 정렬 과정에서 짧은 궤적에 삽입된 no_action placeholder 는 실제 선호도 정보가 없으므로 학습에 방해가 됩니다.
  • 게이트 메커니즘 ($m_t$): 선택된 궤적 (Chosen) 이 no_action 인 경우 가중치를 0 으로 설정하여 손실 함수 계산에서 제외하고, 유효한 단계인 경우만 1 로 설정합니다.
  • 이를 통해 정렬로 인한 인위적 노이즈가 모델 업데이트를 방해하는 것을 방지합니다.

수식적 표현:
TIPO 의 손실 함수는 위 두 기법을 결합하여 다음과 같이 정의됩니다.
$$\mathcal{L}_{TIPO} = \mathbb{E} \left[ \text{softplus} \left( - m_t \cdot \alpha_t \cdot z_t(\theta) \right) \right]$$
여기서 $z_t(\theta)$는 단계별 선호도 점수, $m_t$는 패딩 게이트, $\alpha_t$는 선호도 강도 가중치입니다.

3. 주요 기여 (Key Contributions)

1. 궤적 선택으로서의 개인화 정의: 모바일 GUI 에이전트의 개인화를 단순히 태스크 완수가 아닌, 동일한 목표 하에 사용자 선호도에 부합하는 궤적 선택 문제로 재정의했습니다.
2. 프라이버시 선호도 데이터셋 구축: '프라이버시 우선'과 '효용 우선' 두 가지 페르소나에 대해 동일한 태스크를 수행한 쌍을 이루는 궤적 (Paired Trajectories) 으로 구성된 새로운 데이터셋을 구축했습니다. 이 데이터셋은 길이와 구조가 이질적인 특성을 가집니다.
3. TIPO 알고리즘 제안: 구조적으로 이질적인 궤적 쌍에 대한 선호도 최적화를 안정화하기 위해 선호도 강도 가중치와 패딩 게이트를 도입한 새로운 최적화 프레임워크를 제안했습니다.

4. 실험 결과 (Results)

저자들은 자체 구축한 Privacy Preference Dataset을 사용하여 TIPO 를 기존 방법 (SFT, DPO, ORPO, CPO, SimPO, IPO 등) 과 비교 평가했습니다.

• 성능 지표:
  • 작업 성공률 (SR): 65.60% (기존 방법 대비 최상위 수준, 태스크 수행 능력 유지).
  • 준수율 (Compliance): 46.22 (프라이버시 우선 사용자의 보안 행동과 효용 우선 사용자의 효율적 행동을 모두 잘 따름).
  • 페르소나 구분도 (Persona Distinction, PD): 66.67% (기존 방법 중 가장 높음). 동일한 태스크에서 서로 다른 프라이버시 선호도에 따라 명확하게 다른 실행 궤적을 생성하는 능력을 입증했습니다.
• 성능 분석:
  • TIPO 는 프라이버시 우선 (Privacy-first) 조건에서 보안 지향 행동 (PAS-S) 을 42.85 로 높였으며, 효용 우선 (Utility-first) 조건에서는 불필요한 보안 행동을 15.71 로 억제하여 페르소나 충실도를 높였습니다.
  • Ablation Study: 선호도 강도 가중치와 패딩 게이트 중 하나라도 제거하면 성능이 저하됨을 확인했습니다. 특히 패딩 게이트는 학습 안정성에, 강도 가중치는 핵심 단계 학습에 각각 기여하여 상호 보완적임을 입증했습니다.
• 태스크 카테고리별: 브라우징, 계정 관리, 거래 등 다양한 태스크 유형에서 일관된 성능 향상을 보였으며, 특히 계정 관리 태스크에서 페르소나 구분도가 80% 에 달했습니다.

5. 의의 및 결론 (Significance)

• 개인화의 새로운 패러다임: 모바일 에이전트의 개인화를 '출력 내용'의 맞춤화를 넘어 '실행 과정 (궤적)'의 맞춤화로 확장했습니다.
• 실용적 가치: 사용자의 신뢰는 단순히 태스크가 완료되는 것뿐만 아니라, 어떤 과정으로 완료되었는지에 달려 있음을 보여줍니다. TIPO 는 프라이버시 민감도가 높은 환경에서도 사용자의 선호도에 부합하는 안전한 에이전트 행동을 학습시킬 수 있는 효과적인 프레임워크를 제공합니다.
• 확장성: 비록 프라이버시를 중심으로 연구되었으나, 이 프레임워크는 효율성, 비용 민감도, 위험 감수 성향 등 다른 사용자 선호도 요소에도 적용 가능하여 보다 포괄적인 개인화 에이전트 개발의 기반이 됩니다.

요약하자면, 이 논문은 구조적으로 다른 실행 궤적을 가진 모바일 GUI 에이전트의 개인화 문제를 해결하기 위해 TIPO를 제안하고, 이를 통해 작업 성공률을 유지하면서도 사용자의 프라이버시 선호도에 정밀하게 부합하는 행동을 학습할 수 있음을 실증적으로 증명했습니다.