Safe, or Simply Incapable? Rethinking Safety Evaluation for Phone-Use Agents

기술적 요약: 안전한가, 아니면 단순히 무능한가? 스마트폰 사용 에이전트의 안전성 평가 재고

문제 제기
현재 스마트폰 사용 에이전트에 대한 안전성 평가는 근본적인 모호성에 시달리고 있습니다: 해가 없는 결과가 반드시 안전한 행동을 의미하는 것은 아닙니다. 에이전트가 위험한 순간에 해를 입히지 않았을 때, 이는 안전한 판단(위험을 인식하고 올바른 안전한 행동을 선택함) 때문일 수도 있고 행동 불가(인터페이스를 이해하지 못하거나, 컨트롤을 찾지 못하거나, 관련 행동을 실행하지 못함) 때문일 수도 있습니다. 기존 벤치마크는 종종 '작업 성공', '거부', 또는 '최종 유해 결과'와 같은 집계 지표 하에 이러한 구별된 원인을 혼동합니다. 이러한 혼동은 두 가지 치명적인 문제를 초래합니다:

1. 약한 모델의 과대평가: 행동에 실패한 에이전트가 해가 발생하지 않았다는 이유로 안전성을 잘못 인정받습니다.
2. 강한 모델의 오진: 인터페이스를 이해하지만 나쁜 안전 선택을 하는 에이전트가 단순히 행동할 수 없는 에이전트와 구별되지 않습니다.

에이전트가 수동적 조수에서 스마트폰을 직접 조작할 수 있는 시스템으로 전환됨에 따라, 잘못된 한 번의 탭은 개인 데이터를 노출하거나 결제를 승인하거나 권한을 부여할 수 있습니다. 안전 경계가 행동과 관련되는 순간 에이전트가 올바른 선택을 하는지 평가하는 것은 작업 완료 여부를 평가하는 것과 구별됩니다.

방법론: PHONESAFETY
이를 해결하기 위해 저자들은 전체 작업 에피소드가 아닌 안전 결정적 순간에서 에이전트를 평가하도록 설계된 벤치마크인 PHONESAFETY를 소개합니다.

• 데이터 구축: 이 벤치마크는 130 개 이상의 중국 모바일 앱에 걸친 4,512 개의 실제 기기 궤적에서 추출된 700 개의 안전 결정적 순간으로 구성됩니다. 이러한 궤적은 네이티브 앱, 미니 프로그램, 앱 간 워크플로우를 포함한 다양한 시나리오를 포괄합니다.
• 평가 단위: 분석 단위는 다음 행동이 상호작용의 안전성을 직접 결정할 수 있는 특정 결정 지점입니다. 모델은 사용자 지시사항, 상호작용 기록, 현재 화면 컨텍스트를 제공받은 후 다음 스마트폰 행동을 예측하도록 요청받습니다.
• 3 가지 분해: 이진 안전/불안전 레이블 대신, 결과는 세 가지 상호 배타적 범주로 분류됩니다:
  1. 안전 행동: 모델이 결정에 참여하여 안전한 쪽을 선택함 (예: 확인 요청, 유해한 지시 거부, 기만적 팝업 닫기).
  2. 불안전 행동: 모델이 결정에 참여하지만 안전 경계를 넘음 (예: 확인 없이 결제 진행, 불필요한 권한 부여).
  3. 유용한 행동 실패 (능력 실패): 모델이 안전 또는 불안전 행동 중 어느 것도 실현하지 못함. 이는 관련 없는 영역 탭, 페이지 이탈, 또는 오류가 있는 행동 생성을 포함합니다. 이 범주는 모델 내부 심층 구조에 대한 주장이 아닌, 행동 불가의 운영적 신호로 간주됩니다.
• 지표: 저자들은 안전 행동률, 불안전 행동률, 그리고 **능력 실패율 (CFR)**을 보고합니다. 또한 일반적인 운영 능력의 대리 지표로서 $1 - \text{CFR}$ (어떤 관련 행동이라도 생성하는 비율) 을 추적합니다.

주요 결과
이 논문은 8 개의 대표적인 스마트폰 사용 에이전트 (Gemini 3.1 Pro, Claude Opus 4.6, AutoGLM 9B 포함) 를 평가하여 두 가지 주요 패턴을 드러냈습니다:

1. 일반 능력은 안전한 선택을 예측하지 못함:
   모델의 일반 스마트폰 사용 성능과 결정적 순간에서의 안전 판단 사이에는 신뢰할 수 있는 상관관계가 없습니다.

   • 증거: 일반 작업에서 높은 순위를 차지하는 모델 (예: Seed 2.0 Pro) 이 반드시 가장 높은 안전 행동률을 가진 것은 아닙니다. 반대로, 일반 점수가 낮은 모델이 때로는 경계가 명확할 때 더 안전한 의사결정을 보이기도 합니다.
   • 시사점: 높은 운영 능력이 안전한 행동을 보장하지는 않으며, 전용 안전성 평가가 필요합니다.

2. 구별된 실패 모드:
   실패는 단일하지 않으며, 시나리오에 따라 두 가지 뚜렷한 패턴으로 나뉩니다:

   • 불안전 선택: 단순 거부가 필요한 시나리오 (예: '안전' 계열) 에서 실패는 주로 불안전 행동입니다. 모델은 인터페이스를 이해하지만 결정의 잘못된 쪽을 선택합니다 (예: 유해한 지시 진행).
   • 행동 불가: 시각적 및 운영적으로 요구 사항이 높은 시나리오 (예: '함정 저항', '권한 최소화') 에서 실패는 주로 유용한 행동 실패입니다. 모델은 인터페이스를 파악하거나 필요한 행동을 실행할 수 없습니다.
   • 상관관계: '유용한 행동 실패' 비율 (CFR) 은 일반 스마트폰 사용 능력과 강력하게 상관관계가 있습니다 ($\rho = 0.922$), 반면 안전 행동률은 그렇지 않습니다.

3. 불능의 프로토콜 불변성:
   평가 프로토콜 (안전 행동과 불안전 행동을 정의하는 것) 이 변경될 때 안전 행동률은 크게 변동합니다. 그러나 **능력 실패율 (CFR)**은 안정적으로 유지됩니다 ($\Delta \text{CFR} = 0.0$). 이는 '유용한 행동 실패'가 특정 안전 정의에 대한 민감도가 아닌 운영적 불능의 신호임을 확인시켜 줍니다.

의의 및 주장
이 논문은 행동 수행 에이전트의 경우 해가 없음이 안전성을 위한 충분한 증거가 아님을 주장합니다. 그 결과가 행동 불가로 인한 것이라면, 해가 발생하지 않았다는 이유만으로 시스템에 안전성 점수를 부여해서는 안 됩니다.

• 핵심 기여: 부적절한 판단과 행동 불가를 분리하는 3 가지 평가 프레임워크의 도입.
• 방법론적 전환: 에피소드 수준의 결과에서 안전 결정적 순간으로의 이동은 안전이 결정되는 특정 결정 지점을 격리할 수 있게 합니다.
• 실용적 함의: 안전성 평가는 나쁜 선택을 하는 모델과 행동할 수 없는 모델을 구별해야 합니다. '관련 행동 없음'을 안전 성공으로 간주하는 것은 에이전트 위험의 본질을 흐리는 방법론적 오류입니다.

이 연구는 중국 모바일 생태계 내의 오프라인 평가에 국한되지만, 저자들은 해가 없는 결과를 단순히 관찰하는 것이 아니라 해석해야 한다는 근본 원칙이 현실 세계에서 행동할 수 있는 에이전트 전반에 광범위하게 적용된다고 주장합니다.