기술 요약: OS-Sentinel

문제 정의

시각-언어 모델(VLM)이 자율 에이전트가 모바일 그래픽 사용자 인터페이스(GUI)를 운용할 수 있게 해주었지만, 그 안전성을 보장하는 것은 여전히 매우 중요하며 미개척된 과제로 남아 있습니다. 데스크톱이나 웹 환경과 달리, 모바일 GUI는 다양한 애플리케이션, 민감한 사용자 데이터, 그리고 역동적인 상호작용 맥락으로 인해 고유한 위험을 안고 있습니다. 기존의 안전성 연구는 세 가지 주요 한계점에 직면해 있습니다:

1. 인프라 격차: 현재의 환경은 데스크톱이나 웹 플랫폼에 집중되어 있어, 심층적인 안전 문제를 탐지하는 데 필요한 전체 시스템 상태(예: 런타임 프로세스)를 포착할 수 있는 모바일 특화 역량이 부족합니다.
2. 탐지 한계: 결정론적인 규칙 기반 방식은 확장성과 맥락 파악 능력이 부족하며, 모델 기반 방식은 좁은 시나리오만을 목표로 하거나 엄격한 안전 경계를 설정하지 못하는 일반적인 패러다임에 의존하는 경우가 많습니다.
3. 평가 범위: 대부분의 연구는 단계별(step-level) 탐지에 치중하여 현실적인 다중 동작 궤적(multi-action trajectories) 및 시스템 상태 전이와 단절되어 있으며, 이로 인해 시간이 흐름에 따라 발생하는 위험을 평가하기 어렵습니다.

핵심 문제는 모바일 에이전트의 복잡하고 역동적인 운영 공간 내에서 명시적인 시스템 침해(예: 무단 파일 접근)부터 암묵적인 맥락 위반(예: 개인정보 유출 또는 유해 콘텐츠)에 이르는 다각적인 안전 위협을 신뢰성 있게 탐지할 수 없다는 점입니다.

방법론

본 논문은 두 갈래의 접근 방식, 즉 새로운 평가 인프라 구축과 새로운 하이브리드 탐지 프레임워크를 제안합니다.

1. 인프라: MobileRisk-Live 및 MobileRisk

현실적인 모바일 테스트 환경의 부재를 해결하기 위해 저자들은 다음을 도입합니다:

• MobileRisk-Live: Android 에뮬레이터 기반의 동적 샌드박스 환경입니다. 이는 실시간 에이전트 실행을 지원하며 다음을 기록하기 위한 통합 인터페이스를 제공합니다:
  • GUI 관측값 ($o_t$): 스크린샷 및 접근성 트리(a11ytree).
  • 에이전트 행동 ($a_t$): 사용자 상호작용.
  • 시스템 상태 추적($T_{sys}$): Android UIAutomator2를 통해 캡처된 하위 시스템 메타데이터(예: 파일 작업, 권한 변경, 백그라운드 프로세스). 이 추적 데이터는 GUI에 보이지 않는 위험을 탐지하는 데 필수적입니다.
• MobileRisk: MobileRisk-Live에서 파생된 벤치마크로, 204개의 현실적인 궤적(안전 102개, 불안전 102개)을 포함합니다.
  • 데이터 스키마: 각 궤적은 GUI 관측값, 시스템 상태 추적(파일 메타데이터 및 화면 텍스트의 경량 해시 표현), 그리고 세밀한 안전 주석을 포함합니다.
  • 분류 체계: 위험은 사용자 측 위험(악의적 사용, 프롬프트 인젝션, 유해 콘텐츠)과 에이전트 측 위험(파괴적 작업, 개인정보 침해, 보안 우회, UI 조작, 리소스 남용, 컴플라이언스 위반, 과잉 자동화)으로 나뉘는 10가지 세부 유형으로 분류됩니다.
  • 구축 방식: 불안전한 궤적은 선별된 위험 유발 명령어를 실행하여 생성되며, 안전한 궤적은 안전한 명령어를 통해 생성되거나 오탐(false positive)을 최소화하기 위해 불안전한 궤적의 교정된 대응물로 구성됩니다.

2. 프레임워크: OS-Sentinel

OS-Sentinel은 명시적인 시스템 수준의 위반과 암묵적인 맥락적 위험을 모두 커버하기 위해 두 가지 별개의 구성 요소를 결합한 하이브리드 안전 탐지 프레임워크입니다.

• 형식 검증기 (결정론적): **시스템 상태 추적($T_{sys}$)**을 분석하는 규칙 기반 시스템 체커입니다. 다음 세 가지 특정 검사를 수행합니다:
  1. 시스템 상태 무결성 모니터링: 파일 시스템 메타데이터의 암호화 해시를 계산하여 무단 수정이나 권한 상승을 탐지합니다.
  2. 민감 키워드 탐지: 가시적인 텍스트를 OWASP 가이드라인에 기반한 금융, 개인정보, 보안 용어 사전과 대조합니다.
  3. 민감 패턴 매칭: 정규 표현식을 사용하여 신용카드 번호나 이메일과 같은 구조화된 데이터를 식별합니다.
• 맥락 판사 (모델 기반): 멀티모달 입력(스크린샷, 접근성 트리, 행동)을 처리하는 VLM 기반의 의미론적 분석기입니다.
  • 실시간 개입을 위해 단계 수준(Step Level)($J_\theta(o_t, a_t)$)에서 작동합니다.
  • 전체적인 행동 의도를 평가하기 위해 연속적(Consecutive, 윈도우 기반) 또는 샘플링(Sampled) 모드를 통해 **궤적 수준(Trajectory Level)**에서 작동합니다.
• 하이브리드 판정: 최종 안전 결정은 두 구성 요소의 집합입니다. 이 프레임워크는 두 구성 요소 중 하나라도 플래그를 발생시키면 위험한 판정을 내리는 **엄격 모드(Strict Mode, 논리적 OR)**를 지원하여 위험에 대한 무관용 원칙을 보장합니다.

주요 결과

MobileRisk 벤치마크에서 다양한 백본 모델(GPT-4o, Claude-3.7/4.5, Qwen2.5-VL 등)을 사용하여 실험을 진행하였으며, 이를 규칙 기반 평가기 및 표준 VLM/LLM-as-a-Judge 베이스라인과 비교하였습니다.

• 성능 향상: OS-Sentinel은 여러 지표에서 기존 방식들을 일관되게 능가했습니다. 궤적 및 단계 수준 모두에서 베이스라인 대비 정확도와 F1 점수에서 10%~30%의 향상을 달s했습니다.
• 강건성: 하이브리드 접근 방식은 다양한 위험 카테고리를 탐지하는 데 탁월한 능력을 보여주었습니다. 베이스라인 모델들이 특정 카테고리에서는 우수하지만 다른 곳에서는 실패하는 것과 달리, OS-Sentinel은 전체 분류 체계에 걸쳐 균형 잡힌 탐지를 제공했습니다.
• 효율성: 본 프레임워크는 모델 불가지론적(model-agnostic)이며, 로컬 모바일 배포에 적합한 7B 규모의 백본에서도 강력한 결과를 달성했습니다. API 기반 모델의 경우 평균 탐지 지연 시간은 약 66ms로, 실제 환경 배포의 실용성을 입증했습니다.
• 환경 타당성: 동적 MobileRisk-Live 환경과 고정된 MobileRisk 데이터셋 간의 비교에서 높은 일관성(근접성)을 보여, 재현 가능한 안전 연구를 위한 고정 궤적 사용의 타당성을 검증했습니다.

의의 및 주장

본 논문은 다음과 같은 기여를 통해 모바일 GUI 에이전트를 보호하기 위한 새로운 패러다임을 구축한다고 주장합니다:

1. 기초 인프라: MobileRisk-Live와 MobileRisk를 도입함으로써, 본 연구는 모바일 에이전트의 체계적인 안전 연구를 위해 설계된 최초의 동적 샌드박스와 세밀한 벤치마크를 제공하여 모바일 특화 평가 인프라의 공백을 메웁니다.
2. 방법론적 발전: OS-Sentinel은 결정론적 형식 검증과 모델 기반 맥락 판단을 결합한 하이브리드 접근 방식이 규칙이나 모델 중 하나에만 의존하는 한계를 극복하기 위해 필수적임을 입증합니다. 이 방식은 "보이지 않는" 시스템 수준의 변화와 "미묘한" 의미론적 위반을 효과적으로 포착합니다.
3. 경험적 통찰: 본 연구는 안전 탐지 구성 요소에 대한 비판적 분석을 제공하며, 시스템 상태 추적을 통합하는 것이 탐지 능력을 크게 향로운다는 것을 보여줍니다. 또한 고립된 단계별 체크보다 궤적 수준의 평가가 중요하다는 점을 강조합니다.

저자들은 본 연구가 더 신뢰할 수 있고 믿을 수 있는 자율 모바일 에이전트를 향한 단계로서, 시스템 상태 추적을 위한 오픈 플랫폼(Android 등)에 대한 의존성 및 시뮬레이션과 실제 네트워크 조건 간의 내재적 차이와 같은 한계를 인정하면서도, 제안된 프레임워크가 해당 분야의 강력한 기준점(baseline)을 제공한다고 주장합니다.