AgentRAE: Remote Action Execution through Notification-based Visual Backdoors against Screenshots-based Mobile GUI Agents

1. 문제 정의 (Problem Definition)

• 배경: 모바일 그래픽 사용자 인터페이스 (GUI) 에이전트 (예: 사용자의 지시를 받아 앱을 조작하는 AI) 가 급격히 보급되면서, 시스템 수준의 공격 표면이 확대되고 있습니다.
• 기존 한계: 기존 웹 기반 GUI 에이전트나 일반 생성형 AI 에 대한 백도어 공격은 주로 환경 주입 (Environmental Injection) 이나 기만적인 팝업 (Deceptive Pop-ups) 을 사용했습니다. 그러나 모바일 환경에서는 다음과 같은 이유로 이러한 기법이 적용되지 않습니다.
  1. OS 제한: 모바일 OS 는 시스템 인터페이스를 임의로 수정하거나 새로운 UI 요소를 주입하는 것을 엄격히 제한합니다.
  2. 트리거 설계 공간 부족: 모바일 알림 프레임은 OS 에 의해 정의된 스타일과 크기가 고정되어 있어, 눈에 띄는 악성 패턴을 삽입하기 어렵습니다.
  3. 주의 집중 실패: 알림 아이콘은 화면에서 매우 작고 시각적으로 유사하며, 배경 인터페이스에 비해 시각적 비중이 작아 모델이 이를 무시 (Attention Failure) 하는 경향이 있습니다.
  4. 다중 목표 매핑 충돌: 서로 다른 앱 아이콘 (트리거) 이 각각 다른 행동 (Action) 을 유발해야 하는 상황에서, 시각적 특징이 유사한 트리거들이 서로 다른 목표를 가질 때 발생하는 학습 신호의 충돌 문제가 발생합니다.
• 핵심 문제: 모바일 GUI 에이전트를 대상으로 하되, 사용자가 눈치채기 어려운 '자연스러운' 트리거 (예: 알림 아이콘) 를 사용하여 원격으로 악성 행동을 실행시키는 백도어 공격 기법의 부재.

2. 제안 방법론: AgentRAE (Methodology)

저자들은 AgentRAE라는 새로운 백도어 공격 프레임워크를 제안했습니다. 이는 모바일 알림 프레임에 있는 네이티브 앱 아이콘을 시각적 트리거로 활용하여, 에이전트가 악의적인 행동을 수행하도록 유도합니다.

핵심 전략: 2 단계 학습 파이프라인

기존의 단순한 독성 데이터 주입 (BadNets 스타일) 이 실패하는 이유를 해결하기 위해 두 단계의 학습 과정을 설계했습니다.

1. 1 단계: 지도식 대비 학습 (Supervised Contrastive Learning)

   • 목적: 시각적으로 매우 유사한 알림 아이콘들 사이의 의미론적 표현 (Semantic Representation) 을 분리합니다.
   • 기법: 트리거 분리 손실 (Trigger-Separation Loss) 을 사용하여, 동일한 트리거를 가진 샘플들은 임베딩 공간에서 밀집시키고, 서로 다른 트리거를 가진 샘플들은 멀리 떨어뜨립니다.
   • 효과: 작은 아이콘의 미묘한 차이를 모델이 민감하게 인식하도록 하여, 후속 학습에서 트리거와 행동 간의 매핑이 명확해지도록 합니다.

2. 2 단계: 지도식 독성 학습 (Supervised Poisoning Training)

   • 목적: 분리된 표현을 기반으로 특정 트리거와 특정 행동 (예: 클릭, 입력, 홈 화면 이동 등) 을 1:1 로 정확하게 매핑합니다.
   • 기법: 균형 잡힌 독성 손실 (Balanced Poison Loss) 을 사용하여, 백도어 활성화 성공률 (ASR) 을 높이면서도 정상 작업 수행 능력 (Clean Performance) 을 유지하도록 가중치를 조절합니다.
   • 데이터 구성: 정상 데이터, 독성 데이터 (트리거 포함), 그리고 benign(위험하지 않은) 알림 아이콘을 포함한 데이터를 혼합하여 학습합니다.

공격 시나리오

• 공격자는 데이터 유출 등을 통해 피해자의 연락처를 확보한 후, 악성 링크나 피싱 사이트로 연결하는 알림을 보냅니다.
• 에이전트가 해당 알림 아이콘을 인식하면, 사전에 학습된 백도어에 따라 악의적인 행동 (예: 피싱 사이트 접속, 민감 정보 입력, 세션 유지 등) 을 자동으로 수행합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 표면 탐구: 모바일 에이전트에서 OS 알림 (네이티브 팝업) 을 능동적이고 다중 목표 트리거로 활용하는 백도어 취약점을 최초로 규명했습니다.
2. 강건한 학습 프레임워크 (AgentRAE): 대비 학습과 분리된 미세 조정 (Disentangled Fine-tuning) 을 결합한 2 단계 훈련 프레임워크를 제안하여, 작은 아이콘 트리거의 인식 실패와 다중 목표 매핑 충돌 문제를 해결했습니다.
3. 높은 성능과 일반화:
   • 다양한 모바일 작업 (10 가지 행동 유형) 에서 90% 이상의 공격 성공률 (ASR) 을 달성했습니다.
   • 정상 작업 수행 능력 (Clean Performance) 은 거의 저하되지 않았습니다.
   • 다양한 기기 해상도 (>87% 성공률) 에서도 강력한 일반화 능력을 보였습니다.
4. 방어 메커니즘 평가: 기존 최첨단 방어 기법 (Fine-Pruning, NAD 등) 이 이 공격을 효과적으로 막지 못함을 증명했습니다. 특히, 고정된 레이블 enumeration 에 의존하는 기존 방어 기법은 오픈 엔디드 (Open-ended) 인 에이전트 행동 시퀀스에는 적용하기 어렵다는 근본적인 구조적 불일치를 지적했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR):
  • SeeClick-aitw 모델: 95.59% (평균), 특정 목표별로는 96.82% 까지 달성.
  • OdysseyAgent 모델: 90.19% ~ 95.87% 범위.
  • 기존 Baseline (BadNets 스타일) 대비 ASR 이 최대 55.38% 향상됨.
• 정상 작업 성능 (Clean Performance):
  • 행동 매칭 점수 (AMS) 와 성공률 (SR) 은 백도어 주입 후에도 거의 감소하지 않음 (AMS 감소폭 0.14% ~ 3.63% 내외). 이는 공격이 은밀하게 수행됨을 의미합니다.
• 다중 목표 공격: 9 가지 다른 앱 아이콘을 각각 다른 행동으로 매핑하는 복잡한 공격에서도 평균 ASR 이 89.25% (OdysseyAgent) 및 99.58% (SeeClick-aitw) 를 기록했습니다.
• 방어 우회: Fine-Pruning, NAD, Fine-Tuning 등 기존 방어 기법을 적용해도 ASR 이 86% 이상으로 유지되어 방어 실패를 확인했습니다.

5. 의의 및 시사점 (Significance)

• 보안 위협의 심화: 모바일 GUI 에이전트가 사용자의 신뢰를 기반으로 OS 레벨의 제약을 우회하여 작동할 수 있음을 보여주었습니다. 이는 공급망 공격 (Poisoned MLLM 배포) 을 통해 대규모로 악용될 수 있는 심각한 위험입니다.
• 방어의 한계와 새로운 방향: 단순한 입력 필터링이나 고정된 레이블 기반의 탐지로는 이러한 공격을 막기 어렵습니다.
  • 필요한 방어: 알림 조건부 행동 (Notification-conditioned behaviors) 을 심층적으로 분석하고, 에이전트의 내부 표현 (Internal Representations) 을 검증하는 새로운 방어 메커니즘이 필요합니다.
• 실용성: 공격자는 고사양 컴퓨팅 자원이 아닌 단일 GPU(A800) 와 제한된 데이터 (트리거당 2k 샘플) 로도 공격을 구현할 수 있어, 실제 위협 가능성이 매우 높습니다.

결론적으로, 이 논문은 자율 에이전트 시대의 새로운 보안 위협을 규명하고, 시각적 트리거를 이용한 정교한 백도어 공격의 가능성과 그 위험성을 경고하며, 이에 대응하기 위한 새로운 연구 방향을 제시합니다.