SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

이 논문은 VLM 기반 GUI 에이전트의 응답 효율성을 저해하는 새로운 백도어 공격 'SlowBA'를 제안하며, 특정 트리거 패턴 하에서 과도한 추론 체인을 유도하여 응답 지연을 발생시키는 메커니즘과 이를 위한 강화학습 기반의 이단계 주입 전략을 소개합니다.

핵심

이 논문은 **"SlowBA"**라는 이름의 새로운 해킹 기법을 소개합니다. 쉽게 말해, **"컴퓨터 화면을 보고 작업을 대신 해주는 AI 비서 (GUI 에이전트) 를 속여서, 특정 상황을 만나면 마치 멍한 사람처럼 아주 느리게 반응하게 만드는 공격"**입니다.

기존의 해킹이 "AI 에게 엉뚱한 버튼을 누르게 하거나" (정확도 조작) "잘못된 정보를 말하게 하는" (오답 유도) 것이었다면, 이 SlowBA 는 "AI 가 일을 잘해내기는 하지만, 그걸 하느라 시간이 너무 오래 걸리게 만드는" (효율성 조작) 것이 특징입니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 상황 설정: 똑똑한 AI 비서

우리가 상상해 볼 수 있는 건, 매우 똑똑한 AI 비서입니다. 이 비서는 컴퓨터 화면을 보고 "이메일 보내기", " 항공권 예매하기" 같은 일을 대신 해줍니다. 보통은 아주 빠르고 정확하게 일을 처리하죠.

2. 공격자의 의도: "일단 하긴 해, 근데 천천히 해"

해커는 이 AI 비서를 훈련시키는 과정에서 아주 작은 '함정 (백도어)'을 심습니다.

• 기존 해킹: "빨간 버튼이 아니라 초록 버튼을 눌러!" (작업을 망치게 함)
• SlowBA 해킹: "작업은 정확히 해. 근데 그전에 100 번이나 고민하고, 주변을 두리번거리고, 장황하게 설명하는 척해!" (작업은 성공하지만, 시간이 너무 오래 걸리게 함)

3. 어떻게 작동할까? (두 단계 훈련법)

이 해커는 AI 를 두 단계로 속입니다. 마치 연예인 트레이너가 스타를 만드는 과정과 비슷합니다.

• 1 단계: "말을 길게 하는 법"을 가르침 (SFT)
  • 해커는 AI 에게 "정답은 맞지만, 설명을 10 페이지 분량으로 길게 해"라고 가르칩니다.
  • 마치 학생이 시험 문제를 풀 때, 정답은 맞는데 해설을 100 줄이나 적어내야 하는 훈련을 시키는 거죠.
• 2 단계: "언제 그 버릇을 꺼낼지"를 학습시킴 (RL)
  • 이제 AI 에게 "특정 신호 (함정)"가 보일 때만 그 길고 지루한 설명 버릇을 꺼내라고 가르칩니다.
  • 함정 (Trigger) 은 무엇일까요?
    • 기존 해킹들은 눈에 띄는 이상한 색상이나 기호를 썼지만, SlowBA 는 **웹사이트의 '알림창'이나 '앱의 업데이트 팝업'**처럼 아주 평범하고 자연스럽게 보이는 것을 함정으로 사용합니다.
    • 사용자는 "아, 그냥 알림이 떴구나"라고 생각하지만, AI 는 이 알림을 보고 "오! 이제 내가 길게 말해야 할 시간이야!"라고 생각하며 반응을 늦춥니다.

4. 왜 위험할까? (실제 피해 사례)

이 공격이 왜 무서운지 실생활 예시로 들어볼게요.

• 상황: 당신이 기차표 (12306.cn 같은 사이트) 를 예매하려고 AI 비서를 썼습니다.
• 정상적인 경우: AI 가 "표 찾음 -> 좌석 선택 -> 결제"까지 약 9 초 만에 끝냅니다.
• 공격이 걸린 경우: AI 가 "표 찾음 -> (이제부터 100 줄의 고민 시작) -> 좌석 선택 -> (또 100 줄의 고민) -> 결제"를 합니다.
• 결과: 시간이 약 15 초로 늘어납니다.
• 치명타: 인기 있는 기차표는 몇 초 차이로 매진됩니다. AI 가 6 초만 더 늦게 반응해도, 표는 다 팔려서 예매 실패가 됩니다. 사용자는 "왜 안 되나?"라고 생각하지만, 실제로는 AI 가 해커의 함정에 걸려서 너무 느리게 생각했기 때문입니다.

5. 이 공격의 무서운 점

1. 눈에 잘 띄지 않음: AI 가 하는 일은 결국 '정답'을 내기 때문에, 사용자가 "아, AI 가 잘못했구나"라고 바로 알기 어렵습니다. 그냥 "오늘 유독 느리네"라고 생각할 뿐이죠.
2. 방어가 어려움: AI 가 정상적인 일을 하고 있으니, 보안 프로그램이 "이건 해킹이야!"라고 잡기 힘듭니다.
3. 작은 함정으로 큰 피해: 아주 작은 비율의 데이터만 해킹해도 전체 시스템의 속도를 뚝 떨어뜨릴 수 있습니다.

요약

이 논문은 **"AI 의 정답 능력을 해치지 않으면서, AI 의 '반응 속도'를 해킹할 수 있다"**는 새로운 위협을 발견했습니다. 마치 똑똑한 비서에게 "일단 일은 잘해, 근데 특정 알림이 뜨면 10 분 동안 고민하는 척해"라고 속이는 것과 같습니다.

이런 공격은 금융 거래, 의료 시스템, 실시간 티켓 예매 등 시간이 생명인 곳에서 치명적인 피해를 줄 수 있으므로, 앞으로는 AI 의 '정확도'뿐만 아니라 '반응 속도'도 보안의 중요한 대상이 되어야 한다고 경고하고 있습니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 최근 비전 - 언어 모델 (VLM) 기반의 그래픽 사용자 인터페이스 (GUI) 에이전트는 사용자의 지시를 이해하고 화면에서 작업을 수행하는 능력이 크게 향상되었습니다. 이러한 에이전트는 의료, 금융 거래 등 실시간성이 중요한 분야에서 활용됩니다.
• 핵심 문제: 기존 GUI 에이전트 보안 연구는 주로 작업의 정확성 (Action Correctness) 을 해치거나 악성 행동을 유도하는 백도어 공격에 집중했습니다. 그러나 응답 효율성 (Response Efficiency), 즉 에이전트의 반응 속도와 지연 시간 (Latency) 을 조작하는 공격은 거의 연구되지 않았습니다.
• 공격 목표: 공격자가 VLM 기반 GUI 에이전트의 학습 데이터에 특정 트리거 (Trigger) 를 주입하여, 해당 트리거가 포함된 입력이 들어왔을 때 에이전트가 과도하게 긴 추론 과정을 거치게 만들어 응답 지연 시간을 극대화하는 것입니다.
  • 위험성: 실시간 상호작용이 필요한 환경 (예: 좌석 예매, 금융 거래) 에서 지연은 기회 상실, 잘못된 결정, 또는 안전 사고로 이어질 수 있습니다.
  • 은밀성: 공격은 작업의 정확성을 유지하면서 (사용자가 작업을 완료한 것으로 오인하게 함) 만, 응답 속도를 현저히 늦춰야 하므로 사용자에게는 '모델이 느려진 것' 정도로만 인식될 수 있어 탐지가 어렵습니다.

2. 방법론 (Methodology)

저자들은 SlowBA라는 새로운 백도어 공격을 제안하며, 지연 시간 조작을 직접 최적화하기 어렵다는 점을 고려하여 응답 길이 (Response Length) 최대화 문제로 재정의했습니다. (실험 결과 응답 길이와 지연 시간은 강한 양의 상관관계를 보임).

핵심 전략: 2 단계 보상 수준 백도어 주입 (Two-Stage Reward-Level Backdoor Injection, RBI)

이 전략은 VLM 에이전트의 강화학습 (RL) 파이프라인을 활용합니다.

1. 1 단계: 응답 형식 정렬 (Response Format Alignment - SFT)

   • 목적: 에이전트가 '긴 응답' 구조를 학습하도록 만듭니다.
   • 방법: 트리거가 포함된 데이터에 대해, 올바른 최종 행동 (Action) 을 유지하면서도 매우 길고 상세한 추론 과정을 포함하는 답변을 생성하도록 지도 학습 (SFT) 을 수행합니다.
   • 효과: 모델이 긴 문맥을 생성하는 안정적인 패턴을 먼저 학습하게 하여, 이후 RL 단계에서 붕괴되지 않도록 합니다.

2. 2 단계: 트리거 인지 보상 최적화 (Trigger-aware Reward-level Optimization - RL)

   • 목적: 트리거가 있을 때만 긴 응답을 생성하도록 선택적으로 활성화합니다.
   • 방법: 강화학습 (GRPO 알고리즘 사용) 을 적용하며, 특수한 보상 함수를 설계합니다.
     • 트리거 입력 시: 응답 길이에 비례하는 높은 보상을 부여.
     • 일반 입력 시: 응답 길이가 너무 길 경우 페널티를 부여하거나 보상을 0 으로 설정.
   • 효과: 모델은 트리거가 감지되었을 때만 비정상적으로 긴 추론 체인을 생성하도록 학습되며, 일반 입력에서는 정상적인 속도를 유지합니다.

트리거 설계 (Trigger Design)

• 기존 방식의 한계: 기존 백도어 공격은 가우시안 노이즈나 단순 색상 바 등 비현실적인 트리거를 사용하여 탐지되기 쉬웠습니다.
• SlowBA 의 방식: 적응형 팝업 창 (Adaptive Pop-up Windows) 을 트리거로 사용합니다.
  • 웹사이트, 데스크톱, 앱 화면에서 자연스럽게 나타나는 알림, 광고, 권한 요청 창 등을 시뮬레이션합니다.
  • 도메인 이름을 추출하여 해당 사이트에 맞는 실제적인 텍스트로 팝업을 렌더링합니다.
  • 이로 인해 공격의 은밀성 (Stealthiness) 과 현실성 (Availability) 이 크게 향상되었습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 벡터 제안: VLM 기반 GUI 에이전트의 효율성 (지연 시간) 을 표적으로 하는 최초의 백도어 공격 (SlowBA) 을 제안했습니다.
2. RBI 전략 개발: 응답 형식 학습과 효율성 조작을 분리하는 2 단계 훈련 패러다임을 고안했습니다. 이를 통해 공격의 효과성을 유지하면서도 정상 입력에 대한 성능 저하를 최소화했습니다.
3. 현실적인 트리거 구현: GUI 환경에 자연스럽게 녹아드는 팝업 창 기반의 트리거를 설계하여, 기존 공격보다 탐지가 훨씬 어렵고 다양한 플랫폼 (웹, 데스크톱, 모바일) 에서 적용 가능하게 했습니다.

4. 실험 결과 (Results)

다양한 데이터셋 (Web, Desktop, Android) 과 베이스라인 (GUI-R1 등) 을 통해 실험을 수행했습니다.

• 공격 효과성:
  • Web 데이터셋: 응답 길이가 358.52% 증가, 지연 시간이 66.92% 증가, 에너지 소비가 65.41% 증가했습니다.
  • 기존 백도어 공격 (VisualTrap 등) 이나 노이즈 기반 공격보다 압도적으로 높은 효율성 저하를 유발했습니다.
• 은밀성 (Stealthiness):
  • 정확도 유지: 트리거가 있는 경우에도 작업 정확도 (Triggered Acc) 는 정상 입력과 유사하게 유지되었습니다 (예: Web 에서 49.3% vs 63.1% - 오차 범위 내).
  • 정상 입력 영향 없음: 트리거가 없는 입력에 대해서는 모델의 성능이 거의 변하지 않았습니다.
  • 인간 평가: 30 명의 전문가가 트리거가 포함된 이미지를 평가했을 때, 이를 '비정상'으로 인식한 비율이 0.058 에 불과하여 매우 은밀한 것으로 확인되었습니다.
• 방어 우회 (Robustness):
  • 평균/중앙값 필터링, JPEG 압축, 양자화 (Quantization), 스펙트럼 서명 (Spectral Signature) 등 다양한 기존 방어 기법과 백도어 탐지 도구 (Beatrix 등) 하에서도 공격 효과가 크게 감소하지 않았습니다.
• 확장성:
  • 3B 모델뿐만 아니라 7B 모델에서도 유사한 공격 효과를 보였습니다.
  • 실제 웹사이트 (12306.cn, 기차 예매) 에서의 실험 결과, 트리거가 있을 때 티켓 구매 소요 시간이 8.98 초에서 15.47 초로 증가하여, 실제 서비스 실패로 이어질 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

• 새로운 보안 위협의 발견: VLM 기반 GUI 에이전트의 보안이 '작업의 정확성'뿐만 아니라 '응답 효율성' 측면에서도 취약할 수 있음을 처음으로 규명했습니다.
• 실제적 위험: 지연 시간 조작은 사용자가 작업을 완료했더라도 시간 제한 (Time-out) 으로 인해 실패하거나, 실시간 거래에서 기회를 놓치게 하는 등 실질적인 피해를 입힐 수 있습니다.
• 대응의 필요성: 향후 GUI 에이전트 보안 연구와 방어 체계는 작업 정확성뿐만 아니라 지연 시간과 효율성을 함께 고려해야 함을 강조합니다.

이 논문은 AI 에이전트가 실제 환경에 배포될 때, 단순히 잘못된 행동을 하는 것뿐만 아니라 지연되어 작동하는 것 또한 치명적인 보안 위협이 될 수 있음을 경고하는 중요한 연구입니다.