기술 요약: 멀티모달 OS 에이전트를 하이재킹하는 악성 이미지 패치(MIPs)

문제 정의

최근 운영체제(OS) 에이전트의 발전으로 인해 시각-언어 모델(VLM)이 스크린샷을 캡처하고, 시각적 정보를 파싱하며, API(예: 마우스 클릭, 키보드 입력)를 통해 저수준 동작을 실행함으로써 사용자의 컴퓨터를 자율적으로 제어할 수 있게 되었습니다. 수동적인 텍스트 생성 모델과 달리, 이 에이러들은 OS와 직접 상호작용하므로, 적대적 조작은 데이터 유출이나 재정적 손실과 같은 즉각적이고 실질적인 결과로 이어질 수 있습니다.

기존의 적대적 연구는 텍스트 기반 프롬프트 인젝션이나 명시적인 팝업 공격에 집중되어 있으나, 이러한 방식은 탐지되기 쉽거나 에이전트의 텍스트 입력 파이프라인에 대한 직접적인 접근을 필요로 합니다. 본 논문은 **악성 이미지 패치(Malicious Image Patches, MIPs)**에 대한 OS 에이전트의 취약성이라는 결정적인 격차를 식별합니다. MIP는 인간의 관찰자에게는 무해해 보이지만, OS 에이전트가 스크린샷을 캡처할 때 모델로 하여가 해로운 API 호출을 트리거하는 특정 텍스트 명령을 생성하도록 유도하는 적대적으로 변형된 화면 영역입니다. 핵심 과제는 공격자가 전체 디스플레이가 아닌 화면의 특정 패치 영역(예: 소셜 미디어 게시물 또는 데스크톱 배경화면)만을 제어할 수 있다는 점이며, 공격은 비미분 가능한 스크린 파서 및 이미지 크기 조정 연산을 포함한 에이전트의 다중 구성 파이프라인을 통과하면서도 효과를 유지해야 한다는 것입니다.

방법론

공식 프레임워크

저자들은 OS 에이전트를 다음 세 가지 구성 요소로 이루어진 파이프라인으로 모델링합니다:

1. 스크린 파서 ($g$): 스크린샷 $s$를 구조화된 시각 정보(경계 상자) 및 텍스트 정보(Set-of-Marks, SOMs) 설명으로 변환합니다.
2. VLM ($f_\theta$): 사용자 프롬프트, 시스템 프롬프트, 메모리, SOMs 및 주석이 달린 스크린샷을 처리하여 텍스트 토큰 시퀀스(추론 및 실행 계획)를 생성합니다.
3. API ($a$): VLM의 출력에서 파생된 특정 동작을 실행합니다.

공격 목표는 변형된 스크린샷을 캡처했을 때 에이전트가 사전 정의된 악성 타겟 출력 $y$(예: 데이터 유출을 위한 파이썬 스크립트)를 생성하도록 만드는 특정 이미지 패치 영역 $R$ 내의 섭동(perturbation) $\delta$를 찾는 것입니다.

최적화 제약 조건 및 전략

저자들은 실용성과 은밀성을 보장하기 위해 엄격한 제약 조건을 가진 최적화 문제로 공격을 정식화합니다:

• 패치 제약: 섭동은 특정 영역 $R$(예: 업로드된 이미지) 내로 제한됩니다.
• 이산성: 섭동은 유효한 정수 픽셀 값이어야 합니다.
• 파서 불변성: 섭동은 비미분 가능한 스크린 파서 $g$의 출력을 변경해서는 안 됩니다. 구체적으로, 파서는 패치와 교차하는 경계 상자를 생성해서는 안 되며, 화면의 텍스트 설명도 변경되지 않아야 합니다.
• 크기 조정 강건성: 공격은 스크린샷이 VLM의 입력 차원에 맞게 크기가 조정된 후에도 효과가 유지되어야 합니다.

이를 해결하기 위해 저자들은 **투영 경사 하강법(Projected Gradient Descent, PGD)**을 사용합니다. 그들은 크기 조정 함수를 미분 가능하게 근사하고, VLM의 출력과 타겟 악성 텍스트 $y$ 사이의 교차 엔트로피 손실을 최소화하도록 섭동 $\delta$를 최적화합니다. 결정적으로, 그들은 $g(s) = g(s + \delta)$를 검증하고 경계 상자가 패치 영역과 교차할 경우 롤백함으로써 파서 불변성 제약을 강제합니다.

실험 설정

실험은 **Microsoft Windows Agent Arena (WAA)**에서 수행되었으며, 다음을 활용했습니다:

• 스크린 파서: OmniParser(권장) 및 GroundingDINO + TesseractOCR를 사용한 베이스라인.
• VLM: Llama 3.2 Vision 시리즈 (11B 및 90B 파라미터).
• 설정: 두 가지 주요 공격 벡터: (1) 데스크톱, MIP가 배경 화면에 삽입된 경우; (2) 소셜 미디어, MIP가 소셜 미디어 피드 내의 이미지인 경우.
• 타겟: 두 가지 악성 동작 테스트: (1) 특정 토큰 시퀀스를 통한 메모리 오버플로 트리거, (2) 명시적/적대적 웹사이트로의 이동.

주요 기여

1. MIP의 도입: 본 논문은 OS 에이전트를 구체적으로 겨냥한 새로운 공격 벡터로서 악성 이미지 패치를 정의하고 입증합니다. 기존 연구와 달리, MIP는 텍스트 입력 파이프라인에 직접 접근하지 않고도 시스템을 하이재킹하기 위해 에이전트의 스크린샷 의존성을 악용합니다.
2. 실질적 제약 조건 식별: 저자들은 제한된 입력 제어(패치 전용), 비미분 가능한 스크린 파서, 이미지 크기 조정 생존의 필요성 등 실제 OS 에이전트 공격의 제약 조건을 체계적으로 다룹니다.
3. 일반화 능력 입증: 연구는 MIP가 다음과 같은 환경에서도 일반화될 수 있음을 보여줍니다:
   • 보지 못한 사용자 프롬프트: 공격은 사용자의 작업이 패치와 무관하게 양호할 때도 작동합니다.
   • 보지 못한 화면 레이아웃: 공격은 다른 스크린샷(예: 다른 소셜 미디어 게시물 또는 데스크톱 아이콘 배치)에서도 성공합니다.
   • 보지 못한 스크린 파서: 하나의 파서(OmniParser)에 최적화된 MIP는 다른 파서(GroundingDINO/Tesseract)로 효과적으로 전이됩니다.
   • 다중 실행 단계: 에이전트가 여러 단계를 거친 후에도 패치에 직면하면 공격은 여전히 유효합니다.
   • 다중 VLM: 공동 최적화를 통해 단일 MIP가 서로 다른 VLM 아키텍처(11B vs 90B, 사전 학습 모델 vs 지시어 튜닝 모델)를 하이재킹할 수 있습니다.

결과

• 타겟 공격: 특정 프롬프트와 스크린샷에 최적화된 MIP는 해당 쌍에 대해 100% 성공률을 달성했습니다. 또한 보지 못한 프로ンプ트로 전이되었을 때 0.33~0.91의 평균 성공률(ASR)을 기록했으나, 추가 최적화 없이는 보지 못한 스크린샷으로의 전이에는 실패했습니다(ASR 0.0).
• 유니버설 공격: 다양한 프롬프트-스크린샷 쌍의 배치를 최적화함으로써, 저자들은 "유니버설 MIP"를 제작했습니다. 이는 동일한 설정 내에서 보지 못한 프롬프트와 스크린샷에 대해 높은 ASR(0.89~1.00)을 달립했습니다.
• 교차 파서 전이: 유니버설 MIP는 보지 못한 스크린 파서를 대상으로 테스트했을 때도 높은 효과성(ASR 0.36~0.90)을 유지하여, 화면 파싱 방식의 변화에 대한 강건성을 입증했습니다.
• 교차 VLM 전이: 세 가지 VLM(Llama 3.2 11B-PT, 11B-IT, 90B-IT)에서 공동 최적화된 단일 MIP는 세 모델 모두에서 높은 성공률(0.92~0.97)을 달성했습니다. 그러나 학습 세트에 포함되지 않은 완전히 새로운 VLM(90B-IT)으로의 전이는 제한적이었으며, 이는 VLM의 적대적 전이성에 관한 기존 연구 결과와 일치합니다.
• 실행 단계 강건성: 에이전트가 양호한 작업을 완료하기 위해 여러 단계를 거쳐 이동한 후 패치를 마주하더라도 MIP는 여전히 효과적이었습니다.

의의 및 주장

본 논문은 MIP가 OS 에이전트의 리스크 지형을 근본적으로 변화시킨다고 주장합니다. MIP는 양호한 콘텐츠(배경화면, 소셜 미디어 게시물, 광고 등)에 삽입될 수 있고 탐지 없이 널리 퍼질 수 있기 때문에, OS 에이전트를 위한 "컴퓨터 웜(computer worms)"과 유사하게 작동합니다. 저자들은 다음과 같이 주장합니다:

• 은밀함과 확산성: 텍스트 기반 공격과 달리, MIP는 탐지하기 어렵고 에이전트가 (예: '좋아요'를 누르거나 공유하는 등의 방식으로) 오염된 게시물과 상호작용할 경우 자율적으로 확산될 수 있습니다.
• 심각성: OS 에이전트가 OS에 대해 갖는 직접적인 제어권은 성공적인 MIP 공격이 즉각적인 데이터 유출이나 시스템 침해로 이어질 수 있음을 의미하며, 이는 전통적인 텍스트 기반 환각(hallucination)의 위험을 훨씬 상회합니다.
• 긴급성: 이러한 발견은 OS 에이전트의 광범위한 배포 전에 반드시 해결되어야 할 심각한 보안 취약성을 강조합니다. 저자들은 현재의 방어 체계가 불충분하다고 지적하며, 이러한 구성 요소 간의 위협을 완화하기 위해 검증 모듈(verifier modules)이나 문맥 인식 일관성 체크(context-aware consistency checks)와 같은 새로운 프레임워크를 촉구합니다.

저자들은 MIP가 모든 OS 에이전트 보안 문제에 대한 만병통치약은 아니지만, 미래의 멀티모달 에이전트의 안전을 보장하기 위해 체계적인 방어 전략이 필요한 특정 고영향 취약성을 노출하고 있다고 결론짓습니다.