Malicious Agent Skills in the Wild: A Large-Scale Security Empirical Study

논문 개요

본 연구는 LLM(대형 언어 모델) 기반 에이전트 생태계의 확장 기능인 **'에이전트 스킬 (Agent Skills)'**의 대규모 보안 위험을 실증적으로 분석한 최초의 연구입니다. 연구진은 커뮤니티 레지스트리에 등록된 98,380 개의 스킬을 수집하여 행동적 검증 (Behavioral Verification) 을 수행했고, 그 결과 157 개의 악성 스킬과 632 개의 취약점을 확인했습니다. 이 연구는 에이전트 스킬이 단순한 코드 실행을 넘어 자연어 지시문 (Instruction) 을 통한 공격 벡터로 진화하고 있음을 규명했습니다.

---

1. 문제 정의 (Problem)

• 배경: LLM 에이전트 (Claude Code, Genmi 등) 는 재사용 가능한 '스킬'을 통해 기능을 확장합니다. 이 스킬들은 사용자의 로컬 환경에서 사용자 권한으로 실행되며, 커뮤니티 레지스트리를 통해 최소한의 검증을 거쳐 배포됩니다.
• 위협: 악성 스킬은 사용자의 자격 증명 (Credential) 을 탈취하거나, 에이전트의 의사결정을 조작하여 악성 행위를 수행할 수 있습니다.
• 연구 격차: 기존 연구들은 잠재적 위험 패턴을 통계적으로 추정했으나, **악성 의도를 명확히 입증한 실증 데이터셋 (Ground-truth Dataset)**이 부재했습니다. 정적 분석만으로는 악성 코드와 개발자의 실수를 구분하기 어렵고, 실제 실행 시 악성 행위가 발생하는지 확인하지 못했습니다.

---

2. 방법론 (Methodology)

연구진은 3 단계 (3-Tiered) 데이터셋 구축 및 분석 파이프라인을 구축했습니다.

1. 데이터 수집 (Data Collection):
   • 2026 년 1 월 기준, 두 개의 주요 커뮤니티 레지스트리 (skills.rest, skillsmp.com) 에서 총 98,380 개의 스킬을 크롤링하여 수집했습니다.
2. 정적 분석 및 후보 선정 (Static Analysis & Candidate Identification):
   • MITRE ATT&CK 프레임워크를 기반으로 6 단계 공격 사이클 (정찰, 자격 증명 접근, 실행, 회피, 유출, 영향) 에 매핑된 14 가지 탐지 패턴을 정의했습니다.
   • 스킬의 설명 파일 (SKILL.md) 과 번들된 스크립트 (Python, Shell, JS) 를 정적 분석하여 **4,287 개 (4.4%)**의 의심스러운 후보를 선별했습니다.
3. 행동적 검증 (Behavioral Verification):
   • 선별된 후보들을 격리된 Docker 샌드박스 환경에서 실행했습니다.
   • 네트워크 모니터링, 시스템 호출 추적, 허니팟 자격 증명 (Fake API keys) 을 사용하여 실제 악성 행위 (자격 증명 탈취, 원격 코드 실행, 데이터 유출 등) 가 발생하는지 검증했습니다.
   • 157 개의 스킬이 악성으로 확정되었으며, 이는 전체의 0.16% 입니다.
4. 수동 라벨링 및 분석:
   • 확정된 악성 스킬 157 개에서 632 개의 취약점을 식별하고severity(심각도) 를 부여했습니다.
   • 공개 문서에 명시되지 않은 숨겨진 기능인 **'Shadow Features'**를 분석했습니다.
   • 책임 있는 공개 (Responsible Disclosure) 를 통해 레지스트리 운영자에게 보고하여 30 일 내 93.6% 제거를 확인했습니다.

---

3. 주요 기여 (Key Contributions)

1. 레이블된 벤치마크 데이터셋 공개:
   • 생태계 스냅샷 (98,380 개), 의심 후보 (4,287 개), 행동적으로 검증된 악성 스킬 (157 개, 632 취약점) 로 구성된 3 단계 데이터셋을 최초로 공개했습니다.
   • 행동적 검증을 통해 정적 분석만 사용할 때보다 정밀도 (Precision) 를 150 배 향상 (99.6%) 시켰습니다.
2. 다차원 위협 특성화:
   • 공격 기법, 킬 체인 (Kill Chain) 단계, 숙련도 수준에 따른 위협 지형을 체계적으로 매핑했습니다.
3. 공격 아키텍처 및 회피 기법 규명:
   • 두 가지 상반된 공격 아키텍처 (Data Thieves vs. Agent Hijackers) 와 플랫폼 고유의 신뢰 메커니즘을 악용하는 새로운 공격 벡터를 발견했습니다.

---

4. 주요 결과 (Key Results)

A. 위협 지형 (RQ1)

• 높은 복잡성: 악성 스킬은 평균 4.03 개의 취약점을 포함하며, 중앙값 3 개의 킬 체인 단계를 거칩니다. 이는 우발적 오류가 아닌 **의도적인 기법 중첩 (Technique Layering)**을 시사합니다.
• 자연어 공격 표면: 취약점의 **84.2%**가 실행 가능한 코드가 아닌 자연어 문서 (SKILL.md) 에 내재되어 있습니다. 이는 전통적인 패키지 생태계와 구별되는 새로운 공격 표면입니다.
• 숙련도 분포: 악성 스킬의 77.7% 가 '중간 (Intermediate)' 수준이며, 6.4% 가 '고급 (Advanced)' 수준입니다. 이는 브라우저 확장 프로그램 생태계가 2012 년경에 보였던 초기 성장 단계와 유사합니다.

B. 공격 전략 (RQ2)

악성 스킬은 두 가지 상반된 아키텍처로 나뉩니다:

1. 데이터 도둑 (Data Thieves, 70.5%):
   • 공급망 기법을 통해 자격 증명을 탈취하고 외부로 유출합니다.
   • **단일 공격자 (smp_170)**가 전체 악성 스킬의 **54.1%**를 차지하며, 템플릿화된 브랜드 위조 (Brand Impersonation) 를 통해 대량 생산했습니다.
   • 자격 증명 수집 (E2) 과 외부 전송 (E1) 패턴이 높은 상관관계를 보입니다.
2. 에이전트 하이재커 (Agent Hijackers, 10.2%):
   • 에이전트의 의사결정을 조작하여 안전 장치를 우회하거나 사용자의 동의를 구하지 않고 행동을 수행하게 합니다.
   • 데이터 유출보다는 통제권 장악에 초점을 맞춥니다.

C. 탐지 회피 (RQ3)

• 회피와 숙련도의 상관관계: 고급 스킬일수록 'Shadow Features'(문서에 명시되지 않은 기능) 를 더 많이 사용합니다. 고급 스킬의 100% 가 Shadow Features 를 보유하는 반면, 기본 스킬은 0% 입니다.
• 코드보다 문서 위주: 대부분의 은폐는 코드 난독화 (Obfuscation) 가 아니라 문서 수준의 기만 (숨겨진 지시문, 위장된 설명) 으로 이루어집니다.
• 플랫폼 고유의 공격: AI 플랫폼의 신뢰 메커니즘 (예: --dangerously-skip-permissions 플래그, MCP 훅 시스템) 을 악용하여 플랫폼 자체를 우회하는 새로운 공격 벡터가 발견되었습니다.

---

5. 의의 및 시사점 (Significance)

• 새로운 위협 모델: 에이전트 스킬은 기존 소프트웨어 공급망 공격과 달리, 자연어 지시문을 실행 가능한 명령어로 해석한다는 점에서 근본적인 차이가 있습니다. 이는 전통적인 정적 분석 도구로는 탐지하기 어렵습니다.
• 대응 전략의 필요성:
  • 코드 중심 탐지에서 자연어 중심 탐지로 전환: SKILL.md 등의 문서와 실제 실행 행위를 비교하는 '문서 - 행동 비교 (Documentation-Behavior Comparison)'가 가장 효과적인 탐지 휴리스틱입니다.
  • 이중 파이프라인: 데이터 도둑 (코드 실행 기반) 과 에이전트 하이재커 (지시문 조작 기반) 는 서로 다른 탐지 전략이 필요하므로, 단일 파이프라인으로는 한쪽을 놓칠 수 있습니다.
• 시급성: 생태계가 아직 초기 단계 (Level 2 중심) 이지만, 고급 공격 (Level 3) 이 빠르게 증가하고 있습니다. 현재가 방어 인프라를 구축하기 위한 최적의 시점입니다.

이 연구는 에이전트 스킬 보안에 대한 최초의 체계적인 실증 데이터를 제공하며, 향후 탐지 시스템 개발 및 플랫폼 보안 정책 수립에 중요한 기준이 될 것입니다.