💻 computer science

MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills

이 논문은 현재의 탐지 도구들이 코드와 지시문을 공동으로 분석하는 데 실패함을 입증하며, 에이전트 공급망을 보호하기 위해 작업 의도, 코드, 그리고 프롬프트를 가로질러 추론하는 새로운 접근 방식이 필요함을 보여주기 위해 3,944개의 악성 AI 에이전트 기술로 구성된 최초의 런타임 검증 벤치마크인 MalSkillBench를 소개한다.

원저자: Wenbo Guo, Wei Zeng, Chengwei Liu, Xiaojun Jia, Yijia Xu, Lei Tang, Yong Fang, Yang Liu

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Wenbo Guo, Wei Zeng, Chengwei Liu, Xiaojun Jia, Yijia Xu, Lei Tang, Yong Fang, Yang Liu

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 소프트웨어를 작성하는 데 도움을 줄 수 있도록 아주 똑똑한 로봇 비서를 고용했다고 상상해 보세요. 이 로봇을 더욱 강력하게 만들기 위해, 당신은 인터넷에서 "기술(skills)"을 다운로드할 수 있게 허용했습니다. 예를 들어 "세금 계산하기"나 "이 문서 서식 맞추기"와 같이 특정 작업을 수행하는 법을 알려주는 작은 앱이나 플러그인 같은 것들 말이죠.

이 기술들은 마치 레시피 카드(평이한 영어로 쓰인 지침)가 주방 가전제품(실제로 실행되는 코드)에 붙어 있는 것과 같습니다.

문제점: "독이 든 레시피"

연구자들은 해커들이 이러한 기술들을 오염시키기 시작했다는 사실을 발견했습니다. 그들은 도움이 되는 것처럼 보이지만 그 안에 숨겨진 함정을 가진 가짜 기술을 만들어냅니다.

코드 함정: "주방 가전제품" 부분은 당신의 비밀번호를 훔치거나 파일을 삭제하는 등의 나쁜 짓을 몰래 할 수 있습니다.
지침 함정: "레시피 카드" 부분은 로봇이 안전 규칙을 무시하거나, 당신의 개인 데이터를 낯선 사람에게 보내는 것과 같이 해서는 안 될 행동을 하도록 속일 수 있습니다.

무서운 점은 이 두 가지 함정이 종종 함께 작동한다는 것입니다. 어떤 기술은 레시피 카드상으로는 무해해 보이지만 위험한 기계가 달려 있을 수도 있고, 반대로 레시피 카드는 위험하지만 기계 자체는 멀쩡할 수도 있습니다.

거대한 간극: 제대로 된 테스트가 없었다

지금까지 이러한 로봇 기술을 탐지하려는 보안 전문가들(로봇 기술을 위한 백신 소프트웨어 같은 것)은 눈을 가린 채 비행하는 것과 같았습니다.

그들에게는 테스트할 수 있는 나쁜 기술의 목록이 충분히 크지 않았습니다.
그들이 가진 몇 안 되는 나쁜 기술들은 대부분 한 가지 유형(예: 가짜 "암호화폐" 사기)에 치우쳐 있었기 때문에, 탐지기들이 그런 유형은 아주 잘 잡아내지만 그 외의 다른 것들은 전혀 잡지 못하는 문제가 있었습니다.
이는 마치 화재 경보기를 탄 토스트가 타는 연기로만 테스트해 놓고, 기름 화재 폭발도 잡아낼 수 있다고 주장하는 것과 같았습니다.

해결책: MalSkillBench (스트레스 테스트)

저자들은 이러한 악성 기술을 위한 최초의 거대하고 검증된 테스트장인 MalSkillBench를 구축했습니다.

그들이 구축한 방법:

공장: 그들은 AI를 사용하여 수천 개의 가짜 악성 기술을 생성했습니다.
샌드박스: 그들은 단순히 기술이 나쁘다고 추측만 하지 않았습니다. 그들은 실제로 기술을 안전하고 격리된 디지털 케이지("샌드박스") 안에서 실행했습니다.
증거: 만약 기술이 케이지 안에서 실행되는 동안 실제로 나쁜 짓(파일을 훔치려 하거나 로봇을 속이는 등)을 했다면, 그 기술에는 "검증된" 라벨이 붙었습니다. 만약 나쁜 짓을 하는 데 실패했다면, 그 기술은 다시 공장으로 보내져 다시 시도되었습니다.

결과적으로 그들은 3,944개의 검증된 나쁜 기술과 4,000개의 좋은 기술을 확보했으며, 이는 108가지의 서로 다른 공격 유형을 포괄합니다.

그들이 발견한 것

이 새로운 거대한 테스트에 대해 현재의 보안 도구들을 테스트했을 때, 결과는 놀라웠습니다.

코드는 잡기 쉽지만, 단어는 어렵다: 탐지기들은 나쁜 코드(파일 속의 바이러스 같은 것)를 찾아내는 데는 뛰어나지만, 나쁜 지침(레시 recipe 속의 속임수 같은 것)을 찾아내는 데는 형편없습니다. 폭탄을 보는 것보다 거짓말을 보는 것이 더 어렵습니다.
"야생(Wild)" 데이터는 거짓이다: 만약 인터넷상에서 발견된 몇 안 되는 나쁜 기술들로만 탐지기를 테스트한다면, 잘못된 답을 얻게 됩니다. 한 보안 도구는 야생 데이터에서는 영웅처럼 보였지만, 전체 MalSkillBench로 테스트했을 때는 실제로는 최악 중 하나였습니다. 이는 의사가 감기 환자만 치료해 보고는 자신이 모든 것을 고치는 천재라고 생각하다가, 정작 다리가 부러진 환자를 만났을 때 실력을 드러내는 것과 같습니다.
오래된 도구들은 맞지 않는다: 일반적인 소프트웨어(나쁜 코드를 잡기 위한 도구)나 챗봇(나쁜 프롬프트를 잡기 위한 도구)을 위해 설계된 도구를 그대로 사용할 수 없습니다. 악성 기술은 하이브리드입니다. 문제의 한쪽 측면만을 위한 도구를 사용하는 것은 나머지 절반을 무방비 상태로 남겨두는 것입니다.
진짜 위험: 가장 위험한 기술은 단순히 파일을 훔치는 것이 아니라 로봇의 '두뇌'를 속이는 것입니다. 일부 기술은 로봇의 정체성을 재작성하거나, 목표를 바꾸거나, 안전 규칙을 무시하도록 유도합니다. 현재의 도구들은 이러한 "마인드 해킹(mind-hacking)" 공격에 거의 눈이 멀어 있습니다.

결론

우리의 AI 비서를 안전하게 유지하려면, 코드만 보거나 지침만 읽어서는 안 됩니다. 우리는 그 둘 사이의 관계를 이해해야 합니다: 이 지침이 이 작업에 적절한가, 아니면 속임수인가?

이 논문은 개발자들이 단순한 추측이나 불완전한 과거의 데이터에 의존하는 대신, 이러한 하이브리드 속임수를 찾아낼 수 있는 더 나은 탐지기를 구축할 수 있도록 돕는 첫 번째 실제 "스트레스 테스트"를 제공합니다. 그들은 모든 데이터와 도구를 공개하여 다른 사람들이 이 퍼즐을 풀 수 있도록 했습니다.

기술 요약: MalSkillBench

문제 정의

AI 코딩 에이전트(예: Claude Code, Gemini CLI)는 자연어 지침, 실행 가능한 스크립트, 도구 권한을 결격한 패키지인 서드파티 "스킬(skills)"에 점점 더 많이 의존하고 있습니다. 이러한 스킬은 위험이 순수하게 코드나 프롬프트에만 존재하는 것이 아니라, 둘 사이의 의미론적 관계(semantic relationship)에 존재하는 새로운 하이브리드 공격 표면을 도입합니다. 현재의 탐지 노력은 다음과 같은 세 가지 결정적인 격차에 직면해 있습니다:

그라운드 트루스(Ground Truth)의 부재: 기존 데이터셋은 산업계에서 공개하지 않거나(예: Snyk, Antiy), 학술적 선행 연구(예: 157개 샘플)처럼 규모가 너무 작아 탐지 도구를 체계적으로 평가하기 어렵습니다.
좁은 공격 커버리지: 사용 가능한 "실제 환경(in-the-wild)" 샘플은 단일 공격 패턴(의존성 사칭을 통한 악성코드 전달)에 과도하게 치우쳐 있어, 지침 계층(instruction-layer) 공격 및 에이전트 제어 탈취(agent-control hijacks)는 경험적으로 보이지 않는 상태입니다.
파편화된 평가: 탐지 도구들이 서로 다른 메트릭을 가진 사설 데이터셋에서 평가됨에 따라, 코드 주입(CI), 프롬프트 주입(PI), 혼합(MIXED) 벡터 간의 공정한 비교가 불가능합니다.

결과적으로, 커뮤니티는 어떤 탐지 도구가 일반화 능력을 갖추고 있고, 어떤 도구가 단순히 특정하고 좁은 공격 패턴에 과적합(overfit)되어 있는지에 대한 신뢰할 수 있는 이해가 부족한 상황입니다.

방법론

저자들은 악성 에이전트 스킬을 위한 최초의 런타임 검증 벤치마크인 MalSkillBench를 제시합니다. 이 구축 방식은 고품질의 검증된 그라운드 트루스를 생성하기 위해 설계된 폐쇄 루프형 생성-검증-피드백(Generate-Verify-Feedback) 파이프라인에 기반합니다.

1. 공격 분류 체계 및 지식 베이스

본 벤치마크는 **108개의 공격 셀(attack cells)**에 걸친 3차원 분류 체계를 정의합니다:

공격 벡터 ( $v$ ): 코드 주입(CI), 프롬프트 주입(PI), 그리고 혼합(MIXED).
악성 행위 ( $b$ ): 전통적인 공급망 행위(B1–B9, 예: 데이터 유출, 리버스 쉘)와 에이전트 네이티브 행위(B10–B15, 예: 역할 탈취, 안전 우회, 지침 무력화)를 포함한 15개 카테고리.
삽입 전략 ( $s$ ): 페이로드 배치(예: 새로운 스크립트 파일, 함수 주입, 스테가노그래피, 완전 은폐)를 위한 구체적인 방법.

파이프라인은 두 가지 지식 베이스로부터 생성의 씨앗을 얻습니다: CI 패턴을 위한 IntelliGraph(3,026개의 악성 PyPI 패키지)와 PI 패턴을 위한 WildJailbreak/CCS'24 코퍼스입니다. 이들은 LLM 기반 레이블링을 통해 분류 체계에 매핑됩니다.

2. 생성 및 검증 루프

생성 에이전트(Generation Agent): 거부 메커니즘을 제거하기 위해 어블리터레이션(ablaterated) 처리된 수정된 Qwen3.5-35B를 사용하여 후보 스킬을 합성합니다. 이 에이전트는 공격 사례를 검색하고, 3,458개의 정상적인 스킬 풀에서 양질의 "위장(camouflage)" 템플릿을 선택한 뒤, 대상 분류 체계 셀에 따라 악성 페이로드를 주입합니다.
검증 에이전트(Verification Agent): strace와 inotifywait로 계측된 Docker 샌드박스 내부에서 후보들을 실행합니다. 이는 2단계 검증 프로세스를 채택합니다:
- 1단계 (결정론적): 시스템 호출 추적(네트워크, 파일, 프로세스)을 선언된 침해 지표(IOC)와 대조합니다.
- 2단계 (의미론적): GPT-5.4-mini를 사용하여 에이전트의 텍스트 출력과 추적 요약을 분석함으로써, 시스템 호출 흔적을 남기지 않는 PI 공격의 행동 의도를 확인합니다.
피드백: 후보가 검증에 실패하면, 에이전트는 구조화된 피드백(이유, 관찰된 행동, 제안 사항)을 받고 최대 3회까지 재시도합니다. 런타임 결과(runtime yield)를 통해 악성 행위가 확인된 샘플만이 데이터셋에 포함됩니다.

3. 데이터셋 구성

최종 벤치마크( $\mathcal{D}$ )는 다음으로 구성됩니다:

3,214개의 생성된 스킬: 폐쇄 루프 파이프라인을 통해 검증되었으며, 108개 분류 셀 전반에 걸쳐 균형 잡힌 커버리지를 보장합니다.
703개의 실제(Wild) 스킬: 공용 레지스트리(예: ClawHub)에서 수집 및 검증된 것으로, 실제 공격을 나타냅니다.
27개의 테스트 샘플: 기존 도구 테스트 스위트에서 선별되었습니다.
4,000개의 정상(Benign) 스킬: 오탐(false positives)을 측정하기 위해 널리 다운로드된 고신뢰도 스킬들을 사용합니다.

주요 기여

MalSkillBench 데이터셋: 108개 셀 분류로 레이블링된 3,944개의 악성 스킬과 4,000개의 정상 스킬을 포함하는 런타임 검증 벤치마크입니다.
폐쇄 루프 파이럽라인: 실제 공격 패턴을 스킬 형식으로 전이시키고 샌드박스 실행을 통해 이를 검증하여, 레이블 주장을 행동적 증거로 전환하는 새로운 자동화 프레임워크입니다.
체계적 평가: 동일한 조건 하에서 12개의 탐지 도구(9개의 스킬 특화 도구, 5개의 공급망 스캐너, 6개의 프롬프트 주입 방어 도구)에 대한 최초의 통합 평가를 수행했습니다.

실증적 결과

RQ1: 공격 실현 가능성(Attack Realizability)

실현 가능성은 공격 표면에 따라 불균형하게 나타납니다.

코드 주입 (CI): 94.5%의 검증 수율.
혼합 (MIXED): 91.9%의 수율.
프롬프트 주입 (PI): 75.8%의 수율.
통찰: PI 전용 추론 행위(예: 지침 무력화, 목표 탈취)는 실현 가능성이 가장 낮으며(63–70% 수율), 이는 지침만을 이용해 에이전트의 행동을 성공적으로 변경하는 공격을 생성하는 데 구조적 취약성이 있음을 시사합니다.

RQ2: 실제 환경(Wild) 분석

"실제 환경"의 공격 표면은 놀라울 정도로 좁습니다.

지배적 패턴: 실제 스킬의 86.3%가 의존성 사칭(가짜 선행 요구사항)을 사용하며, 86.6%가 악성코드 전달 결과로 이어집니다.
집중도: 실제 샘yle의 81%가 단 두 개의 계정에서 기인했으며, 이는 주로 단일 암호화폐 탈취 캠페인에 의해 주도되었습니다.
에이전트 네이티브 위협: 소수의 꼬리 부분(1.7%)은 호스트가 아닌 에이전트 제어 평면(세션 라이프사이클, 신원, 지침 계층)을 타겟팅하며, 이는 전통적인 패키지 생태계에는 없는 벡터입니다.

RQ3: 스킬 특화 탐지

현재 어떤 탐지기도 일관되게 신뢰할 수 없습니다.

성능: 가장 강력한 도구인 Sentry Skill Scanner(풀 모드)는 전체 벤치마크에서 98.4%의 재현율(recall)을 달성하지만, PI 및 에이전트 제어 공격에서는 성능이 크게 떨어집니다.
"실제 환경" 편향: 실제 데이터로만 평가하는 것은 체계적으로 오해를 불러일으킬 수 있습니다. 예를 들어, VirusTotal는 전체 벤치마크에서 최하위권(재현율 21.6%)을 기록했으나, 실제 데이터로만 평가했을 때는 최상위권(재현율 87.9%)으로 급등하는 66포인트의 격차를 보였습니다. 이는 실제 데이터가 의존성 사칭에 의해 지배되어 시그니처 기반 도구가 잘 탐지하는 패턴 위주이기 때문이며, 지침 계층 공격은 무시됩니다.

RQ4: 도구 전이성(Tool Transferability)

기존의 단일 도메인 도구들은 효과적으로 전이되지 않습니다.

공급망 스캐너: 높은 재현율(예: OSSGadget 97.3%)을 보이지만, 정상적인 의존성을 악성으로 분류하여 막대한 오탐(4,000개 중 최대 3,979개)을 발생시킵니다.
프롬프트 주입 방어 도구: 마찬가지로, 코드 중심의 스킬에 과도하게 반응하거나, 탈옥(jailbreak) 스타일의 문구가 없는 운영상의 공격을 놓칩니다.
결합 실패: 이러한 도구들을 단순 결합(OR/AND 로직)하더라도 코드와 지침 사이의 누락된 의미론적 관계를 복구하지 못합니다. OR 결합은 높은 오탐을 상속받고, AND 결합은 재현율이 붕괴됩니다(종종 6% 미만).

의의 및 주장

본 논문은 악성 스킬을 탐지하려면 코드와 프롬프트를 별도로 검사하는 것이 아니라, 작업 의도, 코드, 지침에 대한 **결합된 추론(joint reasoning)**이 필요하다고 주장합니다. MalSkillBench의 주요 의의는 다음과 같은 현재 평가 방법론의 한계를 폭로했다는 점에 있습니다:

측정 왜곡: "실제 데이터 전용" 또는 좁은 하위 집합에 의존하는 것은 해당 패턴에 부합하는 도구의 성능을 인위적으로 부풀리는 동시에, 지침 계층 공격에서의 실패를 은폐합니다.
하이브리드 특성: 스킬의 위험은 국소적인 산물이 아니라 의미론적 관계(예: "이 의존성이 작업에 정당한가?")입니다. 코드나 프롬프트를 분리해서 읽는 현재의 도구들은 이러한 관계를 포착할 수 없습니다.
향고 방향: 본 벤치마크는 코드-지침 하이브리드 공간을 가로질러 추론할 수 있는 탐지 도구를 개발하는 데 필요한 그라운드 트루스를 제공하며, 현재의 보안 관행에 존재하는 "사각지대"를 해결합니다.

저자들은 자신들의 작업이 새로운 공격 벡터를 발명하는 것이 아니라, AI 에이전트 스킬이라는 특정 맥락 내에서 기존 위협의 실현 가능성과 탐지 가능성을 체계적으로 측정하는 것이며, 이를 통해 지침 계층이 여전히 중요한, 보호받지 못하는 취약점임을 밝히고 있다고 강조합니다.