Detecting Malicious Agent Skills in the Wild using Attention

기술 요약: 어텐션을 이용한 실전 환경에서의 악성 에이전트 스킬 탐지

문제 정의
대규모 언어 모델(LLM) 에이전트는 점차 "스킬(skills)"에 의존하고 있습니다. 스킬은 제3자가 작성하여 마켓플레이스를 통해 배포되는 자연어 지침과 선택적 코드를 포함하는 파일 기반 패키지입니다. API 도구와 달리, 스킬은 사용자의 권한으로 로컬에서 실행됩니다. 이러한 아키텍처는 새로운 공격 표면을 생성합니다. 단 하나의 악성 스킬만으로도 데이터를 유출하거나, 에이전트의 동작을 하이재킹하거나, 공급망 거점을 확보할 수 있기 때문입니다.

기존의 간접 프롬프트 인젝션(indirect prompt injection) 방어 기제는 이 맥와에서는 효과가 없습니다. 대부분의 방어 체계는 신뢰할 수 있는 시스템 지침과 신뢰할 수 없는 사용자 데이터 사이에 명확한 경계가 있다고 가정합니다. 그러나 스킬은 그 자체가 지침의 집합체입니다. 악성 인젝션은 단지 정당한 지침들 사이에 삽입된 몇 개의 추가 명령일 뿐입니다. 결과적으로, 표준적인 분리 전략은 효과를 거두지 못합니다. 또한, 마켓플레이스의 모든 스킬을 강력한 LLM으로 스캔하여 이러한 인젝션을 탐지하는 것은 스킬의 양과 길이를 고려할 때 계산적으로 불가능에 가깝습니다. 키워드 기반 또는 정규 표현식 기반 스캐너 역시, 악성 페이로드를 온건한 문서 속에 숨겨 놓은 "숨겨진 악성 스킬(Hidden Malicious Skills, HMS)"을 탐지하는 데 실패합니다.

방법론: Locate-and-Judge (탐색 및 판정)
저자들은 로컬라이제이션(localization, 위치 식별)과 분류(classification)를 분리하여 마켓플레이스 환경에서도 확장 가능하도록 설계된 2단계 탐지 파이프라인인 Locate-and-Judge를 제안합니다.

1. 스팬 세그멘테이션 (Span Segmentation): 스킬은 먼저 결정론적인 마크다운 파서를 사용하여 구조적 스팬(제목, 단락, 코드 블록, 메타데이터)으로 파싱됩니다. 이는 스킬의 자연스러운 구조를 보존하여, 인젝션된 명령어가 고정 길이 청크(chunk) 내에서 소실되지 않도록 보장합니다.
2. 로케이터 (The Locator, 위치 식별): 경량화된 소형 LLM(예: Qwen2.5-0.5B)이 전체 스킬을 처리합니다. 이 모델은 실행 가능하거나, 필수적이거나, 행동 관련성이 있는 콘텐츠에 주의(attend)하도록 프롬프트가 구성됩니다. 시스템은 마지막 4개 레이어, 모든 헤드, 그리고 접미사 토큰 위치의 어텐션 가중치를 집계하여 각 구조적 스한(span)에 점수를 부여합니다. 가장 높은 지침 준수 어텐션(instruction-following attention)을 가진 상위 $K$개의 스팬을 유지합니다. 가설은 인젝션이 성공하기 위해서는 주변의 온건한 지침들에 둘러싸여 있더라도 독자의 모델(reader model)의 주의를 반드시 사로잡아야 한다는 것입니다.
3. 저지 (The Judge, 판정): 성능이 뛰어난 제로샷 LLM(DeepSeek-V4-Flash)은 유지된 상위 $K$개의 스팬만을 검토합니다. 이 모델은 특정 스팬이 악성 지침을 포함하고 있는지 평가합니다. 만약 저지의 최대 점수가 보정된 임계값 $\tau$를 초과하면 해당 스킬은 위험한 것으로 분류됩니다.

이 접근 방식은 저지가 전체 콘텐츠를 스캔하는 것과 비교했을 때 토큰 예산을 약 2.84배 절감하며, 저지는 스킬 텍스트의 극히 일부만을 처리하게 됩니다.

주요 기여

• Locate-and-Judge 파이프라인: 로컬라이제이션과 분류를 분리함으로써 마켓플레이스 규모에서 인젝션된 지침을 탐지하는 것을 경제적으로 실현 가능한 새로운 2단계 아키텍처를 제시했습니다. 저자들은 재현 가능성을 입증하며, 재현 가능성은 모델의 강도에 따라 조절 가능한 저지의 능력에 의해 제한될 뿐 로컬라이제이션 아키텍처 자체에 의해 제한되지 않음을 보여줍니다.
• 악성 스킬에 대한 실증 연구: 세 곳의 실제 마켓플레이스(Lobehub, Skills.sh, Clawhub.ai)에 이 탐지기를 대규모로 배포한 첫 사례입니다. 이 연구를 통해 위험한 명령을 온건한 기능으로 위장한 82개의 숨겨진 악성 스킬(HMS)을 포함하여 총 131개의 확인된 악성 스킬을 찾아냈습니다.
• 데이터셋 공개: 재현성을 지원하기 위해 인간의 평가 라벨과 공격 벡터 주석이 달린 200개 이상의 스킬(악성 및 온건한 스킬 모두 포함)이 담긴 라벨링된 데이터셋을 공개합니다.
• 책임 있는 공개: 모든 발견 사항은 각 마켓플레이스 운영자에게 보고되었습니다.

실험 결과

• 실험실 평가: 통제된 코퍼스(Skill-Inject)에서 이 파이프라인은 보수적인 임계값에서 정밀도(precision) 1.0과 F1 스코어 0.727을 달 기록했으며, 비용 효율성 측면에서 정규 표현식 베이스라인과 전체 스캔 LLM 베이스라인을 모두 능가했습니다. 로케이터는 $K=10$일 때 악성 스킬의 95%에서 인젝션된 스팬을 성공적으로 유지했습니다.
• 실전 배포: 세 곳의 마켓플레이스에서 134,934개의 스킬을 스캔하는 데 약 34달러가 소요되었습니다. 시스템은 359개의 스킬을 식별했으며, 인간 검토 결과 131개가 악성인 것으로 확인되었습니다(결정된 사례에 대해 83%의 정밀도).
• 베이스라인과의 비교:
  • 전체 콘텐츠 스캔 대비: Locate-and-Judge는 동일한 저지를 사용한 전체 콘텐츠 스캔(재현율 62%)에 비해 확인된 악성 스킬의 83%를 탐지했습니다. 이 격차는 악성 페이로드가 긴 온건한 텍스트 속에 숨겨져 있는 HMS(83% 대 45% 재현율)에서 가장 두드러졌습니다.
  • 기존 탐지기 대비: 본 시스템은 프로덕션 스캐너(SkillSpector, Cisco Skill Scanner)와 어텐션 기반 탐지기인 Attention Tracker를 크게 능가했습니다. 기존 도구들은 대부분의 HMS를 탐지하지 못했으며, 종종 위장된 페이로드를 완전히 놓쳤습니다.
  • 실패 모드: 시스템은 22개의 악성 스킬을 놓쳤는데, 이는 주로 스팬 세그멘터가 별도의 스팬으로 격리하지 못한 인라인 RCE 설치 프로그램(base64 원라이너) 때문이었습니다. 저자들은 이것이 보조적인 전체 콘텐츠 패스를 통해 복구 가능한 제한된 실패 모드라고 언급했습니다.

의의 및 주장
본 논문은 로컬라이제이션과 분류의 분리가 에이전트 시스템의 보안 확장에 있어 매우 중요하다고 주장합니다. 어텐션을 효과적인 공격의 거의 필수적인 시그니처로 활용함으로써, 저자들은 전체 콘텐츠 분석 비용의 극히 일부만으로 전체 마켓플레이스를 감사하는 것이 가능하다는 것을 입증했습니다.

본 연구는 현재의 스킬 생태계가 기존 방어 체계를 회피하는 활성화된 설치형 위협을 포함하고 있음을 드러냅니다. 특히, 숨겨진 악성 스킬(HMS)의 존재는 공격자들이 스킬 패러다임에서 신뢰할 수 있는 지침과 신뢰할 수 없는 데이터 사이의 분리 부재를 성공적으로 악용하고 있음을 시사합니다. 저자들은 현재의 도구들이 불충분하지만, 제안된 아키텍처는 로컬라이제이션 단계가 새로운 위협의 특정 구조적 패턴을 포착할 수 있도록 조정될 수 있다면, 에이전트 공급망을 보호하기 위한 확장 가능하고 비용 효율적인 경로를 제공한다고 결론지었습니다.