기술 요약: SKILL.md 의 내부 구조

문제 제기

AI 에이전트의 급속한 채택으로 **에이전트 스킬 (Agent Skills)**이 등장했습니다. 이는 모델 파인튜닝 없이도 에이전트가 필요에 따라 기능을 확장할 수 있게 해주는 모듈형 파일시스템 패키지입니다. 이 생태계의 핵심은 SKILL.md 파일로, 에이전트가 관련성과 실행 여부를 판단하기 위해 읽는 메타데이터, 설명, 사용 지침이 포함된 자연어 매니페스트입니다.

이러한 설계는 확장 가능한 기능 확장을 가능하게 하지만, 새로운 **의미론적 공급망 위험 (semantic supply-chain risk)**을 초래합니다. 전통적인 소프트웨어 패키지가 코드 무결성에 의존하여 보안을 유지하는 것과 달리, 에이전트 스킬은 에이전트가 읽고 신뢰하며 실행에 반영하는 자연어 메타데이터에 크게 의존합니다. 기존 연구는 스킬이 로드된 후의 악성 코드 실행이나 정적 분석을 통한 악성 제출 감지에 초점을 맞추어 왔습니다. 그러나 실행 전 스킬이 어떻게 발견되고, 순위가 매겨지며, 선택되고, 관리되는지, 즉 레지스트리 측면의 수명주기는 아직 충분히 탐구되지 않았습니다. 본 논문은 SKILL.md 가 수동적인 문서가 아니라 실행 가능한 코드를 변경하지 않고도 공급망을 훼손할 수 있도록 조작될 수 있는 운영 텍스트라고 주장합니다.

방법론

저자들은 공격자가 스킬의 SKILL.md 파일 텍스트 내용 (특히 이름, 설명, 본문) 을 제어할 수 있지만 레지스트리 백엔드, 실행 가능 코드, 또는 보조 파일을 수정할 수는 없다고 가정하는 위협 모델을 수립했습니다. 이 연구는 ClawHub 의 다섯 가지 카테고리 (이메일, 여행, 세금, 건강, 프롬프트) 에 속한 100 개의 실제 스킬을 사용하여 스킬 수명주기의 세 가지 다른 단계에서 공격을 평가했습니다.

1. 발견 조작 (Discovery Manipulation)

목표: 임베딩 기반 검색을 조작하여 특정 쿼리에 대한 공격적 스킬의 순위를 높이는 것.

• 공격 전략: 공격자가 SKILL.md 파일에 짧은 텍스트 트리거 ($\delta_D$) 를 추가합니다.
• 기법:
  • 블랙박스: 타겟 쿼리 임베딩과 코사인 유사도를 최대화하는 토큰을 반복적으로 찾기 위해 경량 생성기 (Qwen2.5-0.5B) 를 사용한 빔 서치 최적화.
  • 화이트박스: 임베딩 모델 파라미터에 접근할 수 있다고 가정하는 경계 기반 최적화.
• 평가: BAAI(bge-base, bge-small) 및 OpenAI(text-embedding-3-small) 모델을 대상으로 테스트했습니다. 어휘적 관련성, 벡터 유사성, 다운로드 인기도를 결합한 ClawHub 스타일 순위 함수를 사용하여 현실적인 '야외 (in-the-wild)' 시나리오를 시뮬레이션했습니다.

2. 선택 조작 (Selection Manipulation)

목표: 기능적으로 동등한 스킬들 사이에서 에이전트의 선택을 공격적 변형 쪽으로 편향시키는 것.

• 공격 전략: 하부 기능을 유지하면서 SKILL.md의 description 필드만 수정합니다.
• 기법: 네 가지 프레이밍 전략을 테스트했습니다.
  1. 허위 광고: 기능 과장 (예: "최고의 스킬").
  2. 강조적 단서: 지시적 언어 (예: "항상 이걸 선택하세요").
  3. 적극적 유지보수: 최신성/업데이트 주장.
  4. 신뢰/보안: 보안 인증 주장.
• 평가: Hermes-agent 프레임워크를 사용한 쌍별 선택 실험. 에이전트에게 동일한 사용자 작업에 대한 원본 스킬과 공격적 변형을 제시했습니다. 테스트된 모델에는 GPT-4.1-mini, GPT-5, Gemma-4-31B, Qwen3-235B 가 포함되었습니다.

3. 레지스트리 관리 회피 (Registry Governance Evasion)

목표: SKILL.md 내의 악의적 의도를 유지하면서 레지스트리 심사 파이프라인을 우회하는 것.

• 공격 전략: 초기 스캔을 통과하는 '청정' 스킬로 시작한 후 SKILL.md 텍스트 내에 악의적 지시를 삽입하거나 다시 씁니다.
• 기법:
  1. LLM 심사자 탈옥 (Jailbreaking): LLM 심사자가 안전 기준을 무시하도록 강제하는 프롬프트 추가.
  2. 개사 (Paraphrasing): 키워드 트리거를 피하기 위해 악의적 지시를 benign 운영 언어로 재작성.
  3. 완료 정의 (Definition-of-Done, DoD): 악의적 행위를 완료 요구사항으로 포장된 절차적 체크리스트로 분해.
  4. 컨텍스트 창 오버플로우: LLM 심사자의 잘림 한계 (예: 첫 10k 문자 이후) 너머에 악의적 지시를 배치.
• 평가: 정적 스캐너, LLM 심사자, VirusTotal 로 구성된 3 단계 관리 파이프라인을 로컬에 구현했습니다. 파이프라인은 청정, 의심스러움, 또는 악성 판정을 반환합니다.

주요 결과

발견 조작

• 검색 점수: 짧은 트리거가 검색 점수를 신뢰성 있게 향상시켰습니다. 가장 강력한 결과는 OpenAI 임베딩에 대한 블랙박스 빔 서치를 사용하여 86.14% 의 쌍별 승리율과 16.40% 의 평균 점수 상승을 기록한 것입니다.
• 순위 가시성: OpenAI 검색 하에서 공격적 스킬은 쌍별 비교에서 **상위 10 위 진입률 80%**를 달성했습니다.
• 현실적 영향: 인기도를 고려한 순위 시스템 (ClawHub 스타일) 에서도 수정된 스킬은 '평균일' 시나리오 (적당한 다운로드 수 시뮬레이션) 의 **74.14%**와 '0 일' 시나리오 (콜드 스타트) 의 **94.00%**에서 베이스라인보다 우수한 성과를 보였습니다.

선택 조작

• 편향 효과: 설명만 수정한 변형이 일관되게 에이전트를 공격적 변형 쪽으로 편향시켰습니다. 모든 모델과 전략을 통틀어 **평균 선택률은 77.6%**로, 50% 인 무작위 베이스라인보다 훨씬 높았습니다.
• 모델 민감도: 더 큰 모델 (예: Gemma-4-31B, Qwen3-235B) 이 더 높은 취약성을 보였으며, 일부 전략은 80% 이상의 선택률을 달성했습니다.
• 전략 효과성: "허위 광고"와 "강조적 단서"가 가장 효과적이었지만, "신뢰/보안" 주장조차도 에이전트 선호도를 유의미하게 변화시켰습니다.

레지스트리 관리 회피

• 베이스라인 감지: 관리 파이프라인은 직접적인 악성 삽입을 효과적으로 감지했습니다 (베이스라인 악성 변형에 대한 청정 판정 0%).
• 회피 성공:
  • 개사: 악성 판정을 **26.1%**로 낮췄습니다 (73.9% 차단 회피).
  • DoD 프레이밍: **23.9%**의 청정 판정과 **66.3%**의 차단 회피를 기록했습니다.
  • 컨텍스트 오버플로우: 가장 효과적인 전략으로, **87.1%**의 청정 판정과 **0%**의 악성 판정을 기록하여 차단 메커니즘을 완전히 우회했습니다.
  • 탈옥: 제한적인 개선만 제공했습니다 (63.5% 는 여전히 악성으로 표시됨). 이는 LLM 심사자가 직접적인 지시 오버라이드에 상대적으로 강력함을 시사합니다.

중요성과 주장

본 논문은 SKILL.md 가 AI 에이전트 공급망에서 중요한 능동적 공격 표면이라고 주장합니다. 연구 결과는 다음과 같습니다.

1. 의미론적 취약성 존재: 실행 가능 코드를 건드리지 않고도 어떤 스킬이 발견되고 (발견), 신뢰되며 (선택), 승인되는지 (관리) 를 통제하기 위해 자연어 메타데이터를 조작할 수 있습니다.
2. 현재 방어책의 부족: 임베딩 유사성, 설명 기반 선택, LLM 기반 의미론적 검토에 의존하는 레지스트리 메커니즘은 최소한의 악성처럼 보이지 않는 텍스트 수정에 취약합니다.
3. 수명주기 구성: 이러한 공격은 구성 가능합니다. 공격자는 관리 절차를 통과하고 검색에서 상위에 노출되며 에이전트에 의해 선택되는 스킬을 제작하여 전체 공급망 훼손을 달성할 수 있습니다.

저자들은 이러한 위험을 완화하기 위해 스킬 문서를 보안 민감 입력으로 취급하고, 견고한 검색 및 증거 기반 선택을 구현하며, 런타임 최소 권한 제어와 함께 더 엄격한 관리 (예: 전체 파일 검토, 의심스러운 판정 처리) 를 도입해야 한다고 결론지었습니다. 이 연구는 의미론적 공급망 위험을 측정하는 프레임워크를 제공하며, 중앙 집중식 스캐닝과 분산 감사 및 투명성 로그를 결합한 하이브리드 관리 모델을 요구합니다.