SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement

1. 문제 정의 (Problem Definition)

LLM 기반 에이전트 시스템은 기능 확장을 위해 오픈 레지스트리 (예: ClawHub) 에서 가져온 '에이전트 스킬 (Agent Skills)'에 점점 더 의존하고 있습니다. 스킬은 실행 가능한 코드, 도메인 지식, 자연어 지시를 bundled 한 재사용 가능한 모듈입니다.

• 기존 위협 모델의 한계: 기존 공격 연구는 주로 스킬 파일에 악성 지시를 주입 (Injection) 하는 방식에 집중했습니다. 그러나 이러한 악성 코드는 정적 감사 (Static Auditing) 를 통해 쉽게 탐지됩니다.
• 새로운 위협 (잠재적 취약점): 악의적인 의도가 없더라도, 합법적인 스킬 내부에는 권한 상승, 공급망 위험 등 잠재적 취약점 (Latent Vulnerabilities) 이 존재할 수 있습니다.
• 핵심 질문: 공격자가 스킬 자체를 수정하지 않고, 적대적 프롬프트 (Adversarial Prompting) 만을 통해 이러한 잠재적 취약점을 악용할 수 있는가?
• 현실: 정적 분석은 이러한 취약점을 식별하기 어렵고, 기존 공격 기법은 스킬 수정을 전제로 하거나 단일 회차 (One-shot) 공격에 의존하여 실제 에이전트 상호작용에서의 취약점을 놓치고 있습니다.

2. 제안 방법론: SkillAttack (Methodology)

SkillAttack은 스킬을 수정하지 않고 오직 적대적 프롬프트를 통해 스킬의 취약점 악용 가능성을 동적으로 검증하는 자동화된 레드팀 (Red-teaming) 프레임워크입니다. 이는 경로 검색 (Path Search) 문제로 정의되며, 3 단계의 폐루프 (Closed-loop) 검색 프로세스로 구성됩니다.

3 단계 아키텍처

1. 스킬 취약점 분석 (Skill Vulnerability Analysis):

   • 스킬의 코드와 지시문을 분석하여 공격자가 제어 가능한 입력 (Attacker-controllable inputs), 민감한 연산 (Sensitive operations), 그리고 잠재적 취약점 후보를 추출합니다.
   • 에이전트 판정자 (A.I.G) 를 활용하여 구조화된 메타데이터 (유형, 입력, 연산, 트리거 조건) 로 취약점을 정의합니다.

2. 표면 병렬 공격 생성 (Surface-Parallel Attack Generation):

   • 식별된 여러 취약점을 병렬로 처리합니다.
   • 각 취약점에 대해 예상되는 공격 경로 (Attack Path: 사용자 입력 → 스킬 인터페이스 → 취약 연산 → 위험 행동) 를 추론하고, 이를 유도하는 합법적으로 보이는 적대적 프롬프트를 생성합니다.

3. 피드백 기반 악용 정제 (Feedback-Driven Exploit Refinement):

   • 생성된 프롬프트로 에이전트를 실행하고, 실행 궤적 (Tool calls), 실행 산물 (File modifications), 최종 응답을 수집합니다.
   • 판정 모델 (Judge Model) 이 공격 성공 여부를 판단합니다.
   • 실패 시, 경로 편차 (Path Deviation) 와 실패 원인 (Failure Cause) 을 분석하여 다음 라운드에서 공격 경로를 수정하고 프롬프트를 정제합니다.
   • 이 과정은 최대 $B$회 반복되며, 성공적인 악용이 발견될 때까지 점진적으로 수렴합니다.

3. 주요 기여 (Key Contributions)

1. SkillAttack 프레임워크 제안: 대상 스킬을 수정하지 않고 적대적 프롬프트만으로 스킬 취약점의 악용 가능성을 평가하는 새로운 레드팀링 접근법 제시.
2. 3 단계 공격 파이프라인 설계: 취약점 분석, 다중 표면 병렬 공격 생성, 실행 피드백 기반의 폐루프 정제 과정을 통합하여 공격 경로를 동적으로 최적화.
3. 포괄적인 평가 및 통찰: 10 개의 다양한 LLM 과 71 개의 적대적 스킬, 100 개의 실제 세계 스킬 (ClawHub Hot100) 을 대상으로 실험하여, 스킬 유형에 따라 다른 위협 프로필이 존재함을 입증.

4. 실험 결과 (Experimental Results)

실험 설정:

• 모델: GPT-5.4, Claude Sonnet 4.5, Gemini 3.0 Pro 등 10 개 LLM.
• 데이터셋: 악성 주입이 명확한 'Adversarial Skills (SKILL-INJECT)'와 실제 레지스트리의 'Real-world Skills (Hot100)'.
• 비교 대상: 직접 공격 (Direct Attack), 기존 SKILL-INJECT 벤치마크.

주요 성과:

• 압도적인 공격 성공률 (ASR): SkillAttack 은 모든 모델과 설정에서 베이스라인을 크게 상회했습니다.
  • 적대적 스킬 (Adversarial Skills): ASR 0.73 ~ 0.93 (베이스라인 대비 월등히 높음).
  • 실제 세계 스킬 (Real-world Skills): ASR 최대 0.26 (베이스라인은 0.04 미만).
• 반복 정제의 중요성: 성공적인 공격의 약 65% 가 3~4 번째 라운드에서 발생했습니다. 이는 초기 라운드에서의 안전성이 실제 견고성을 보장하지 않으며, 다중 턴 상호작용을 통한 전략적 정제가 필수적임을 보여줍니다.
• 위협 프로필의 차이:
  • 명시적 악성 스킬: 다양한 공격 벡터 (조작, 백도어 등) 가 분산됨.
  • 맥락적 스킬 (Contextual): '편향/조작 (Bias/Manipulation)'이 50% 이상을 차지.
  • 실제 세계 스킬 (Hot100): '데이터 유출 (Data Exfiltration)'과 '멀웨어 실행'이 70% 이상을 차지하여 운영적 위협이 주를 이룸.

5. 의의 및 결론 (Significance)

• 동적 검증의 필요성: 정적 감사만으로는 스킬의 잠재적 취약점을 파악할 수 없으며, 실제 에이전트 상호작용을 시뮬레이션하는 동적 레드팀링이 필수적입니다.
• 의도하지 않은 위험: 악의적인 의도가 없는 '합법적인' 스킬조차도 현실적인 에이전트 상호작용 하에서는 심각한 보안 위협이 될 수 있음을 입증했습니다.
• 미래 방향: 스킬 생태계의 보안 강화를 위해 입력 정제 (Input Sanitization) 및 런타임 모니터링과 같은 동적 방어 메커니즘 개발의 중요성을 제기합니다.

이 논문은 LLM 에이전트 시스템의 확장성 있는 스킬 생태계에서, 프롬프트만으로 스킬의 취약점을 악용할 수 있는 새로운 공격 벡터를 체계적으로 규명하고, 이를 방어하기 위한 새로운 평가 패러다임을 제시했다는 점에서 의의가 큽니다.