SkillProbe: Security Auditing for Emerging Agent Skill Marketplaces via Multi-Agent Collaboration

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 에이전트 생태계의 급속한 발전과 함께 '스킬 마켓플레이스' (예: ClawHub) 가 에이전트 기능 확장의 핵심 인프라로 부상했습니다. 그러나 이러한 마켓플레이스는 다음과 같은 전례 없는 보안 위협에 직면해 있습니다.

• 의미 - 행동 불일치 (Semantic-Behavioral Inconsistency): 문서화 (설명) 된 기능과 실제 실행 코드 간의 괴리입니다. 악의적인 개발자는 에이전트와 인간 검토자가 '안전하다'고 믿도록 문서화하지만, 실제 코드에는 권한 남용이나 데이터 유출과 같은 '그림자 기능 (Shadow Capabilities)'을 숨길 수 있습니다.
• 스킬 간 결합 위험 (Inter-Skill Combinatorial Risks): 개별적으로는 안전해 보이는 스킬들이 서로 연결되어 실행될 때, 새로운 악성 행동 (예: 명령어 주입, 데이터 유출) 이 발생할 수 있습니다. 기존 보안 도구는 개별 스킬 (Atomic) 단위의 검사를 수행하므로, 이러한 동적인 결합 과정에서 발생하는 위험을 포착하지 못합니다.
• 인기 - 보안 역설: 다운로드 수가 많은 인기 스킬일수록 보안이 철저할 것이라는 일반적인 통념과 달리, 실제로는 높은 위험을 내포하고 있는 경우가 많습니다.

2. 방법론 (Methodology)

이 논문은 이러한 취약점을 해결하기 위해 SkillProbe라는 다단계 보안 감사 프레임워크를 제안합니다. 핵심은 '스킬을 위한 스킬 (Skills-for-Skills)' 설계 패러다임과 다중 에이전트 협업입니다.

시스템 아키텍처

SkillProbe 는 5 개의 기능 계층으로 구성되며, 감사 프로세스를 표준화된 '스킬 모듈'로 캡슐화하여 에이전트들이 이를 동적으로 로드하고 실행하도록 설계되었습니다.

1. 입력 계층: 로컬 디렉토리, 아카이브, URL 등 다양한 형식의 감사 대상 수집.
2. 오케스트레이션 계층: 보안 감사자 (Security Auditor) 가 주도하여 작업 분배 및 상태 관리를 수행.
3. 스킬 계층 (핵심): 3 단계 감사 파이프라인을 실행.
4. 출력 계층: 구조화된 보안 리포트 및 다차원 점수판 생성.
5. 인프라 계층: 도구 레지스트리, 데이터베이스, 에이전트 루프 런타임 환경 제공.

3 단계 감사 파이프라인

1. 게이트키퍼 (Gatekeeper - Phase 1):
   • 진입 필터링 단계.
   • 악성 코드 패턴, 위험한 의존성 (CVE 포함), 권한 선언의 합리성 등을 검사.
   • 결정론적 검사와 LLM 기반 분석을 병렬로 수행하여 'BLOCK' 결정 시 즉시 차단.
2. 정렬 감지기 (Alignment Detector - Phase 2):
   • 의미 - 행동 일관성 검사.
   • 문서화 된 기능 ($D$) 과 코드 구현 기능 ($C$) 을 추출하여 비교.
   • 4 가지 정렬 매트릭스로 위험 상태 분류:
     • 일치 (Match), 과대 선언 (Over-declaration), 과소 선언/그림자 기능 (Under-declaration), 복합 편차 (Mixed).
3. 플로우 시뮬레이터 (Flow Simulator - Phase 3):
   • 스킬 간 결합 위험 분석.
   • 지수적 복잡도 ($O(2^N)$) 를 선형 복잡도 ($O(N \times |Rules|)$) 로 줄이기 위해 위험 지문 (Risk Fingerprint) 태깅 및 규칙 기반 매칭 사용.
   • 명령어 주입, 간접 프롬프트 주입, 데이터 유출 등 9 가지 주요 공격 패턴 (Table 1) 을 시뮬레이션.

심사 판정 (Verdict)

세 가지 차원 (악성 패턴, 의미 일관성, 결합 안전성) 의 결과를 종합하여 1 표 부결 (One-vote veto) 원칙에 따라 다음과 같이 판정합니다:

• REJECTED: 치명적 취약점 또는 심각한 의미 충돌.
• CONDITIONAL: 저위험 편차 또는 수동 검토 필요.
• APPROVED: 모든 보안 기준 충족.

3. 주요 기여 (Key Contributions)

1. 자동화된 감사 프레임워크: 에이전트 스킬 보안을 위한 다중 에이전트 협업 프레임워크를 최초로 제안. 플러그 앤 플레이 설계로 타사 보안 도구 통합이 용이함.
2. 다차원 위험 모델링: 의미 불일치를 정량화하는 정렬 매트릭스와 결합 위험을 식별하는 위험 링크 정책 (Risk Link Policies) 을 도입하여 동적 결합 공격을 탐지.
3. 시스템 구현 및 대규모 평가: FastAPI, Vue 3, npm 기반 REPL 등을 활용한 프로토타입 구현. ClawHub 의 2,500 개 실전 스킬과 8 가지 주요 LLM 시리즈를 대상으로 한 광범위한 평가를 수행.

4. 실험 결과 (Results)

• 인기 - 보안 역설 (Popularity-Security Paradox):
  • ClawHub 의 상위 2,500 개 인기 스킬을 분석한 결과, 90% 이상이 엄격한 심사를 통과하지 못함.
  • 완전히 깨끗한 (Approved without findings) 스킬은 **9.9%**에 불과했으며, 30.4% 는 'Conditional' 판정을 받음.
  • 다운로드 순위가 높을수록 보안 위험이 줄어든다는 가설은 기각됨 (모든 인기 구간에서 위험 비율이 20~35% 로 일정하게 유지).
• 거대 연결 요소 (Giant Connected Component):
  • 499 개의 위험 스킬로 구성된 네트워크 분석 결과, 단 하나의 거대 연결 요소가 형성됨.
  • 이는 위험이 고립된 사건이 아니라, 스킬 간 결합을 통해 연쇄적 (Cascaded) 으로 확산되는 시스템적 문제임을 의미.
  • 데이터 유출 (32,328 개 엣지) 과 사실 중독 (Fact Poisoning, 28,441 개 엣지) 이 전체 위험의 80% 를 차지.
• 모델 간 일관성:
  • 8 가지 LLM 을 사용한 교차 검증 결과, 고위험 스킬 식별에 있어 모델 간 높은 견고성 (Robustness) 을 보임.
  • 모델마다 엄격도 (Sonnet-4.6 은 가장 엄격) 와 처리 속도에 차이가 있으나, 핵심 위험 탐지 능력은 일관됨.

5. 의의 및 결론 (Significance)

• 보안 패러다임의 전환: 단순한 코드 수준의 정적 분석을 넘어, 의도 - 행동 정렬 (Intent-Behavior Alignment) 검증과 결합적 위험 (Combinatorial Risk) 시뮬레이션으로 보안 관리를 확장.
• 신뢰할 수 있는 에이전트 웹 (Trustworthy Agentic Web) 의 기반: 인기 지표에 의존하는 '맹신 (Blind Trust)'을 배제하고, 자동화된 다차원 감사 인프라가 필수적임을 증명.
• 확장 가능한 거버넌스: 'Skills-for-Skills' 아키텍처를 통해 새로운 위협에 유연하게 대응할 수 있는 모듈식 감사 시스템을 제시.

결론적으로, SkillProbe 는 에이전트 스킬 마켓플레이스의 보안 취약점을 해결하기 위해 의미 불일치와 결합 위험을 체계적으로 탐지하는 혁신적인 프레임워크를 제시하며, 향후 에이전트 생태계의 안전한 성장을 위한 필수 인프라로 평가됩니다.