Red Skills or Blue Skills? A Dive Into Skills Published on ClawHub

논문 요약: ClawHub 에 게시된 에이전트 스킬 (Skills) 의 생태계 분석 및 보안 위험 평가

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 에이전트 시스템에서 '스킬 (Skill)'은 기초 모델과 실제 작업을 연결하는 중요한 중간 계층으로 부상하고 있습니다. 스킬은 단순한 도구를 넘어 문서화, 구성, 호출 로직, 파일 자산 및 외부 기능을 패키징하여 재사용성과 배포 용이성을 제공합니다.

• ClawHub 의 등장: OpenClaw 에 의해 소개된 ClawHub 는 버전 관리, 검색, 설치, 공개 공유가 가능한 대규모 공개 스킬 레지스트리로 급성장했습니다. 출시 3 개월 만에 누적 설치 횟수가 15 만 건을 넘었습니다.
• 문제점: 이러한 공개 스킬 레지스트리는 에이전트 능력의 재사용을 촉진하지만, 동시에 새로운 보안 위협 표면 (Security Surface) 을 형성합니다. 스킬은 자연어 지시문, 실행 가능한 로직, 외부 의존성, 플랫폼 배포 채널을 결합하고 있어, 악성 스킬이 생태계 내 신뢰 메커니즘 (검색 노출, 순위, 다운로드 등) 을 통해 빠르게 확산될 수 있습니다.
• 연구 필요성: 현재 공개 스킬 레지스트리의 기능, 생태계 구조, 그리고 보안 위험에 대한 체계적인 실증 연구가 부족합니다. 특히 스킬이 어떻게 위험을 발생시키고 확산하는지, 그리고 배포 시점에 위험을 조기에 감지할 수 있는지에 대한 이해가 필요합니다.

2. 연구 방법론 (Methodology)

이 연구는 ClawHub 에서 수집된 데이터를 기반으로 한 실증 분석과 위험 예측 모델을 구축하는 두 가지 주요 단계로 구성됩니다.

• 데이터 수집 및 정규화 (Data Collection & Normalization):

  • ClawHub 의 공개 레지스트리 인터페이스를 통해 2026 년 3 월 18 일까지 공개된 26,502 개의 스킬을 크롤링하여 수집했습니다.
  • 수집 과정은 3 단계로 진행되었습니다:
    1. 커서 기반 페이지네이션을 통한 공개 스킬 슬러그 (Slug) 나열.
    2. 병렬 요청을 통한 메타데이터, 버전 정보, 공개 댓글, 스캔/모더레이션 신호, 텍스트 파일 내용 수집.
    3. 보안 신호 통합 및 정규화 (신원, 메타데이터, 콘텐츠, 위험, 효과성 필드 포함).
  • 최종적으로 26,502 개의 스킬로 구성된 정규화된 데이터셋을 구축했습니다.

• 기능 분석 (Function Analysis):

  • 전체 데이터셋을 대상으로 도메인 분포, 기능 분포, 다운로드 추이를 분석했습니다.
  • 언어별 클러스터링: 영어 (17,499 개) 와 중국어 (3,882 개) 스킬을 분리하여 TF-IDF 특징 벡터를 생성하고 Truncated SVD 를 통해 차원을 축소한 후 K-means 클러스터링을 수행했습니다.

• 위험 분석 및 예측 (Risk Analysis & Prediction):

  • 위험 프로파일링: 플랫폼의 스캔 및 모더레이션 태그를 기반으로 위험의 시간적 추세와 카테고리별 분포를 분석했습니다.
  • 위험 예측 벤치마크: 위험 라벨과 충분한 기본 정보를 가진 11,010 개의 스킬을 필터링하여 균형 잡힌 벤치마크를 구축했습니다. 이를 8:1 로 훈련/테스트 세트로 분할했습니다.
  • 모델 평가: 배포 시점 (Submission-time) 에만 접근 가능한 정보 (설명, 문서, 코드 등) 를 입력 특징으로 사용하여 12 가지 분류기 (Logistic Regression, MLP, Random Forest 등) 를 평가했습니다.
  • 어블레이션 연구 (Ablation Study): 가장 성능이 좋았던 Logistic Regression 모델을 대상으로 입력 정보 (메인 문서, 요약, 태그 등) 를 하나씩 제거하며 각 정보의 중요도를 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 스킬 데이터셋 구축: ClawHub 의 26,502 개 스킬을 체계적으로 수집하고 정규화하여, 스킬 생태계 측정, 보안 분석, 위험 감지를 위한 공개 벤치마크를 제공합니다.
2. 크로스-링구얼 (Cross-lingual) 스킬 생태계 구조 규명: 영어와 중국어 스킬 간의 기능적 구조적 차이를 최초로 체계적으로 분석했습니다.
3. 공개 스킬 레지스트리의 보안 위험 실증: 현재 생태계에서 약 30% 이상의 스킬이 의심스럽거나 악성으로 표시되고 있음을 발견했으며, 안전성 관측의 공백이 존재함을 지적했습니다.
4. 배포 시점 위험 예측 모델 제안: 배포 전 정보만으로 스킬의 위험성을 예측하는 태스크를 정의하고, 주요 문서 (Primary Documentation) 가 가장 중요한 신호임을 입증했습니다.

4. 주요 결과 (Key Results)

• 기능 및 언어별 차이:

  • 영어 스킬: 인프라 및 기술 중심 (API, 자동화, 메모리 등) 으로, 재사용 가능한 모듈로서 기능하며 클러스터 간 경계가 모호하고 중첩되는 경향이 있습니다.
  • 중국어 스킬: 응용 및 시나리오 중심 (미디어 생성, 소셜 콘텐츠, 금융 서비스 등) 으로, 구체적인 사용자 시나리오에 맞춰 명확한 기능 정체성을 가지며 클러스터 분리도가 높습니다.
  • 인기 분포: 스킬의 다운로드 분포는 장미 (Long-tail) 형태를 보이며, 상위 10% 미만의 스킬이 전체 다운로드의 대부분을 차지합니다.

• 보안 위험 현황:

  • 수집된 스킬 중 30% 이상이 플랫폼 신호에 의해 '의심스럽거나 악성'으로 분류되었습니다.
  • 그러나 많은 스킬이 안전/위험 라벨이 부재하여 관측 불가능 (Unobservable) 한 상태입니다.
  • 개발자 도구, 스크립트, AI/API 에이전트 관련 스킬이 위험 스킬의 절대적인 수에서 가장 많았으며, 코드 실행, 네트워크 호출, 멀티미디어 처리 기능이 포함된 스킬이 위험 비율이 높았습니다.

• 위험 예측 성능:

  • Logistic Regression이 12 개 분류기 중 가장 높은 성능을 보였습니다 (정확도 72.62%, AUROC 78.95%).
  • 이는 대규모 모델 기반 분류기 (약 80%) 와 8%p 미만의 격차로, 특징 기반 분류의 유효성을 입증했습니다.
  • 어블레이션 결과: '메인 문서 (Primary Documentation)'를 제거할 때 성능이 가장 크게 저하되었습니다. 반면, '요약 (Summary)'을 제거하면 오히려 정확도가 소폭 상승했는데, 이는 요약에 노이즈가 많거나 악성 스킬이 위장용 요약으로 분류기를 속이기 때문으로 분석되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 공개 스킬 레지스트리가 단순한 재사용 가능 컴포넌트의 저장소가 아니라, **사회적·기술적 시스템 (Socio-technical System)**으로서 진화하고 있음을 보여줍니다.

• 생태계적 관점: 스킬의 위험은 개별 아티팩트의 문제가 아니라, 공개 배포, 검색 노출, 신뢰 메커니즘을 통해 증폭되는 생태계 차원의 문제임을 강조합니다.
• 실용적 가이드라인: 플랫폼 운영자에게는 고위험 기능 클러스터에 대한 엄격한 검토 (샌드박싱, 권한 제한), 세부 위험 라벨링 확대, 런타임 행동 모니터링의 필요성을 제시합니다.
• 미래 연구 방향: 스킬 생태계의 지속 가능성과 보안을 위해 배포 전 위험 예측, 동적 실행 추적, 그리고 신뢰 보정 모델을 포함한 지속적인 연구가 필요함을 제안합니다.

결론적으로, 이 논문은 LLM 에이전트 스킬 생태계의 급속한 성장과 함께 도래한 보안 위협을 체계적으로 규명하고, 데이터 기반의 위험 감지 및 거버넌스 전략 수립을 위한 기초를 마련했다는 점에서 중요한 의의를 가집니다.