SkillClone: Multi-Modal Clone Detection and Clone Propagation Analysis in the Agent Skill Ecosystem

1. 문제 정의 (Problem Definition)

배경:
대형 언어 모델 (LLM) 에이전트 (Claude Code, Cursor 등) 는 YAML 메타데이터, 자연어 (NL) 지시문, 임베디드 코드 블록을 결합한 모듈형 지시 패키지인 **'에이전트 스킬 (Agent Skills)'**을 통해 기능을 확장합니다. 현재 공개된 스킬은 19 만 6 천 개 이상에 달하며 급격히 성장하고 있습니다.

핵심 문제:
기존의 패키지 생태계 (npm, PyPI 등) 와 달리, 에이전트 스킬 생태계는 의존성 선언, 버전 식별자, 출처 메타데이터가 부재합니다. 개발자가 기존 스킬을 복사하여 수정하거나 확장할 때, 이 관계는 생태계 내에서 완전히 보이지 않습니다.

• 보안 리스크: 널리 복사된 스킬에 취약점이 발견되면, 파생된 모든 스킬에 동일한 결함이 존재함에도 유지보수자에게 경고가 가지 않습니다.
• 기술적 한계: 기존 클론 탐지기는 단일 모달리티 (소스 코드) 에 맞춰 설계되어, YAML, 자연어, 코드가 교차하는 다중 모달 (Multi-Modal) 구조의 스킬을 분석할 수 없습니다.

2. 방법론 (Methodology: SkillClone)

저자들은 SkillClone을 제안하며, 이는 에이전트 스킬의 다중 모달 특성을 반영한 최초의 클론 탐지 접근법입니다.

2.1 다중 모달 분해 (Multi-Modal Decomposition)

각 스킬 문서를 다음 3 가지 채널과 구조적 특징으로 분해합니다:

1. YAML 메타데이터: 스킬 이름, 태그, 설정 등.
2. 자연어 (NL) 지시문: 스킬의 동작 방식과 사용 시나리오.
3. 임베디드 코드 블록: 실제 기능을 구현하는 코드 (Python, Bash 등).
4. 구조적 특징: 문서 내 코드 블록 수, 코드 - 텍스트 비율 등 문서 형태의 통계.

2.2 모달리티별 인코딩 (Modality-Specific Encoding)

각 채널을 독립적으로 처리하기 위해 **TF-IDF 와 잠재 의미 분석 (LSA/SVD)**을 활용합니다.

• YAML: 키 - 값 쌍을 직렬화하여 벡터화.
• 자연어: 표준 전처리 후 TF-IDF+LSA 로 의미적 유사성 추출.
• 코드: 언어별 토큰화 (camelCase/snake_case 분리, 연산자 추출) 후 인코딩.
• 이유: 신경망 기반 모델 (CodeBERT 등) 은 단일 언어를 가정하므로, 여러 언어가 섞인 스킬 파일에는 적합하지 않으며, TF-IDF 기반 접근이 재현성과 확장성 면에서 유리합니다.

2.3 교차 모달 융합 (Cross-Modal Similarity Fusion)

단순 가중 합이 아닌, **로지스틱 회귀 (Logistic Regression)**를 통해 채널 간 상호작용을 학습합니다.

• 특징 벡터 구성:
  • 전체 평탄 TF-IDF 점수: 문서 전체의 어휘 중첩을 포착.
  • 채널별 유사도: YAML, NL, 코드 각각의 코사인 유사도.
  • 이차 상호작용 항 (Quadratic Interaction Terms): 예를 들어, "YAML 유사도 × NL 유사도"와 같이 채널 간 결합 효과를 모델링합니다. (예: 코드는 없으나 YAML 과 NL 이 유사한 경우를 탐지)
  • 구조적 유사도: 문서 형태의 일치도.
• 결과: 이 8 차원 특징 벡터를 로지스틱 모델에 입력하여 클론 확률 (0~1) 을 산출합니다.

2.4 클론 유형 분류 (Clone Type Classification)

탐지된 클론을 기존 코드 클론 분류 체계 (Type-1 ~ Type-4) 에 맞춰 분류합니다.

• Type-1: 거의 동일한 내용 (레이아웃/주석 제외).
• Type-2: 외관상 변경 (변수명 변경, 메타데이터 수정).
• Type-3: 구조적 수정 (지시문 추가/삭제).
• Type-4: 동일한 기능이지만 다른 구현 (의미론적 클론).
• 분류 로직: 채널별 유사도 프로필 (Similarity Profile) 을 기반으로 결정 트리 (Decision Tree) 를 사용하여 유형을 판별합니다.

3. 주요 기여 (Key Contributions)

1. SkillClone-Bench 구축: 다중 모달 에이전트 스킬을 위한 최초의 벤치마크 (300 개의 정답 쌍, 150 개 양/음성, 다양한 난이도 및 유형 포함).
2. 다중 모달 클론 탐지 알고리즘: YAML, 자연어, 코드를 융합하여 단일 채널 탐지기로는 불가능했던 Type-4(의미론적) 클론을 효과적으로 탐지.
3. 생태계 규모 분석: 20,000 개의 스킬에 대한 대규모 분석을 통해 클론 전파, 저자 간 재사용, 생태계 과잉 (Inflation) 현상을 정량화.
4. 보안 전파 분석: 취약한 패턴이 어떻게 클론 관계를 통해 생태계 전체로 퍼지는지 '폭발 반경 (Blast Radius)'을 분석.

4. 실험 결과 (Results)

4.1 탐지 성능 (SkillClone-Bench)

• F1 Score: SkillClone 은 0.939를 기록하여, 평탄 TF-IDF (0.881) 와 MinHash (0.792) 를 상회했습니다.
• 정밀도/재현율: 정밀도 0.952, 재현율 0.927.
• Type-4 클론 탐지: 의미론적 클론 (Type-4) 재현율이 **81%**로, MinHash(19%) 보다 4.2 배 높고 TF-IDF(67%) 보다도 우수했습니다. 이는 채널 간 상호작용 모델링의 효과를 입증합니다.

4.2 생태계 분석 (20,000 개 스킬 기준)

• 클론 prevalence: 분석된 스킬 중 **75%**가 적어도 하나의 클론 관계에 참여했습니다.
• 크로스 오너십: 탐지된 258,000 개의 클론 쌍 중 **40%**가 서로 다른 저자 간에 발생했습니다.
• 생태계 과잉 (Inflation): 20,000 개의 스킬을 중복 제거 (Deduplication) 한 결과, 실제 고유한 스킬 개념은 5,642 개에 불과했습니다. 즉, 생태계는 3.5 배 과잉 상태입니다.
• 품질 저하: 클론 가족 내 스킬 중 **41%**는 더 나은 변형 (strictly better variant) 에 의해 대체된 것으로 확인되었습니다.

4.3 보안 전파 (Security Propagation)

• 141 개의 실제 보안 관련 스킬 (SQL 주입, XSS, 리버스 쉘 등 포함) 을 식별했습니다.
• 이 중 90% 가 클론 관계를 통해 1,100 개의 파생 스킬로 전파되었습니다.
• 특히 **777 개 (71%)**는 다른 저자에게 전파되어, 원본 작성자가 아닌 개발자들이 동일한 취약점을 가진 코드를 유지보수하고 있음을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시스템적 위험 관리: 개별 스킬의 보안 스캔만으로는 부족하며, 클론 그래프 기반의 전파 분석이 필수적임을 입증했습니다.
• 생태계 거버넌스: 레지스트리 운영자에게는 중복 제거, 출처 추적, 품질 우선 순위 지정 (최고의 변형만 노출) 등의 기능 도입 필요성을 제기합니다.
• 기술적 혁신: 단일 모달리티에 국한된 기존 클론 탐지 패러다임을 넘어, 이질적인 콘텐츠 (YAML, NL, Code) 가 혼합된 새로운 형태의 소프트웨어 아티팩트를 분석할 수 있는 프레임워크를 제시했습니다.

이 논문은 에이전트 스킬 생태계의 급성장에 따른 보안 및 품질 관리의 공백을 메우기 위해, SkillClone을 통해 다중 모달 클론 탐지 기술을 정립하고 그 실증적 중요성을 규명했다는 점에서 의의가 큽니다.