Malicious Or Not: Adding Repository Context to Agent Skill Classification

이 논문은 23 만 개 이상의 에이전트 스킬을 분석하여 기존 스캐너의 높은 악성 비율 (46.8%) 이 오히려 허위 양성 (False Positive) 이었음을 밝히고, 리포지토리 컨텍스트를 고려한 분석을 통해 악성 스킬 비율을 0.52% 로 재평가함과 동시에 버려진 GitHub 리포지토리를 통한 새로운 공격 벡터를 발견했습니다.

핵심

이 논문은 인공지능 (AI) 이 스스로 작업을 수행할 때 사용하는 '도구 상자' (스킬) 들의 안전성을 조사한 흥미로운 연구입니다. 마치 스마트폰에 앱을 설치하듯, AI 에이전트도 다양한 '스킬'을 설치해서 더 똑똑하게 만들 수 있는데, 이 과정에서 어떤 위험이 있는지, 그리고 우리가 얼마나 잘못 걱정하고 있는지 밝혀냈습니다.

이 연구의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

1. 상황: 거대한 '앱 스토어'와 공포심

마치 스마트폰에 앱을 설치할 때처럼, AI 에이전트 (클로드 코드, 오픈클로 등) 도 '스킬'이라는 부가 기능을 설치합니다. 이 스킬들은 외부 API 를 연결하거나 코드를 실행하는 등 AI 의 능력을 확장해 줍니다.

하지만 문제는 이 스킬들이 해커에게 악용될 수 있다는 점입니다. 그래서 각 스킬 마켓플레이스 (앱 스토어) 는 스킬을 검사합니다.

• 기존의 결론: 검사 결과, 어떤 마켓플레이스에서는 스킬의 46.8% 나가 "악성 코드일 가능성이 높다"라고 경고했습니다. 마치 "이 앱 스토어의 앱 절반 이상이 바이러스일지도 모른다"는 공포를 느낀 것과 같습니다.

2. 연구의 발견: "너무 많이 의심하고 있었어요!"

연구진 (플로리안 홀츠바우어 교수 등) 은 "정말 절반이나 악성일까?"라는 의심을 품고, 전 세계의 스킬 23 만 8 천 개를 모두 모아서 다시 분석했습니다.

그들은 단순히 스킬 파일 하나만 보는 것이 아니라, 그 스킬이 있는 '저장소 (레포지토리)' 전체의 맥락을 보았습니다.

• 비유: 어떤 사람이 "나는 요리사야"라고 말하며 요리 도구를 들고 왔다고 해서, 그가 바로 도둑이라고 단정 짓는 것이 아니라, 그가 사는 동네, 이웃들의 평판, 집 안의 분위기까지 모두 살펴보는 것입니다.
• 결과: 맥락을 고려해서 다시 보니, 악성으로 의심되던 스킬은 전체의 0.52% 로 줄어듭니다. 즉, 기존 검사기들은 **너무 많은 '가짜 경보 (False Positive)'**를 울리고 있었던 것입니다.

3. 새로운 위협: "유령 집"을 사기 당하다

연구진은 새로운 위험도 발견했습니다. 바로 **'버려진 저장소 (Abandoned Repository) 해킹'**입니다.

• 비유: 어떤 사람이 예전에 만든 '유령 집' (더 이상 관리되지 않는 GitHub 저장소) 이 있습니다. 그런데 그 집 주소에 '스킬'이 연결되어 있습니다. 만약 집주인이 집을 비우고 나가버리면, 해커가 그 빈집을 차지해서 '유령 집'을 '악의적인 아지트'로 바꿀 수 있습니다.
• 실제 사례: 연구진은 121 개의 스킬이 이런 '유령 집'을 가리키고 있음을 발견했습니다. 해커가 그 집을 다시 장악하면, 사용자는 모르고 해커가 만든 악성 코드를 실행하게 됩니다.

4. 결론: 더 똑똑한 보안이 필요하다

이 논문은 우리에게 두 가지 중요한 교훈을 줍니다.

1. 과도한 경계는 독이 됩니다: 단순히 파일 하나만 보고 "위험하다"고 막으면, 진짜 유용한 도구들을 쓸 수 없게 됩니다. **맥락 (Context)**을 봐야 합니다. 그 스킬이 어떤 프로젝트의 일부인지, 개발자는 누구인지, 주변 환경은 안전한지 확인해야 진짜 위험을 알 수 있습니다.
2. 새로운 함정이 있습니다: AI 스킬 시장이 아직 어리기 때문에, '버려진 주소'를 노리는 해킹 수법이 생겼습니다. 마켓플레이스 운영자들은 이 점을 주의해야 합니다.

한 줄 요약:

"AI 의 도구 (스킬) 가 위험하다고 해서 모두 의심하기보다, 그 도구가 어디에서 왔는지, 어떤 맥락에서 쓰이는지 살펴보면 실제 위험은 생각보다 훨씬 적지만, '버려진 집'을 노리는 새로운 사기 수법이 있다는 것을 알아냈습니다."

이 연구는 AI 생태계가 성장하는 과정에서 불필요한 공포를 줄이고, 진짜 위험에 집중할 수 있는 더 현명한 보안 방식을 제안합니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: Claude Code, OpenClaw 와 같은 자율형 AI 에이전트는 '스킬 (Skills)'을 통해 외부 API, 코드 실행, 데이터 검색 등의 기능을 확장합니다. 이러한 스킬들은 ClawHub, Skills.sh, SkillsDirectory 와 같은 전용 마켓플레이스나 GitHub 저장소에 배포됩니다.
• 현황: 현재 마켓플레이스들은 보안 스캐너를 통해 스킬을 자동으로 분석하고 '악성 (Malicious)'으로 분류하고 있습니다. 그러나 기존 연구와 마켓플레이스 보고서에 따르면, 스킬의 최대 46.8% 까지 악성으로 분류되는 등 매우 높은 비율이 의심스러운 것으로 나타났습니다.
• 핵심 문제: 이러한 높은 악성 분류율은 **위양성 (False Positives)**이 과도하게 발생하고 있음을 시사합니다. 기존 스캐너들은 스킬의 설명 파일 (SKILL.md) 만을 독립적으로 분석하여, 실제 맥락 (Context) 을 고려하지 않기 때문에 정상적인 기능이 악성으로 오인되는 경우가 많습니다. 또한, 이러한 오분류는 생태계에 대한 불신을 초래하고 실제 위협을 가릴 수 있습니다.

2. 연구 방법론 (Methodology)

저자들은 3 단계의 측정 파이프라인을 통해 AI 에이전트 스킬 생태계를 분석했습니다.

1. 크로스 플랫폼 스킬 수집 (Cross-Platform Skill Collection):
   • ClawHub, Skills.sh, SkillsDirectory 세 가지 주요 마켓플레이스와 GitHub 아카이브에서 총 238,180 개의 고유 스킬을 수집했습니다.
   • GitHub 의 SKILL.md 파일을 검색하여 마켓플레이스 외부의 스킬도 포괄적으로 수집했습니다.
2. 악성 분류 및 비교 (Malicious Classification):
   • 기존 마켓플레이스 스캐너 (VirusTotal, Snyk, Socket 등) 와 오픈소스 스캐너 (Cisco Skill Scanner), 그리고 LLM 기반 (GPT-5.3) 행동 분석기를 사용하여 스킬을 분류했습니다.
   • 다양한 스캐너 간의 일관성과 분류율 차이를 비교 분석했습니다.
3. 저장소 인식 분석 (Repository-Aware Analysis):
   • 기존 스캐너가 '악성'으로 flagged 된 스킬들을 대상으로, 해당 스킬이 포함된 GitHub 저장소 전체의 맥락을 분석했습니다.
   • 코드베이스 점수 (Codebase Score): 스킬의 기능 설명이 저장소의 도메인, 소스 코드, 문서 (README) 와 얼마나 일치하는지 LLM 을 통해 평가.
   • 메타데이터 점수 (Metadata Score): 저장소의 나이, 활동도 (Stars, Forks, Issues), 크기 등을 기반으로 신뢰도와 성숙도를 평가.
   • 이 두 점수를 가중치 (코드베이스 70%, 메타데이터 30%) 를 두어 결합하여 최종 '저장소 컨텍스트 점수'를 산출했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 생태계 측정: 238,180 개의 스킬을 포함한 현재까지 가장 큰 규모의 크로스 플랫폼 AI 에이전트 스킬 데이터셋을 구축했습니다.
2. 저장소 인식 보안 분석 프레임워크: 단순 스킬 설명이 아닌, 저장소 전체의 맥락을 고려하여 위양성을 줄이는 새로운 분석 방법론을 제시했습니다.
3. 새로운 공격 벡터 발견:
   • 저장소 하이재킹 (Repository Hijacking): 마켓플레이스가 가리키는 GitHub 저장소 중, 소유자가 계정을 삭제하거나 이름을 변경한 '방치된 저장소'를 공격자가 재구축하여 스킬을 장악할 수 있는 취약점을 발견했습니다.
   • 개인정보 유출: ClawHub API 가 GitHub 계정과 연결된 이메일 주소를 노출하고 있음을 발견했습니다.

4. 주요 결과 (Key Results)

• 스캐너 간 불일치:
  • 마켓플레이스별 악성 분류율은 3.8% (Skills.sh 의 Socket) 에서 41.9% (ClawHub 의 OpenClaw Scanner) 까지 극단적으로 달랐습니다.
  • 5 개의 스캐너가 모두 '악성'으로 분류한 스킬은 전체의 **0.12% (27,111 개 중 33 개)**에 불과하여, 스캐너 간 합의가 거의 없음을 확인했습니다.
• 위양성 감소 (Repository Context 의 효과):
  • 기존 스캐너가 악성으로 flagged 한 2,887 개의 스킬을 저장소 컨텍스트 분석으로 재평가한 결과, 악성으로 남는 스킬은 0.52% 로 대폭 감소했습니다.
  • 나머지 96% 의 스킬은 저장소의 문서와 코드베이스가 스킬의 기능과 일치하는 정상적인 것으로 판명되었습니다.
  • 저장소 컨텍스트 점수가 낮은 (40 미만) 스킬은 전체 flagged 스킬의 4.2% 에 불과했습니다.
• 공격 벡터 및 취약점:
  • 하이재킹: Skills.sh 와 SkillsDirectory 에서 121 개의 스킬이 7 개의 방치된 저장소를 참조하고 있음을 발견했습니다. 이 중 121 개 스킬 중 하나는 1,000 회 이상의 설치가 기록된 상태였습니다.
  • 정보 유출: ClawHub API 를 통해 스킬 소유자의 이메일 주소가 노출되는 것을 확인했습니다.
• 스킬 내용 분석:
  • ClawHub 는 44.1% 의 스킬이 스크립트를 포함하는 반면, 다른 플랫폼은 11.8~15.7% 로 낮았습니다.
  • 발견된 유효한 자격증명 (Secrets) 은 12 개로, 대부분 GitHub 에 공개된 코드가 많아 개발자가 민감한 정보를 공개하지 않도록 주의하고 있음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 위험 평가의 재정의: AI 에이전트 스킬 생태계의 위험이 기존 스캐너가 주장하는 것보다 훨씬 낮으며, 저장소 컨텍스트를 고려하지 않은 분석은 위험을 과대평가한다는 것을 입증했습니다.
• 실용적 가이드: 사용자와 마켓플레이스 운영자는 단순한 스캐너 결과보다는 저장소의 맥락 (코드 일치성, 성숙도) 을 함께 평가해야 위양성을 줄이고 신뢰할 수 있는 스킬을 선별할 수 있습니다.
• 보안 개선 제안: 마켓플레이스 운영자에게는 외부 저장소 의존성 (GitHub) 으로 인한 하이재킹 리스크를 줄이기 위해 직접 배포 모델을 채택하거나, 방치된 저장소를 모니터링할 것을 권장합니다. 또한 API 를 통한 개인정보 유출을 수정해야 합니다.

이 논문은 AI 에이전트 생태계의 보안 분석이 단순한 정적 분석을 넘어, 배포 맥락 (Context) 을 종합적으로 고려해야 함을 강조하며, 향후 더 정교한 보안 메커니즘의 필요성을 제기합니다.