SoK: Agentic Skills — Beyond Tool Use in LLM Agents (기술 요약)

이 논문은 대형 언어 모델 (LLM) 에이전트의 성능과 신뢰성을 높이기 위한 핵심 개념인 **'에이전트 스킬 (Agentic Skills)'**에 대한 체계적인 지식 정립 (Systematization of Knowledge, SoK) 연구입니다. 기존 에이전트 연구가 단일 도구 호출 (Tool Use) 에 집중했던 반면, 본 논문은 재사용 가능한 절차적 능력인 '스킬'을 에이전트의 핵심 구성 요소로 정의하고, 그 수명 주기, 설계 패턴, 보안 위험, 평가 방법론을 포괄적으로 분석합니다.

---

1. 문제 정의 (Problem)

현재 LLM 에이전트 시스템은 다음과 같은 근본적인 비효율성과 한계에 직면해 있습니다:

• 지식의 소실: 에이전트가 경험을 통해 얻은 절차적 지식 (procedural knowledge) 이 컨텍스트 윈도우가 종료되면 사라집니다. 매번 새로운 작업에 대해 전략을 처음부터 다시 수립해야 하므로, 동일한 실수를 반복하거나 비효율적인 추론을 수행합니다.
• 도구 (Tool) 의 한계: 기존 '도구'는 원자적 (atomic) 인 기능 호출에 그치며, 복잡한 다단계 작업 흐름이나 적용 조건, 종료 기준을 내장하지 못합니다.
• 계획 (Plan) 의 일시성: 에이전트가 생성하는 '계획'은 세션 내에서만 유효한 일회성 추론 구조일 뿐, 영구적으로 재사용되거나 검증 가능한 모듈이 아닙니다.

이러한 문제를 해결하기 위해 **재사용 가능, 호출 가능, 통제가 가능한 절차적 모듈인 '에이전트 스킬'**의 필요성이 대두되었습니다.

---

2. 방법론 (Methodology)

저자들은 LLM 에이전트 스킬에 관한 기존 문헌을 체계적으로 분석하기 위해 다음과 같은 방법을 사용했습니다:

• 문헌 검색 및 선별: Google Scholar, arXiv 등 6 개 데이터베이스에서 2020 년 1 월부터 2025 년 2 월까지 (평가 벤치마크인 SkillsBench 포함 2026 년 2 월까지) 출판된 약 180 편의 논문을 검색했습니다.
• 포함/배제 기준: LLM 기반 에이전트의 재사용 가능한 절차적 능력을 도입, 구현, 평가한 논문; 에이전트 절차적 지식의 수명 주기 (발견, 정제, 저장 등) 를 다룬 논문; 스킬 측정을 위한 벤치마크 환경을 제공한 논문을 포함했습니다.
• 분석 대상: 최종적으로 65 편의 논문을 선정하여 심층 분석했으며, 이 중 24 개의 대표 시스템을 표를 통해 매핑했습니다.
• 분류 체계 개발: 하향식 (bottom-up) 접근법을 통해 7 가지 설계 패턴과 직교하는 2 축 (표현 방식 × 적용 범위) 의 분류 체계를 도출했습니다.

---

3. 주요 기여 (Key Contributions)

3.1. 에이전트 스킬의 형식적 정의

에이전트 스킬을 4 튜플 $S = (C, \pi, T, R)$로 정의하여 도구, 계획, 메모리와의 명확한 경계를 설정했습니다.

• $C$ (Applicability Condition): 현재 관찰과 목표에 따라 스킬이 적합한지 판단하는 조건.
• $\pi$ (Executable Policy): 관찰과 상호작용 이력을 기반으로 행동이나 하위 스킬 호출을 수행하는 실행 정책 (자연어, 코드, 학습된 제어기 등).
• $T$ (Termination Condition): 스킬이 성공/실패로 종료되었는지를 판단하는 조건.
• $R$ (Reusable Interface): 이름, 파라미터, 반환값을 명시한 재사용 가능한 호출 인터페이스.

3.2. 스킬 수명 주기 모델 (Skill Lifecycle Model)

스킬이 발견 (Discovery) 에서 폐기 (Retirement) 에 이르기까지의 7 단계 수명 주기를 제시했습니다:

1. 발견: 반복되는 작업 패턴 식별.
2. 연습/정제 (Practice/Refinement): 시행착오와 피드백을 통한 정책 안정화.
3. 증류 (Distillation): 안정적인 절차를 추출하여 튜플로 패키징.
4. 저장: 인덱싱, 버전 관리와 함께 라이브러리에 보관.
5. 검색/조립: 런타임에 관련 스킬을 선택하고 상위 워크플로우로 구성.
6. 실행: 샌드박스 및 권한 제어 하에 정책 실행.
7. 평가/업데이트: 성능 모니터링 및 드리프트 감지 후 수정 또는 폐기.

3.3. 7 가지 설계 패턴 (Design Patterns)

시스템 수준에서 스킬이 패키징되고 실행되는 7 가지 패턴을 분류했습니다:

1. 메타데이터 기반 점진적 공개 (Metadata-driven progressive disclosure): 메타데이터로만 스킬을 검색하고 실행 시에만 전체 내용을 로드 (예: Claude Code).
2. 코드 기반 스킬 (Code-as-skill): 실행 가능한 스크립트 (Python 등) 로 스킬 구현 (예: Voyager, CodeAct).
3. 워크플로우 강제 (Workflow enforcement): 에이전트가 특정 방법론 (예: TDD) 을 따르도록 강제하는 규칙 기반 제어.
4. 자가 진화 스킬 라이브러리: 에이전트가 스스로 성공한 경험을 스킬로 증류하여 라이브러리를 확장 (예: Voyager).
5. 하이브리드 NL+코드 매크로: 자연어 설명과 실행 가능한 코드를 결합.
6. 메타 스킬 (Meta-skills): 다른 스킬을 생성하거나 수정하는 스킬.
7. 플러그인/마켓플레이스 배포: 커뮤니티 기반의 스킬 패키지 배포 (예: OpenClaw, GPT Store).

3.4. 직교 분류 체계 (Representation × Scope Taxonomy)

• 표현 방식 (Representation): 자연어, 코드, 도구 매크로, 정책 기반 (학습된 모델), 하이브리드.
• 적용 범위 (Scope): 단일 도구, 다중 도구 오케스트레이션, 웹 상호작용, OS/데스크톱, 소프트웨어 공학, 로봇공학.

3.5. 보안 및 거버넌스 분석

스킬 기반 에이전트의 새로운 공격 표면과 위험을 분석했습니다.

• ClawHavoc 사례 연구: OpenClaw 의 스킬 레지스트리 (ClawHub) 에서 1,200 개 이상의 악성 스킬이 유포되어 API 키, 암호화폐 지갑, 브라우저 자격 증명을 대량으로 탈취한 실제 공격 사례를 분석했습니다.
• 위협 모델: 메타데이터 중독, 악성 페이로드, 크로스-테넌트 유출, 스킬 드리프트 악용, 환경 주입에 의한 혼란된 부하 (Confused Deputy) 공격 등을 식별했습니다.
• 신뢰 계층 (Trust Tiers): 메타데이터만 보는 Tier-1 에서부터 자율 실행 Tier-4 까지 4 단계의 신뢰 모델을 제안했습니다.

3.6. 평가 프레임워크 및 결과

• SkillsBench 벤치마크 분석: 86 개 작업, 7,308 개의 트레이젝토리를 분석한 결과, **큐레이션된 스킬 (Curated Skills)**은 에이전트 성공률을 평균 16.2%p 향상시켰으나, **자가 생성 스킬 (Self-generated Skills)**은 -1.3%p만큼 성능을 저하시켰습니다.
• 결론: 인간이 큐레이션한 스킬은 신뢰성이 높지만 확장성이 낮고, 자가 생성 스킬은 확장성은 높으나 품질 관리가 어렵습니다.

---

4. 주요 결과 및 통찰 (Results & Insights)

1. 큐레이션의 중요성: 자동 생성된 스킬은 오히려 에이전트 성능을 저하시킬 수 있으며, 검증된 큐레이션된 스킬이 실제 성능 향상에 결정적입니다.
2. 도메인별 편차: 스킬의 효과는 도메인에 따라 다릅니다. 의료 (+51.9%p) 및 제조 (+41.9%p) 분야에서는 큰 향상을 보였으나, 소프트웨어 공학 (+4.5%p) 과 수학 (+6.0%p) 에서는 상대적으로 미미했습니다. 이는 사전 학습 데이터가 풍부한 도메인에서는 외부 절차적 지식의 상대적 가치가 낮음을 시사합니다.
3. 보안 취약성: 스킬 마켓플레이스 (Pattern-7) 는 공급망 공격에 매우 취약합니다. ClawHavoc 사례는 스킬의 메타데이터, 코드, 자연어 설명 등 모든 구성 요소가 공격 벡터가 될 수 있음을 보여주었습니다.
4. 모델 크기 대체: 큐레이션된 스킬을 갖춘 작은 모델은 스킬이 없는 큰 모델보다 더 나은 성능을 낼 수 있어, 스킬 라이브러리가 모델 확장의 대안이 될 수 있음을 시사합니다.

---

5. 의의 및 향후 과제 (Significance & Future Work)

의의

• 개념적 정립: '도구'와 '계획'을 넘어선 '스킬'을 에이전트 아키텍처의 핵심 구성 요소로 격상시키고, 이를 형식화하여 연구의 표준을 제시했습니다.
• 보안 프레임워크: 에이전트 스킬의 고유한 보안 위협 (공급망 공격, 메타데이터 중독 등) 을 체계화하고, 실제 대규모 공격 사례를 통해 그 심각성을 경고했습니다.
• 실용적 가이드: 설계 패턴과 수명 주기 모델을 통해 실제 에이전트 시스템을 구축하는 엔지니어와 연구자에게 구체적인 아키텍처 가이드를 제공합니다.

향후 과제 (Open Challenges)

1. 검증된 자율 스킬 생성: 확장성과 신뢰성 간의 균형을 맞추기 위해, 생성된 스킬을 자동으로 검증 (Verification-gated) 하는 파이프라인 개발이 필요합니다.
2. 비지도 스킬 발견: 인간의 개입 없이 에이전트 스스로 경험에서 스킬의 경계를 발견하는 unsupervised discovery 기술이 필요합니다.
3. 표현 방식별 형식 검증: 자연어 기반 스킬에 대한 정적 분석 및 형식적 검증 방법론의 부재를 해결해야 합니다.
4. 환경 드리프트 대응: API 변경 등 환경 변화에 따라 스킬이 무효화되는 문제를 감지하고 적응하는 메커니즘이 필요합니다.
5. 거버넌스 및 책임 소재: 스킬 마켓플레이스에서의 책임 소재 (라이선스, 법적 책임) 와 인센티브 구조에 대한 경제적/법적 프레임워크 정립이 필요합니다.

이 논문은 LLM 에이전트가 단순한 대화 상자를 넘어, 신뢰할 수 있고 검증 가능한 자율 시스템으로 발전하기 위해서는 '스킬'의 체계적인 관리와 거버넌스가 필수적임을 강력하게 주장합니다.