SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks

이 논문은 다양한 도메인에서 에이전트 기술 (Skills) 의 효과를 체계적으로 평가하기 위해 'SkillsBench'를 제안하고, 선별된 기술이 에이전트 성능을 평균 16.2%p 향상시키지만 도메인에 따라 편차가 크며 모델이 스스로 생성한 기술은 효과가 없음을 입증했습니다.

핵심

🧠 "스킬스벤치 (SkillsBench)": AI 비서가 실제로 일을 잘하게 만드는 비결

이 논문은 최근 뜨겁게 주목받고 있는 **'AI 에이전트 (자율적으로 일을 하는 AI)'**에 대해 이야기합니다. 특히, "AI 가 일을 잘하려면 어떻게 해야 할까?"라는 질문에 답하기 위해 86 가지 다양한 업무를 테스트한 대규모 실험 결과를 보여줍니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 배경: AI 는 '천재'지만 '실무'는 모릅니다 🤖📚

지금의 거대 언어 모델 (LLM) 은 방대한 지식을 가진 천재 학생과 같습니다. 수학, 역사, 코딩 등 모든 것을 다 아는 척하지만, 실제 회사나 현장에서 "어떻게" 일을 처리해야 하는지 (프로세스) 에 대해서는 막막해합니다.

• 문제: 이 천재 학생을 고용했는데, "이 복잡한 세금 신고서 만들어줘"라고 하면, 지식을 가지고는 있지만 실제 절차를 몰라 엉뚱한 답을 내놓거나 시간을 다 써버립니다.
• 해결책 (Skills): 그래서 우리는 그 학생에게 **'매뉴얼 (Skills)'**을 줍니다. "세금 신고는 A 단계, B 단계, C 단계 순서로 하세요"라고 적힌 구체적인 지침서죠.

2. 실험: 매뉴얼이 정말 효과가 있을까? 🧪

연구팀은 86 개의 다양한 업무 (의료, 제조, 금융, 소프트웨어 등) 를 준비하고, AI 에게 세 가지 상황을 시켜봤습니다.

1. 매뉴얼 없음: AI 가 오직 자신의 지식만으로 해결.
2. 전문가 매뉴얼 (Curated Skills): 인간 전문가가 직접 작성한 완벽한 매뉴얼을 줌.
3. AI 가 직접 만든 매뉴얼 (Self-Generated): AI 가 "일하기 전에 매뉴얼을 먼저 써봐"라고 시켜서 스스로 만든 뒤 해결.

3. 주요 발견: 놀라운 결과들 📊

✅ 발견 1: 전문가가 쓴 매뉴얼은 '마법' 같습니다 🪄

• 결과: 전문가가 쓴 매뉴얼을 주니 AI 의 성공률이 평균 16.2% 포인트나 뛴졌습니다!
• 비유: 마치 요리 초보에게 "불을 켜고, 기름을 두르고, 3 분 뒤엔 소금"이라고 적힌 정확한 레시피를 준 것과 같습니다.
• 가장 큰 변화:
  • 의료 분야: 성공률이 34% 에서 **86%**로 폭등 (+51.9%). (의사처럼 복잡한 절차를 따라야 해서 효과가 큼)
  • 제조/에너지: 역시 큰 폭으로 향상.
  • 소프트웨어/수학: 이미 AI 가 잘하는 분야라 매뉴얼의 도움은 상대적으로 적었습니다.

❌ 발견 2: AI 가 스스로 만든 매뉴얼은 '쓸모없다' 🤷‍♂️

• 결과: AI 가 스스로 "일하는 법"을 적게 했더니, 오히려 성공률이 떨어지거나 전혀 도움이 안 됐습니다.
• 비유: 요리 초보 학생에게 "너가 먼저 레시피를 써봐"라고 시켰더니, "고기를 구워야지"라고만 적어놓고 "불은 얼마나 켜야 하지? 소금은 몇 그램?" 같은 중요한 세부 사항을 빼먹은 것입니다.
• 교훈: AI 는 지식을 가지고 있지만, **어떻게 일을 체계적으로 처리할지 (프로세스)**를 스스로 설계하는 능력은 아직 부족합니다. 인간이 직접 정리해줘야 합니다.

💡 발견 3: 두꺼운 백과사전보다 '요약된 팁'이 낫다 📝

• 결과: 매뉴얼이 너무 길고 방대하면 (4 개 이상 모듈) 오히려 AI 가 혼란을 겪었습니다.
• 비유: 1,000 페이지짜리 두꺼운 요리책을 주는 것보다, **핵심 2~3 가지만 적힌 '요리 카드'**를 주는 것이 훨씬 효과적이었습니다.
• 핵심: "무엇을 해야 하는지"를 명확하고 간결하게 알려주는 것이 중요합니다.

🚀 발견 4: 작은 AI + 좋은 매뉴얼 = 큰 AI 🐜🐘

• 결과: 매뉴얼을 잘 활용하면, 작은 AI 모델이 매뉴얼 없는 거대 AI 모델보다 더 좋은 결과를 냅니다.
• 비유: 지식이 적은 '견습생'에게 최고의 '현직 선배의 매뉴얼'을 주면, 지식이 많지만 매뉴얼 없는 '고참'보다 일을 더 잘해냅니다.

4. 결론: AI 를 잘 쓰려면? 🎯

이 연구는 우리에게 중요한 메시지를 줍니다.

1. AI 는 만능이 아니다: AI 가 모든 일을 잘하려면, 인간이 직접 '업무 매뉴얼 (Skills)'을 만들어줘야 합니다.
2. 직접 작성하세요: AI 가 스스로 만든 매뉴얼은 믿지 마세요. 인간 전문가의 손길이 필요합니다.
3. 간결하게: 너무 길게 쓰지 말고, 핵심 단계 2~3 가지만 명확하게 적으세요.
4. 분야별 차이: 의료나 제조처럼 절차가 복잡한 분야일수록 매뉴얼의 효과가 큽니다.

한 줄 요약:

"AI 를 훌륭한 직원으로 만들려면, 인간이 직접 작성한 짧고 명확한 업무 매뉴얼을 챙겨주는 것이 가장 빠르고 확실한 방법입니다!"

이 연구는 앞으로 AI 를 개발하거나 도입하려는 기업과 연구자들에게 **"어떻게 AI 를 훈련시켜야 실제 업무에 쓸모 있게 만들지"**에 대한 구체적인 길잡이가 되어줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 기반 에이전트 (Agent) 가 실제 환경에서 복잡한 작업을 수행하기 위해 Agent Skills(에이전트 기술) 이라는 구조화된 절차적 지식 패키지를 활용하는 추세가 급격히 증가하고 있습니다. (예: Claude Code, Gemini CLI, Codex CLI 등).
그러나 다음과 같은 근본적인 문제가 존재합니다:

• 평가 기준 부재: Skills 가 실제로 에이전트 성능을 향상시키는지, 어떤 조건에서 작동하는지에 대한 표준적인 평가 방법이 없습니다.
• 현실적 격차: 기존 벤치마크는 모델의 원시적 능력 (Raw Capability) 만을 평가할 뿐, "Skills Y 가 작업 X 의 성능을 얼마나 개선하는가?"를 측정하지 못합니다.
• 설계 원칙 부재: 어떤 Skills 구성 요소 (지시문, 코드, 예시 등) 가 효과적인지, 혹은 Skills 가 오히려 방해가 되는 경우는 언제인지에 대한 실증적 근거가 부족합니다.

2. 방법론 (Methodology)

이 논문은 SKILLSBENCH라는 새로운 벤치마크를 제안하며, 다음과 같은 체계적인 방법론을 사용합니다.

가. 벤치마크 구성 (Dataset Construction)

• 규모: 11 개 도메인 (의료, 제조, 사이버보안, 소프트웨어 공학 등) 에 걸친 84 개의 작업 (Tasks) 으로 구성됨.
• 작업 구조: 각 작업은 Docker 컨테이너 환경, 인간이 작성한 지시문 (Instruction), 참조 솔루션 (Oracle), 그리고 결정론적 검증기 (Deterministic Verifier) 를 포함합니다.
• Skills 정의: 단순한 사실 정보 (RAG) 가 아닌, 절차적 지식 (Procedural Knowledge) 을 담고 있으며, 재사용 가능한 모듈화된 패키지 (SKILL.md + 스크립트/템플릿 등) 로 정의됨.
• 품질 관리: 105 명의 기여자가 제출한 322 개의 후보 작업 중, 자동화 검증 (구조, 오라클 실행, AI 생성 여부 감지) 과 인간 검토 (데이터 유효성, 작업 현실성, Skills 품질, 반부정적 조치) 를 거쳐 최종 84 개를 선정.

나. 실험 설정 (Experimental Setup)

• 모델 및 허브: 7 가지 에이전트 - 모델 구성 (Claude Code 4 종, Gemini CLI 2 종, Codex CLI 1 종) 을 평가. 총 7,308 개의 트래젝토리 (Trajectory) 를 생성.
• 3 가지 평가 조건:
  1. No Skills: Skills 없이 기본 지시문만 제공.
  2. Curated Skills: 인간이 선별하고 작성한 고품질 Skills 제공.
  3. Self-Generated Skills: 에이전트가 작업 수행 전 스스로 절차적 지식을 생성하도록 유도 (모델의 잠재적 도메인 지식 평가).

다. 평가 지표

• 통과율 (Pass Rate): 결정론적 검증기를 통해 이진 (Pass/Fail) 결과 산출.
• 정규화된 이득 (Normalized Gain): Hake 의 공식을 사용하여 베이스라인 대비 상대적 개선 정도 측정.

3. 주요 기여 (Key Contributions)

1. Skills 중심 평가 프레임워크: Skills 를 1 순위 평가 대상으로 삼는 최초의 벤치마크를 구축하여, 다양한 조건 (Skills 유무, 생성 방식) 하에서의 에이전트 성능을 체계적으로 비교.
2. 대규모 실증적 평가: 7,308 개의 실행 데이터를 통해 Skills 의 효과성, 변동성, 실패 모드를 최초로 체계적으로 분석.
3. 오픈 인프라: 데이터셋, 평가 도구, 그리고 향후 연구를 위한 플랫폼을 skillsbench.ai 를 통해 공개.

4. 주요 결과 (Key Results)

가. Curated Skills 의 효과

• 평균적 성능 향상: Curated Skills 는 평균 16.2%p(percentage points) 의 통과율 향상을 가져옴.
• 도메인별 편차: 효과가 도메인에 따라 크게 다름.
  • 높은 효과: Healthcare(+51.9%p), Manufacturing(+41.9%p) 등 전문 절차적 지식이 필요한 분야.
  • 낮은 효과: Software Engineering(+4.5%p), Mathematics(+6.0%p) 등 모델의 사전 학습 데이터에 이미 잘 포함된 분야.
• 역효과: 84 개 작업 중 16 개는 Skills 사용 시 오히려 성능이 저하됨 (Skills 가 불필요한 복잡성을 추가하거나 기존 지식과 충돌할 때).

나. Self-Generated Skills 의 한계

• 부정적/무의미한 효과: 모델이 스스로 생성한 Skills 는 평균 -1.3%p 의 성능 저하를 보임.
• 원인: 모델은 자신이 필요로 하는 절차적 지식을 정확하게 생성하거나, 도메인 특화 지식이 필요한 작업을 인지하지 못하는 경우가 많음. 이는 효과적인 Skills 에는 인간이 선별한 도메인 전문성이 필수적임을 시사.

다. Skills 설계 인자 (Design Factors)

• 양 (Quantity): 2~3 개의 모듈을 가진 Skills 가 가장 효과적 (최대 +18.6%p). 4 개 이상일 경우 인지 부하로 인해 효과가 감소 (감소 수익).
• 복잡성 (Complexity): 간결하고 구체적인 (Detailed/Compact) 가이드가 포괄적인 문서 (Comprehensive) 보다 성능이 더 좋음. 긴 문서는 컨텍스트 예산을 소모할 뿐 행동 지침을 제공하지 못함.
• 모델 규모 대체: 작은 모델 (Claude Haiku 4.5) 이 Skills 를 사용하면, Skills 없는 더 큰 모델 (Claude Opus 4.5) 의 성능을 능가하거나 비슷하게 맞출 수 있음.

라. 실패 모드 분석

• Skills 는 주로 검증 단계 (Verification) 에서의 오류 (Quality Below Threshold) 를 크게 줄여줌.
• 반면, Skills 를 사용하면 에이전트가 더 정교한 해결책을 시도하려다 타임아웃 (Timeout) 비율이 상대적으로 증가하는 경향이 있음.

5. 의의 및 결론 (Significance & Conclusion)

• Skills 의 본질 규명: Skills 는 만능 해결사가 아니며, 도메인 특화 절차적 지식이 부족할 때 가장 큰 효과를 발휘함.
• 설계 가이드라인: "적은 것이 더 많다 (Less is more)"는 원칙이 적용됨. 포괄적인 문서보다는 2~3 개의 모듈로 구성된 구체적이고 실행 가능한 가이드가 가장 효과적.
• 연구 및 개발 방향:
  • 에이전트 개발자는 모델 자체의 크기 확장보다는 고품질 인간 선별 Skills 에 투자해야 함.
  • 향후 연구에서는 자동화된 Skills 생성, 멀티모달 Skills, 그리고 다양한 허브 (Harness) 간의 호환성 평가가 필요함.
• 실용적 가치: 개발자와 연구자가 Skills 의 도입 여부를 결정하고, 효과적인 Skills 를 설계하기 위한 실증적 근거를 제공함.

이 논문은 에이전트 기술 (Agent Skills) 이 단순히 "컨텍스트를 늘리는 것"이 아니라, 구조화된 절차적 지식을 통해 에이전트의 한계를 어떻게 극복할 수 있는지에 대한 중요한 통찰을 제공합니다.