SkillNet: Create, Evaluate, and Connect AI Skills

이 논문은 에이전트의 장기적 발전과 기술 전수를 위해 20 만 개 이상의 기술을 체계적으로 생성, 평가 및 연결하는 오픈 인프라 'SkillNet'을 제안하며, 이를 통해 에이전트의 성능을 크게 향상시키고 실행 단계를 줄인다는 것을 보여줍니다.

핵심

스킬넷 (SkillNet): AI 의 '지식 도서관'과 '레시피 책'을 만든 이야기

이 논문은 인공지능 (AI) 이 더 똑똑해지기 위해 필요한 새로운 시스템을 소개합니다. 바로 **'스킬넷 (SkillNet)'**입니다.

기존의 AI 는 매번 새로운 문제를 만나면 처음부터 다시 고민하거나, 아주 짧은 기억만 가지고 있어 같은 실수를 반복하곤 했습니다. 마치 매번 요리를 할 때마다 레시피를 다시 찾아보거나, 심지어는 "계란을 어떻게 깨지?"부터 다시 배우는 것과 비슷하죠.

스킬넷은 이 문제를 해결하기 위해 AI 가 경험을 쌓아 '기술 (Skill)'로 만들고, 이를 체계적으로 정리하여 서로 공유할 수 있게 해주는 거대한 인프라입니다.

---

🏗️ 1. 스킬넷은 무엇인가요? (비유: 거대한 레시피 도서관)

생각해 보세요. 우리가 요리할 때 매번 인터넷에서 레시피를 검색하는 대신, 자신만의 정제된 레시피 책을 가지고 있다면 어떨까요?

• 기존 AI: "오늘 뭐 먹지?"라고 하면, 매번 검색해서 "계란 후라이는 이렇게 하는 거야..."라고 검색 결과를 읽으며 하나씩 따라 합니다.
• 스킬넷을 가진 AI: "계란 후라이 레시피"라는 **완성된 기술 (Skill)**을 도서관에서 꺼내어, "이제 이 레시피대로 하면 돼!"라고 바로 실행합니다.

스킬넷은 바로 이 수십만 개의 '레시피 (기술)'를 모아둔 거대한 도서관이자, 그 레시피들을 만들고, 검증하고, 서로 연결해주는 시스템입니다.

🛠️ 2. 어떻게 작동하나요? (3 단계 과정)

스킬넷은 다음과 같은 세 가지 단계를 통해 작동합니다.

① 만들기 (Creation): 경험에서 레시피 추출하기

AI 가 과거에 성공했던 일 (예: 웹사이트에서 물건을 구매하는 과정) 이나 개발자들이 쓴 코드, 문서 등을 분석합니다. 그리고 AI 가 이걸 **"이건 반복해서 쓸 수 있는 기술이야!"**라고 판단하면, 이를 정리된 '스킬'로 만듭니다.

• 비유: 요리사가 실험실처럼 여러 번 시도를 해본 뒤, 가장 맛있는 레시피를 책장에 꽂아두는 과정입니다.

② 검증하기 (Evaluation): 안전하고 쓸모 있는지 검사하기

만든 레시피가 다 좋은 건 아닙니다. 독극물이 섞였거나 (안전성), 재료가 빠졌거나 (완전성), 요리사가 따라 하기 어렵다면 (실행성) 쓸모가 없죠.
스킬넷은 만든 기술들을 5 가지 기준으로 꼼꼼히 검사합니다.

1. 안전성: 위험한 명령은 없는가?
2. 완전성: 필요한 정보가 다 들어있는가?
3. 실행성: 실제로 작동하는가?
4. 유지보수: 나중에 수정하기 쉬운가?
5. 비용: 너무 비싸게 먹히나? (시간, 돈)

③ 연결하기 (Connection): 레시피들을 이어붙이기

각각의 기술은 따로 놀지 않습니다. 스킬넷은 이 기술들 사이의 관계를 찾아냅니다.

• "이 기술은 저 기술의 하위 단계야." (예: '계란 깨기'는 '계란 후라이'의 하위 단계)
• "이 두 기술은 함께 쓰면 더 좋아." (예: '데이터 분석' + '그래프 그리기')
• 비유: 레시피 책에서 '전채 요리'와 '메인 요리'를 연결하거나, '소스 만들기'와 '고기 굽기'를 묶어서 '완성된 코스 요리'로 만드는 것과 같습니다.

🚀 3. 왜 중요한가요? (성과)

이 시스템을 실험해 보니 놀라운 결과가 나왔습니다.

• 성공률 40% 향상: AI 가 과제를 성공적으로 끝낼 확률이 크게 늘었습니다.
• 단계를 30% 줄임: 같은 일을 하더라도 훨씬 더 빠르고 효율적으로 처리합니다.

기존의 AI 가 매번 "어떻게 하지?"라고 고민하며 헤매는 동안, 스킬넷을 쓴 AI 는 **"아, 이거 전에 해봤어. 이 레시피대로 하면 돼!"**라고 바로 답을 찾아서 실행합니다.

🌍 4. 실제 활용 예시

• 과학 연구: AI 가 "새로운 약을 찾아줘"라고 하면, 스킬넷은 '데이터 정리하기', '유전자 분석하기', '논문 작성하기'라는 여러 기술을 자동으로 연결해서 연구 보고서를 완성해 줍니다.
• 코딩: "이 프로그램을 고쳐줘"라고 하면, '코드 분석하기', '버그 찾기', '수정하기', '테스트하기' 기술을 순서대로 실행해서 문제를 해결합니다.

💡 결론: AI 의 성장을 돕는 '지식 축적' 시스템

스킬넷은 AI 가 단순한 '일회성 대화'를 넘어, 경험을 쌓아 '전문가'로 성장할 수 있게 해줍니다.

마치 우리가 어릴 적에 배운 것을 잊지 않고, 나이가 들수록 더 많은 지식을 쌓아 복잡한 문제를 해결하듯, AI 도 스킬넷을 통해 실패와 성공을 '기술'로 저장하고, 이를 다시 꺼내어 더 똑똑한 행동을 할 수 있게 됩니다.

이제 AI 는 매번 처음부터 배우는 학생이 아니라, 수천 권의 레시피 책을 가진 숙련된 요리사가 된 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

현재 AI 에이전트는 도구를 유연하게 호출하고 복잡한 작업을 수행할 수 있지만, 장기적인 진보에는 다음과 같은 근본적인 한계가 존재합니다.

• 지식의 체계적 축적 부재: 에이전트가 과거의 경험 (episodic experience) 을 체계적으로 축적하고 전이 (transfer) 할 수 있는 메커니즘이 없습니다.
• 바퀴의 재발명 (Reinventing the wheel): 에이전트는 고립된 컨텍스트에서 매번 새로운 해결책을 찾거나, 이전의 성공적인 전략을 활용하지 못해 비효율적인 행동을 반복합니다.
• 품질 검증의 부재: 기존 스킬 저장소는 안전성 (Safety), 실행 가능성 (Executability), 유지보수성 (Maintainability) 등을 체계적으로 평가하지 않아 "오염"되거나 신뢰할 수 없는 스킬이 축적될 위험이 있습니다.
• 기존 접근법의 한계: 심층 학습 (Deep Learning) 기반의 암시적 지식은 재사용이 어렵고, 심볼릭 (Symbolic) 방식은 확장성이 부족합니다. 에이전트 시대에는 모듈화되고 외부화된 스킬 (Skill) 단위가 필요합니다.

2. 방법론 (Methodology)

저자들은 SkillNet이라는 오픈 인프라를 제안하여 AI 스킬의 생성, 평가, 조직화를 대규모로 수행합니다.

2.1 스킬 본체론 (Skill Ontology)

SkillNet 은 스킬을 3 계층 구조로 조직화합니다 (그림 3 참조):

1. 스킬 분류 (Skill Taxonomy): 개발, AIGC, 과학 등 대분류와 세부 태그를 통해 기능적 범주를 정의합니다.
2. 스킬 관계 그래프 (Skill Relation Graph): 스킬 간의 관계를 모델링합니다.
   • similar_to: 기능적 유사성
   • belong_to: 하위 구성 요소 관계
   • compose_with: 워크플로우에서의 조합 관계
   • depend_on: 의존성 관계
3. 스킬 패키지 라이브러리 (Skill Package Library): 개별 스킬을 모듈화된 패키지 (예: data-science-visualization) 로 캡슐화하여 배포합니다.

2.2 스킬 생성 파이프라인 (Skill Creation)

이질적인 소스에서 스킬을 자동 추출하고 구조화합니다.

• 입력 소스: 사용자 실행 궤적 (trajectories), GitHub 프로젝트, 문서 (PDF, Word), 직접적인 프롬프트 등.
• 프로세스: LLM 을 활용하여 비정형 데이터를 실행 가능한 스킬 (SKILL.md 파일 포함) 로 변환합니다.
• 필터링: 중복 제거 (Deduplication), 품질 필터링, 카테고리 태깅을 거쳐 고품질 스킬만 선별합니다.

2.3 다차원 평가 프레임워크 (Skill Evaluation)

생성된 스킬의 신뢰성을 보장하기 위해 5 가지 차원에서 정량적 평가를 수행합니다.

1. 안전성 (Safety): 해로운 시스템 조작이나 프롬프트 인젝션 위험 여부.
2. 완결성 (Completeness): 필수 단계, 전제 조건, 의존성의 명시 여부.
3. 실행 가능성 (Executability): 샌드박스 환경에서의 실제 실행 성공률 및 할루시네이션 확인.
4. 유지보수성 (Maintainability): 모듈화 정도 및 하위 호환성.
5. 비용 인식 (Cost-awareness): 실행 시간, 계산 자원, API 비용 등 효율성.

• 평가 도구: 자동화된 LLM 평가자 (GPT-5o-mini 등) 와 인간 전문가의 블라인드 리뷰를 통해 평가의 일관성을 검증했습니다 (QWK ≈ 1.0).

2.4 오픈 생태계 및 도구

• SkillNet Repository: 20 만 개 이상의 후보 스킬 중 15 만 개 이상의 큐레이팅된 스킬을 보유.
• Python Toolkit (skillnet-ai): 스킬 검색, 다운로드, 생성, 평가, 분석을 위한 CLI 및 라이브러리 제공.
• 웹 인터페이스: 스킬 탐색 및 커뮤니티 기여 기능 제공.

3. 주요 기여 (Key Contributions)

1. SkillNet 프레임워크: 파편화된 에이전트 경험을 모듈화되고 조합 가능한 스킬 네트워크로 변환하는 통일된 프레임워크를 최초로 제시.
2. 엄격한 평가 프로토콜: 안전성, 실행 가능성 등 5 가지 차원을 정량적으로 측정하여 대규모 스킬 저장소의 신뢰성을 확보하는 프로토콜 확립.
3. 오픈 소스 생태계: 20 만 개 이상의 스킬, Python 툴킷, 벤치마크를 공개하여 에이전트 계획 및 실행 성능 향상을 실증.

4. 실험 결과 (Results)

ALFWorld, WebShop, ScienceWorld 등 3 가지 텍스트 기반 시뮬레이션 환경에서 DeepSeek V3.2, Gemini 2.5 Pro, o4 Mini 등 다양한 백본 모델을 사용하여 평가했습니다.

• 성능 향상: SkillNet 을 적용한 에이전트는 기존 방법 (ReAct, Expel, Few-Shot) 대비 평균 보상 (Reward) 이 40% 증가했습니다.
• 효율성 개선: 작업 수행에 필요한 평균 단계 (Steps) 가 30% 감소하여 더 짧고 일관된 행동 궤적을 보였습니다.
• 일반화 능력: 훈련된 데이터 (Seen) 와 새로운 데이터 (Unseen) 모두에서 일관된 성능 향상을 보이며, 스킬의 추상화와 재사용이 지식 전이를 촉진함을 입증했습니다.
• 모델 독립성: 소형 모델 (o4 Mini) 에서 대형 모델 (Gemini 2.5 Pro) 에 이르기까지 모든 모델에서 유의미한 성능 향상을 기록했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 경험에서 숙달로 (From Experience to Mastery): SkillNet 은 에이전트가 일시적인 경험을 영구적이고 조합 가능한 자산 (Skills) 으로 전환하여, 단순한 학습을 넘어 누적적 능력 향상을 가능하게 합니다.
• 지식 공학의 진화: 명시적 구조 (Symbolic) 와 확장성 (Deep Learning) 을 결합한 새로운 패러다임을 제시하며, 에이전트가 복잡한 오픈 월드 환경에서 자율적으로 진화할 수 있는 기반을 마련합니다.
• 실제 적용 사례: 자율 과학 발견 (데이터 처리, 메커니즘 분석, 보고서 생성) 및 자율 코딩 에이전트 (코드 분석, 리팩토링, 테스트) 시나리오에서 복잡한 워크플로우를 성공적으로 수행함을 시연했습니다.
• 미래 전망: "한 사람의 회사/실험실" 개념에서 개인이 스킬 저장소를 큐레이션하고 에이전트가 이를 조합하여 조직 수준의 지능을 구현하는 방향을 제시하며, 멀티 에이전트 협업 및 집단 지성으로의 확장을 위한 핵심 인프라로 작용할 것으로 기대됩니다.

이 논문은 AI 에이전트의 장기적 진보를 위해 스킬의 체계적 관리와 평가가 필수적임을 강조하며, 이를 실현하기 위한 포괄적인 인프라를 제시했다는 점에서 중요한 의의를 가집니다.