🤖 AI

EvoSkill: Automated Skill Discovery for Multi-Agent Systems

이 논문은 실행 실패 분석을 통해 반복적으로 에이전트 스킬을 자동 발견하고 정제하여, 고정된 모델에서도 특정 작업 성능을 향상시키고 다른 작업으로의 제로샷 전이 능력을 입증하는 'EvoSkill' 프레임워크를 제안합니다.

원저자: Salaheddin Alzubi, Noah Provenzano, Jaydon Bingham, Weiyuan Chen, Tu Vu

게시일 2026-03-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Salaheddin Alzubi, Noah Provenzano, Jaydon Bingham, Weiyuan Chen, Tu Vu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 "EvoSkill": AI 가 스스로 실수를 배우고 '직업 기술'을 터득하는 이야기

이 논문은 코딩을 잘하는 AI(에이전트) 가 어떻게 하면 특정 분야 (예: 재무 데이터 분석이나 복잡한 웹 검색) 의 전문가처럼 될 수 있는지에 대한 새로운 방법을 소개합니다.

기존의 AI 는 "무엇을 해야 할지"는 알지만, "어떻게 하면 실수 없이 잘할지"에 대한 구체적인 노하우는 부족했습니다. 이 연구는 AI 가 스스로 실수를 분석하고, 그 해결책을 '기술 (Skill)'이라는 형태로 만들어내며 성장하는 시스템을 개발했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🏗️ 1. 문제: "만능 도공"은 있지만 "전문가"는 없다

상상해 보세요. 아주 똑똑한 만능 도공 (AI 에이전트) 이 있습니다. 이 도공은 망치, 톱, 드릴 등 모든 도구를 다룰 줄 압니다. 하지만 이 도공이 특정 건축물 (예: 고층 빌딩) 을 지으라고 하면, 처음엔 엉망이 될 수 있습니다.

기존 방식 (수동 제작): 우리가 도공에게 "빌딩 지을 때는 이렇게 하세요"라고 수기로 매뉴얼을 만들어서 가르쳐야 합니다. 하지만 빌딩마다, 상황마다 매뉴얼을 새로 써야 하므로 시간이 너무 걸리고 비효율적입니다.
기존 자동화 방식 (코드/프롬프트 최적화): 도공이 실수할 때마다 "이 부분만 고쳐"라고 작은 메모 (코드나 프롬프트) 를 붙여줍니다. 하지만 이 메모는 그 특정 작업에만 통하고, 다른 작업에는 쓸모가 없습니다.

💡 2. 해결책: EvoSkill (진화하는 기술)

이 논문이 제안한 EvoSkill은 도공에게 스스로 배우게 하는 시스템입니다.

🔄 3 단계의 '팀'이 돌아가는 방식

이 시스템은 세 명의 AI 에이전트로 구성된 팀처럼 작동합니다.

실행자 (Executor): 실제 일을 하는 도공입니다. 일을 하다가 틀리면 그 기록을 남깁니다.
분석가 (Proposer): 도공의 실수 기록을 보고 "왜 틀렸지? 아, 숫자를 잘못 읽었구나!"라고 원인을 분석합니다. 그리고 "이런 실수를 막을 새로운 '매뉴얼'이 필요해!"라고 제안합니다.
기술자 (Skill-Builder): 분석가의 제안을 받아 **실제 사용 가능한 '기술 폴더'**를 만듭니다. 여기에는 "어떤 상황에서 이 기술을 써야 하는지", "어떻게 계산하는지", "보조 스크립트" 등이 정리되어 있습니다.

📈 3. '진화'의 핵심: 실패에서 배우기

이 시스템은 실패를 두려워하지 않습니다. 오히려 실패를 통해 성장합니다.

시나리오: 도공이 재무 데이터를 분석하다가 숫자를 잘못 계산했습니다.
분석: 분석가가 "아, 옆 칸의 숫자를 잘못 읽었구나. '데이터 추출 검증'이라는 새로운 규칙이 필요해!"라고 제안합니다.
제작: 기술자가 그 규칙을 담은 **'기술 폴더'**를 만듭니다.
검증: 이 새로운 기술 폴더를 가진 도공이 다시 문제를 풉니다. 정답을 맞췄다면? 그 기술은 영구적으로 저장됩니다. 틀렸다면 버려집니다.

이 과정을 반복하면, 도공은 수천 번의 실수와 수정을 통해 스스로 '재무 분석 전문가', '웹 검색 전문가' 같은 고급 기술 (Skills) 을 하나씩 장착하게 됩니다.

🌟 4. 놀라운 성과: "한 번 배운 기술은 다른 일에도 통한다?"

이 연구의 가장 큰 장점은 배운 기술이 다른 곳에도 적용된다는 것입니다.

실험 1 (OfficeQA): 미국 재무부 문서를 분석하는 과제에서, EvoSkill 을 적용한 AI 는 정확도가 **60.6% 에서 67.9%**로 크게 향상되었습니다. (약 7.3% 상승)
실험 2 (SealQA): 인터넷 검색을 통해 답을 찾는 과제에서도 정확도가 **26.6% 에서 38.7%**로 급격히 올랐습니다. (약 12.1% 상승)
가장 놀라운 점 (Zero-Shot Transfer):
- 검색 과제 (SealQA) 에서 배운 **'검색을 포기하지 않고 끝까지 찾아보는 기술'**을, 전혀 다른 과제 (BrowseComp) 에 아무런 수정 없이 그대로 적용했습니다.
- 결과는? 정확도가 5.3%나 더 올랐습니다!
- 비유: 마치 "수학 문제를 풀 때 꼼꼼히 계산하는 습관"을 배운 학생이, "역사 연표 외우는 시험"에서도 꼼꼼하게 공부해서 좋은 성적을 내는 것과 같습니다.

📝 5. 요약: 왜 이것이 중요한가?

기존의 AI 는 "지시사항 (프롬프트)"을 조금씩 고치는 수준이었습니다. 하지만 EvoSkill은 AI 가 스스로 '직업 기술'을 개발하고 저장하게 합니다.

수동 아님: 사람이 일일이 매뉴얼을 쓸 필요가 없습니다.
재사용 가능: 한 번 만든 '기술 폴더'는 다른 AI 나 다른 작업에서도 바로 쓸 수 있습니다.
진화 가능: AI 는 실수를 반복할수록 더 똑똑하고 전문적인 '기술'을 갖추게 됩니다.

결론적으로, EvoSkill 은 AI 가 단순한 도구를 쓰는 기계에서 **자신의 실수를 분석하고 전문 기술을 터득하는 '성장하는 파트너'**로 변모하게 하는 혁신적인 방법입니다.

1. 문제 정의 (Problem)

코딩 에이전트 (Claude Code, OpenHands 등) 는 다양한 도구를 활용하고 복잡한 추상화를 수행할 수 있는 유연성을 갖추고 있지만, 특정 도메인의 전문 지식 (Domain Expertise) 을 자동으로 갖추지는 못합니다.

현황: 현재 에이전트의 성능을 높이기 위해 사용되는 '스킬 (Skill)'들은 대부분 수동으로 제작됩니다. 이는 도메인 지식과 막대한 수작업이 필요하며, 작업 수가 늘어날수록 확장성이 떨어집니다.
기존 방법의 한계: 기존 진화적 접근법 (AlphaEvolve, GEPA 등) 은 프롬프트나 코드와 같은 저수준의 아티팩트 (artifacts) 를 최적화합니다. 그러나 이러한 최적화된 결과물은 특정 모델이나 작업 설정에 밀접하게 결합되어 있어, 다른 작업으로의 전이 (Transfer) 가 어렵고 재사용 가능한 구성 요소로 발전하기 힘듭니다.

2. 방법론 (Methodology)

저자들은 EvoSkill이라는 자기 진화형 프레임워크를 제안합니다. 이는 저수준의 코드나 프롬프트를 직접 수정하는 대신, 고수준의 '스킬 (Skill)' 추상화 수준에서 에이전트의 능력을 발견하고 정제합니다.

핵심 메커니즘

3 가지 협력 에이전트 구조:
- Executor Agent (A): 현재 에이전트 프로그램 (기저 프롬프트 + 축적된 스킬) 을 사용하여 태스크를 수행합니다.
- Proposer Agent (P): 실패한 사례 (Ground Truth 와 비교) 를 분석하여 실패 원인을 진단하고, 새로운 스킬 생성 또는 기존 스킬 수정을 제안합니다. (이 과정에서 피드백 히스토리 $H$ 를 참조하여 중복 제안 방지 및 점진적 개선)
- Skill-Builder Agent (S): Proposer 의 고수준 제안을 구체적인 **스킬 폴더 (Skill Folder)**로 구현합니다. 이는 SKILL.md(지침 및 메타데이터), 트리거 스크립트, 헬퍼 스크립트 (Python/TS) 로 구성됩니다.
반복적 실패 분석 루프 (Iterative Failure Analysis):
- Pareto Frontier 유지: $k$ 개의 최고 점수 프로그램을 유지하는 프론티어 $G$ 를 관리합니다.
- 선택 및 변이: 프론티어에서 부모 프로그램을 선택하고, 실패한 샘플들을 분석하여 새로운 스킬을 제안합니다.
- 검증 및 선별: 제안된 스킬이 포함된 후보 프로그램을 홀드아웃 (held-out) 검증 세트에서 평가합니다. 기존 프론티어 중 최하위 점수보다 성능이 향상되면 프론티어에 추가하고, 그렇지 않으면 폐기합니다.
- 모델 고정: 이 과정에서 기반 LLM 은 고정 (Frozen) 되어 있으며, 오직 스킬 저장소와 에이전트 메타데이터만 진화합니다.
스킬 구조:
- 스킬은 재사용 가능한 폴더 형태로 저장되며, 트리거 조건, 절차적 지침, 보조 코드를 포함합니다. 이는 에이전트가 컨텍스트 윈도우를 과도하게 사용하지 않고도 필요한 스킬을 로드할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

EvoSkill 프레임워크 제안: 프롬프트나 코드베이스가 아닌 '스킬' 수준에서 반복적 실패 분석을 통해 재사용 가능한 에이전트 스킬을 자동으로 발견하고 정제하는 새로운 패러다임을 제시했습니다.
실증적 성능 향상: 두 개의 서로 다른 벤치마크에서 소량의 훈련 데이터만으로도 상당한 성능 개선을 입증했습니다.
제로샷 전이 능력 증명: 한 작업 (SealQA) 에서 진화한 스킬이 수정 없이 다른 작업 (BrowseComp) 으로 전이되어 성능을 향상시켰습니다. 이는 스킬 수준의 최적화가 프롬프트/코드 수준 최적화보다 더 강력한 전이 능력을 가진다는 것을 보여줍니다.

4. 실험 결과 (Results)

벤치마크 1: OfficeQA (Grounded Reasoning)

데이터: 미국 재무부 (U.S. Treasury) 데이터 기반의 문서 추론 벤치마크.
결과: Claude Code (Opus 4.5) 의 정밀 일치 (Exact-match) 정확도가 60.6% 에서 67.9% 로 7.3%p 향상되었습니다.
특징: 훈련 데이터의 5~15% 만 사용했음에도 불구하고, 독립적으로 발견된 스킬들을 병합 (Merge) 했을 때 가장 높은 성능을 보였습니다.
발견된 스킬 예시: 재무부 표에서 수치 데이터를 추출할 때 인접 셀 오독 방지, 잘못된 지표 선택 방지 등을 위한 엄격한 프로토콜.

벤치마크 2: SealQA (Search-Augmented QA)

데이터: 검색 결과가 노이즈가 많거나 상충되는 사실을 찾는 질문 벤치마크.
결과: 정확도가 26.6% 에서 38.7% 로 12.1%p 향상되었습니다.
발견된 스킬 예시: 'Search-persistence-protocol'로, 에이전트가 초기 검색 결과에 만족하지 않고 여러 소스를 확인하고 용어를 확장하여 검색을 계속하도록 강제합니다.

제로샷 전이 (Zero-Shot Transfer)

SealQA 에서 진화한 'Search-persistence-protocol' 스킬을 BrowseComp 벤치마크에 수정 없이 적용했습니다.
결과: 정확도가 43.5% 에서 48.8% 로 5.3%p 향상되었습니다. 이는 발견된 스킬이 특정 작업에 과적합 (Overfitting) 되지 않고, 일반적인 사실 탐구 능력으로 전이됨을 의미합니다.

5. 의의 및 결론 (Significance)

재사용성과 해석 가능성: EvoSkill 은 블랙박스 형태의 최적화가 아닌, 인간이 이해하고 수정할 수 있는 구조화된 스킬 폴더를 생성합니다.
확장성: 수동 제작의 한계를 극복하고, 실패 분석을 통해 에이전트의 도메인 전문성을 자동으로 축적할 수 있는 길을 열었습니다.
미래 방향: 다중 모달 작업 (비전, 코드, 언어 간 협업) 으로의 확장, 공유 스킬 라이브러리 구축, 그리고 다양한 에이전트 하네스 간 스킬 전이 연구가 필요함을 제시합니다.

요약하자면, EvoSkill 은 에이전트가 실패를 통해 스스로 도메인 전문성을 습득하고, 이를 재사용 가능한 모듈로 저장하여 다양한 작업에 적용할 수 있게 하는 획기적인 자동화 프레임워크입니다.