🤖 AI

VCE-Skill: Enhancing Skill Self-Evolution with Version-Change Experience

본 논문은 태스크별 실행 궤적과 공개된 스킬 버전 이력으로부터 증류된 구조화된 경험을 적응적으로 융합함으로써 에이전트 스킬의 자기 진화를 강화하는 새로운 프레임워크인 VCE-Skill을 제안하며, 이는 상당한 성능 향상과 더 강력한 교차 모델 전이 능력을 결과로 가져온다.

원저자: Jianming Chen, Xuanbin Ye, Yawen Wang, Junjie Wang, Qing Wang, Fanjiang XU

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jianming Chen, Xuanbin Ye, Yawen Wang, Junjie Wang, Qing Wang, Fanjiang XU

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

급격히 진화하는 인공지능의 세계에서, 연구자들은 컴퓨터 프로그램이 인간 비서처럼 행동하도록 가르치고 있습니다. 흔히 '에이전트'라고 불리는 이 프로그램들은 단순히 질문에 답하는 것에 그치지 않고, 도구를 사용하고, 지시사항을 따르며, 파일을 관리함으로써 과업을 수행합니다. 이러한 에이전트를 신뢰할 수 있게 만들기 위해, 개발자들은 그들에게 '기술(skill)'을 부여합니다. 기술을 일종의 휴대 가능한 도구 상자로 생각해보십시오. 이 상자에는 에이전트가 특정 유형의 문제에 직면할 때마다 꺼내어 사용할 수 있는 일련의 지침, 스크립트, 그리고 자원들이 담겨 있습니다. 하지만 인간이 실수를 통해 배우는 것처럼, 이 도구들도 처음 만들어졌을 때 완벽한 경우는 드뭅니다. 세상이 변하고 새로운 도전 과제가 생겨남에 따라, 이 도구 상자 안의 지침들도 업데이트되고, 패치되고, 개선되어야 합니다. 과학자들의 핵심적인 질문은 어떻게 이 개선 과정을 자동화하여 에이전트가 시간이 흐름에 따라 스스로 더 나아질 수 있도록 가르칠 것인가 하는 점입니다.

한동안 이러한 자기 개선을 위한 표준적인 접근 방식은 에이전트가 과업을 시도하게 하고, 어디서 실패했는지 관찰한 뒤, 그 특정 실패를 바탕으로 지침을 다시 작성하게 하는 것이었습니다. 이 방법은 전적으로 현재의 시도에서 수집된 증거에 의존합니다. 이 방식은 효과적이긴 하지만, 하나의 사각지대를 가지고 있습니다. 바로 현재 발생하는 실수만을 본다는 점입니다. 이는 다른 개발자들이 유사한 도구들을 수년간 유지보수하며 배운 더 넓은 교훈들을 놓치게 만듭니다. 중국과학원과 베이징 정보통신대학교의 연구진은 이러한 좁은 초점이 방대한 지식의 도서관을 활용하지 못하게 만들고 있다는 사실을 깨달았습니다. 그들은 공개 소프트웨어 도구들에 가해진 변경 사항의 역사가 에이전트의 즉각적인 경험이 가르쳐줄 수 없는 무언가를 가르쳐줄 수 있는지 확인하고자 했습니다.

연구진은 먼저 두 가지 서로 다른 정보원을 비교하는 것으로 시작했습니다. 첫 번째 정보원은 과업에 대한 에이전트 자신의 최근 시도였으며, 이는 무엇이 잘못되었는지에 대해 상세하지만 좁은 시야를 제공했습니다. 두 번째 정보원은 인간 개발자들이 오랜 시간에 걸쳐 유사한 도구들에 가한 변경 사항의 공개 기록이었습니다. 이 두 가지 소스를 나란히 분석했을 때, 연구진은 명확하고 유용한 차이점을 발견했습니다. 에이전트 자신의 시도는 주로 도구를 호출하거나 지침을 읽는 방식에서의 즉각적이고 구체적인 오류를 수정하는 데 집중되었습니다. 반면, 공개 기록은 데이터가 어떻게 조직되는지, 스크립트가 어떻게 구조화되는지, 그리고 도구가 예상치 못한 상황을 어떻게 처리하는지에 대한 변경을 포함하여 훨씬 더 다양한 종류의 개선 사항을 담고 있었습니다. 공개 기록은 더 넓은 관점을 제공했고, 에이전트 자신의 기록은 근거 있고 과업 특정한 현실을 제공했습니다. 두 소스는 서로 반복되는 것이 아니라, 오히려 서로의 빈틈을 채워주었습니다.

이 통찰력을 실제로 적용하기 위해, 연구진은 VCE-Skill이라는 새로운 시스템을 개발했습니다. 이 시스템은 에이전트의 현재 경험과 과거의 집단 지성 사이를 잇는 가교 역할을 합니다. 과정은 크게 두 단계로 진행됩니다. 첫째, 시스템은 공개 저장소로부터 온 가공되지 않은 무질서한 변경 이력을 가져와 이를 정제합니다. 시스템은 특정 프로젝트에만 적용되는 구체적인 세부 사항들을 제거하고, 이를 일반적이고 재사용 가능한 교훈으로 추출합니다. 예를 들어, 많은 개발자가 파일을 열기 전에 파일이 존재하는지 확인하는 절차를 추가했다면, 시스템은 이를 단일한 수정 사항이 아닌 일반적인 규칙으로 학습합니다. 이렇게 추출된 교훈들은 구조화된 경험 라이브러리에 저장됩니다.

두 번째 단계에서, 에이전트는 과업을 시도하고 발생한 일을 바탕으로 개선을 위한 자체 아이디어를 생성합니다. 그런 다음 시스템은 자신의 경험 라이브러리를 살펴보고 현재의 문제와 가장 관련이 깊은 교훈들을 선택합니다. 시스템은 단순히 과거의 교훈을 복사하거나 에이전트 자신의 아이디어를 무시하지 않습니다. 대신, 두 가지를 신중하게 혼합합니다. 만약 에이전트가 공공 기록에서 이미 여러 번 해결된 흔한 문제로 어려움을 겪고 있다면, 시스템은 외부의 지혜에 크게 의존합니다. 만약 에이전트가 이전에 본 적 없는 독특하고 기이한 오류에 직면했다면, 시스템은 에이전트 자신의 관찰을 더 신뢰합니다. 이 균형은 고정되어 있지 않습니다. 시스템은 실제 변경 사항이 에이전트의 성능을 실제로 향상시키는지 여부에 따라 외부 라이브러리와 에이전트 자신의 경험 중 어느 쪽을 더 신뢰할지를 끊임없이 조정합니다.

이 접근 방식의 결과는 복잡한 질문에 답하는 것부터 스프레드시트 관리, 가상 환경에서의 로봇 제어에 이르기까지 다섯 가지 유형의 과업에 걸쳐 테스트되었습니다. 연구진은 에이전트 역할을 수행하기 위해 네 가지 서로 다른 대규모 언어 모델을 사용했습니다. 모든 경우에서, 이 외부 경험을 에이전트의 자기 개선 루프에 추가하는 것이 에이전트의 성능 향상으로 이어졌습니다. 에이전트들은 평균적으로 더 높은 점수를 기록했으며, 다양한 테스트 전반에서 약 3점에서 5점 사이의 향상을 보였습니다. 더 중요한 것은, 이 방법을 통해 개선된 기술들이 더 견고하다는 점이 입증되었다는 것입니다. 연구진이 이 새로운 방식으로 진화시킨 기술을 훈련에 사용된 것과 다른 컴퓨터 모델에서 테스트했을 때, 해당 기술은 오직 자신의 즉각적인 실수로부터만 배웠던 기술들보다 현저히 더 나은 성능을 보였습니다. 이는 공개 기록으로부터의 더 넓은 교훈을 통합함으로써, 에이전트가 단순히 특정 오류를 수정하는 법을 암기하는 것이 아니라 새로운 상황에 적용될 수 있는 더 일반적인 원칙들을 학습했음을 시사합니다.

이 연구는 기존의 실수로부터 배우는 방식이 쓸모없다고 주장하는 것이 아닙니다. 에이전트 자신의 경험은 당면한 과업의 구체적인 세부 사항을 이해하는 데 여전히 필수적입니다. 새로운 방법은 단지 에이전트가 스스로 찾을 수 없는 맥락의 층위를 추가할 뿐입니다. 공개 소프트웨어 변경 이력을 귀중한 사전 지식의 원천으로 취급함으로써, 연구진은 에이전트가 더 효과적으로 진화할 수 있음을 보여주었습니다. 그들은 더 똑똑하고 신뢰할 수 있는 에이전트로 가는 길이 단지 순간에 일어나는 일을 관찰하는 것뿐만 아니라, 유사한 도구들이 어떻게 개선되어 왔는지에 대한 긴 이야기를 이해하는 것임을 입증했습니다. 이 접근 방식은 인공지능을 더욱 적응 가능하게 만들어, 에이전트가 사용하는 도구들이 단지 오늘을 위한 기능적인 도구를 넘어 미래에도 견고하게 작동할 수 있도록 하는 실질적인 방법을 제시합니다.

기술 요약: VCE-Skill

문제 정의

에이전트 시스템은 점점 더 과업 클래스를 해결하기 위해 재사용 가능한 기술(reusable skills)—즉, 지침, 스크립트, 구성의 휴대 가능한 번들—에 의존하고 있습니다. 최근 연구들은 에이전트를 실행하고, 실패를 진단하며, 기술을 수정하는 궤적 기반 패러다임(trajectory-driven paradigm)을 통해 기술의 자동 자기 진화(self-evolution)를 자동화해 왔으나, 이 방식은 본질적인 한계에 직면해 있습니다. 업데이트는 현재 실행 중에 수집된 실행 궤적의 품질과 커버리지에 엄격하게 제한됩니다. 노이즈가 많거나 저품질인 궤적은 실패 원인을 가릴 수 있으며, 실패 모드에 대한 불완전한 커버리지는 제한된 관찰 결과에 과적합(overfit)되는 업데이트를 초래할 수 있습니다. 결과적으로, 궤적 기반 진화는 현재의 실행 과정에서는 드러나지 않는 광범위하게 유용한 업데이트 지식을 간과하는 경우가 많습니다.

비록 공개된 스킬 버전 히스토리(예: GitHub 또는 ClawHub의 기록)가 개발자들이 유지보수 과정에서 채택한 풍부한 진화 지식의 원천을 포함하고 있음에도 불구하고, 이 자원은 기술의 자기 진화를 위해 거의 활용되지 않고 있습니다. 이러한 공개된 변경 사항들이 궤적 기반 진화에서 발견되는 전략을 단순히 중복하는 것인지, 아니면 보완적인 지식을 제공하는 것인지는 명확하지 않습니다. 또한, 가공되지 않은 버전 디프(raw version diffs)는 매우 세밀하고 특정 저장소에 종속되어 있어, 추상화 없이 현재의 과업 실패에 직접 적용하기 어렵습니다.

방법론: VCE-Skill

저자들은 공개된 스킬 버전 히스토리로부터 얻은 외부 경험과 실행 궤적으로부터 얻은 내부 증거를 통합하여 기술의 자기 진화를 향상시키도록 설계된 프레임워크인 VCE-Skill(Version-Change Experience Skill)을 제안합니다. 이 방법은 두 가지 주요 단계로 작동합니다.

1. 경험 추출 (Experience Distillation)

이 단계는 공개 저장소의 가공되지 않은 노이즈 섞인 버전 디프를 재사용 가능한 구조화된 가이드로 변환합니다.

변경 추상화 (Change Abstraction): 인접한 스킬 버전 간의 가공되지 않은 디프는 **업데이트 이벤트(update events)**로 분해됩니다. 각 이벤트는 $u_j = \langle d_j, \{c_j\}, o_j, i_j \rangle$ 로 구조화되며, 이는 가공되지 않은 디프( $d_j$ ), 영향을 받은 구성 요소( $c_j$ ), 의미론적 연산( $o_j$ ), 그리고 업데이트 의도( $i_j$ )를 나타냅니다.
경험 생성 (Experience Generation): 이러한 이벤트들은 세 가지 계층적 수준의 지식으로 추출됩니다:
- 업데이트 패턴 (Update Patterns): 스킬 히스토리 내의 관련 이벤트 그룹을 요약하여 저장소 특유의 세부 사항을 제거합니다.
- 진화 통찰 (Evolution Insights): 특정 스킬에 대해 반복되는 업데이트 패턴을 특징짓는 합성된 전략입니다.
- 도메인 통찰 (Domain Insights): 동일한 태스크 도메인 내의 스킬 전반에 걸쳐 전이 가능한 최적화 전략을 포착하는 일반화된 원칙입니다.
경험 뱅크 (Experience Bank): 추출된 지식은 외부 지식 코퍼스로서 역할을 하는 구조화된 뱅크( $B$ )에 집계됩니다.

2. 적응형 경험 주의력을 통한 최적화 (Optimization with Adaptive Experience Attention)

이 단계는 추출된 외부 경험을 베이스 에볼버(base evolver)의 궤적 유도 제안과 통합합니다.

경험 선택 (Experience Selection): 각 반복마다 대상 과업, 현재 스킬, 그리고 이전 업데이트로부터의 피드백을 바탕으로 선택 컨텍스트가 구축됩니다. LLM 기반의 셀렉터는 뱅크에서 가장 관련성이 높은 상위- $K$ 개의 경험을 검색합니다.
자기 제안 생성 (Self-Proposal Generation): 이와 동시에, 베이스 에볼버(예: SkillOpt, EvoSkill)는 오직 현재 실행 궤적만을 기반으로 자기 제안( $p^{self}_t$ )을 생성합니다.
적응형 주의력 융합 (Adaptive Attention Fusion): 시스템은 적응형 주의력 가중치( $\lambda^{exp}_t, \lambda^{self}_t$ $λ_{t}^{e x p}, λ_{t}^{se l f}$ )를 사용하여 추출된 외부 경험 가이드( $p^{exp}_t$ $p_{t}^{e x p}$ )와 자기 제안( $p^{self}_t$ $p_{t}^{se l f}$ )을 융합합니다.
- 가중치는 동일하게 초기화되지만, **적응 피드백(Adaptation Feedback)**에 따라 동적으로 조정됩니다.
- 피드백 메커니즘: 업데이트 후, 시스템은 실현된 변화의 출처(외부 경험에서 기인했는지 또는 자기 제안에서 기인했는지)와 검증 성능의 변화를 분석합니다. 이 통합된 피드백( $f_t$ )은 다음 반복을 위한 주의력 가중치를 조정하여, 성공적인 개선에 기여한 소스에 대한 의존도를 높이고, 개선되지 않은 업데이트와 관련된 소스로부터는 멀어지도록 합니다.

핵심 기여

동기 부여 연구 (Motivation Study): 저자들은 공개된 스킬 변경 사항과 궤적 유도 변경 사항을 비교하는 파일럿 연구를 수행했습니다. 이를 통해 **보완적 커버리지(complementary coverage)**를 밝혀냈습니다. 궤적 유도 변경 사항은 지침과 좁은 의도에 고도로 집중되어 있는 반면, 공개 히스토리는 더 넓은 구성 요소를 다루며 현재의 롤아웃에서는 관찰되지 않는 고유한 의도와 패턴을 도입한다는 것을 확인했습니다.
VCE-Skill 프레임워크: 가공되지 않은 버전 변경 사항을 구조화되고 재사용 가능한 경험으로 추출하고, 이를 반복적인 최적화 과정에서 궤적 유도 제안과 적응적으로 융합하는 방법을 도입했습니다.
실증적 검증: 여러 벤치마크와 모델에 걸쳐 VCE-Skill의 효과와 일반성을 입증하는 광범한 실험을 수행했습니다.

실험 결과

저자들은 다섯 가지 벤치마크(SearchQA, OfficeQA, ALFWorld, Spreadsheet, BFCL-v4)에 대해 네 가지 LLM(Qwen3.5-27B, GPT-5.2, DeepSeek-v3.2, Claude Sonnet 5)과 세 가지 베이스 자기 진화 방법(EvoSkill, SkillClaw, SkillOpt)을 사용하여 VCE-Skill을 평가했습니다.

성능 향상: VCE-Skill은 모든 베이스 에볼버의 성능을 일관되게 향상시켰습니다. 다양한 구성에서 평균 점수가 3.20에서 4.98 포인트 상승했습니다. 예를 들어, SkillOpt+VCE는 Qwen3.5-27B에서 평균 60.27점을 달성했으며(SkillOpt 대비 +3.47 개선), GPT-5.2에서는 70.84점을 달성했습니다(+3.78 개선).
절제 연구 (Ablation Study): 경험 추출을 제거하고(가공되지 않은 디프를 직접 사용) 사용했을 때 성능이 크게 저하되어 종종 베이스라인보다 낮아졌습니다. 적응형 주의력을 고정된 동일 가중치로 대체하는 것도 성능이 떨어졌으며, 이는 추상화와 동적 가중치 부여의 필요성을 확인시켜 줍니다.
교차 모델 전이 가능성 (Cross-Model Transferability): VCE-Skill로 진화된 스킬은 그렇지 않은 스킬보다 다른 모델에 적용되었을 때 더 강력한 전이성을 보여주었습니다. 소스 모델에서 타겟 모델로 전이될 때, VCE가 강화된 스킬은 평균 점수를 5.15에서 6.04 포인트 개선했으며, 이는 소스 모델 자체의 평가에서 나타난 개선 폭보다 큰 수치였습니다. 이는 추출된 경험이 모델 특이적 과적합을 줄여준다는 것을 시사합니다.

의의 및 주장

본 논문은 공개된 스킬 버전 히스토리가 에이전트 스킬 진화를 위한 이전에 탐구되지 않았던 효과적인 사전 지식의 원천임을 주장합니다. 외부 버전 변경 사항과 내부 궤적 증거 사이의 보완성을 강조함으로써, VCE-Skill은 궤적 기반 패러다임을 발전시킵니다.

저자들은 자신들의 연구를 기존의 자기 진화 방법을 대체하는 것이 아니라, 모든 베이스 에볼버가 외부 경험을 활용할 수 있도록 하는 모듈형 강화 도구로 포지셔닝합니다. 이 연구의 의의는 진화의 초점을 오직 현재의 실행 증거에만 의존하는 것에서 벗어나, 보다 광범위하고 역사에 근거한 진화 사전 지식을 통합함으로써 더욱 견고하고 일반화 가능하며 교차 모델 전이가 가능한 스킬을 생성하는 데 있습니다.