Anything2Skill: Compiling External Knowledge into Reusable Skills for Agents

기술 요약: ANYTHING2SKILL

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 에이전트가 추론 시점에 외부 지식에 접근할 수 있게 해주지만, 주로 파편화된 선언적 증거(예: 구절, 매뉴얼, 로그)를 검색하는 데 그칩니다. 결과적으로 에이전트는 실행 시점에 이러한 파편들로부터 작업 절차를 반복적으로 재구성해야 합니다. 이러한 한계는 에이전트의 성공 여부가 단순히 사실을 검색하는 것을 넘어, 도구 호출 시점 결정, 올바른 행동 시퀀스 실행, 제약 조건 충족, 실패 사례 방지와 같은 특정 절차를 따르는 데 달려 있는 에이전트 환경에서 매우 치명적입니다. 기존의 스킬 기반 에이전트들은 수동으로 지정된 스킬, 환경 상호작용을 통해 학습된 스킬, 또는 작업 해결 과정에서 생성된 코드에 의존하며, 이질적인 외부 지식 베이스에 이미 내재되어 있는 방대한 양의 잠재적 절차적 지식을 활용하지 못하고 있습니다.

방법론

본 논문은 이질적인 외부 지식을 재사용 가능하고 검색 및 실행 가능한 스킬로 컴파일하기 위해 설계된 분류 체계 가이드 프레임워크인 ANYTHING2SKILL을 제안합니다. 이 프레임-워크는 추출, 관리, 그리고 추론 증강의 파이프라인을 통해 작동합니다.

1. 스킬 트리 사전(Skill-Tree Prior)을 이용한 스킬 추출

지식 기록 $K$(문서, 대화, 로그, 궤적)의 코퍼스가 주어지면, 시스템은 기록을 엄격한 **증거 윈도우(evidence windows)**로 분해합니다. 시스템은 스킬 트리 사전 하에서 플랜 앤 익스팬드(plan-and-expand) 추출 전략을 채택합니다:

• 분류 체계 사전(Taxonomy Prior): 스킬 분류 체계 $\mathcal{T}$는 안정적인 자산 유형(예: macro_protocol, session_skill, micro_skill, safety_rule)과 계층 수준을 정의합니다. 이는 추출 과정이 자유 형식의 요약이 아닌 절차적 역량을 향하도록 제약합니다.
• 플랜 앤 익스팬드(Plan-and-Expand): LLM 기반 플래너가 먼저 증거 윈도우로부터 구별되는 스킬 후보들을 식별합니다. 이후의 확장 단계에서는 이러한 후보들을 구조화된 **스킬 초안(skill drafts)**으로 변환합니다.
• 절차적 유효성(Procedural Validity): 후보들은 절차적 구성 요소(워크플로우 단계, 액션 무브, 제약 조건)를 포함하고 있는지, 그리고 분류 체계에 매핑될 수 있는지를 기준으로 필터링됩니다.
• 출력: 추출된 초안은 호출 조건, 금기 사항, 액션 무브, 워크플로우 단계, 제약 조건, 출력 사양, 지원 증거 및 신뢰도 점수를 명시하는 구조화된 **스킬 계약(skill contracts)**으로 변환됩니다.

2. 스킬뱅크(SkillBank)에서의 스킬 관리

로컬 초안을 배포 가능한 스킬뱅크($\mathcal{B}$)로 변환하기 위해, 시스템은 세 가지 관리 단계를 수행합니다:

• 문서 수준 컴파일(Document-Level Compilation): 중복되는 역량을 설명하는 초안들은 분류 체계를 인식하는 ID 키에 의해 그룹화됩니다. 컴파일러는 자산 유형과 분류 노드를 보존하면서 오직 지원되는 증거만을 인용하도록 제한된 정형(canonical) 스킬 명세서를 생성합니다.
• 레지스트리 수준 조정(Registry-Level Reconciliation): 유입되는 스킬들은 하이브리드 검색(밀집 유사도, 희소 어휘 매칭, 분류 체계 호환성)을 사용하여 지속적인 스킬뱅크와 조정됩니다. 관리 모델은 CREATE, STRENGTHEN, REVISE, MERGE, SPLIT, UNCHANGED, 또는 DISCARD와 같은 라이프사이클 액션을 예측합니다. 이를 통해 버전 관리, 충돌 해결, 그리고 서로 호환되지 않는 스킬 레이어(예: 안전 규칙을 마이크로 스킬에 병합하는 것)의 병합을 방지합니다.
• 가시적 스킬 트리 투영(Visible Skill-Tree Projection): 활성화된 스킬들은 분류 체계에 따라 가시적인 계층 구조로 조직됩니다. 시스템은 탐색의 중복성을 줄이기 위해 동일 레벨의 통합을 수행하며, 라이프사이클 상태와 출처 커버리지를 기준으로 주요 스킬을 선택합니다.

3. 스킬 증강 검색(Skill-Augmented Retrieval)

추론 시점에 에이전트는 이중 검색 메커니즘을 사용합니다:

1. 선언적 증거(Declarative Evidence): 표준 RAG를 통해 원래의 지식 베이스($C_q$)로부터 작업 특화 구절을 검색합니다.
2. 절차적 가이드(Procedural Guidance): 스킬뱅크로부터 관련 컴파일된 스킬($S_q$)을 검색합니다.
   에이전트는 두 소스 모두에 조건화되어 작업을 해결하며, 이를 통해 RAG는 사실적 근거를 제공하고 스킬뱅크는 재사용 가능한 절차적 메모리를 제공할 수 있게 합니다.

핵심 기여

1. 프레임워크 제안: 이질적인 기록을 구조화되고 증거에 기반한 스킬로 컴파일함으로써, 단순한 지식 접근을 넘어 재사용 가능한 역량 획득으로 RAG 에이전트를 확장하는 ANYTHING2SKILL을 소개합니다.
2. 구현 파이프라인: 증거 윈도우 구축, 스킬 트리 사전 하의 플랜 앤 익스팬드 추출, 구조화된 계약 생성, 분류 체계 인식 통합, 레지스트리 수준 조정, 라이프사이클 추적 및 버전 관리 업데이트를 포함한 완전한 스킬 컴파일 및 관리 파이프라인을 제시합니다.
3. 경험적 검증: 컴파일된 스킬뱅크를 RAG 에이전트에 증강하는 것이 커맨드 라인 벤치마크에서 RAG 전용 및 스킬 전용 베이스라인보다 성공률을 실질적으로 높인다는 것을 입증했습니다.

실험 결과

본 프레임워크는 두 가지 커맨드 라인 에이전트 벤치마크인 qsv(CSV 연산)와 GitHub-CLI(저장소 관리)에서 평가되었습니다.

• 베이스라인(Baselines): 외부 컨텍스트가 없는 Base Agent는 qsv에서 81.60%, GitHub-CLI에서 64.70%의 성공률을 달erm했습니다.
• RAG 전용(RAG Only): 성공률이 qsv 95.41%, GitHub-CLI 76.50%로 향상되었습니다.
• ANYTHING2SKILL 전용(ANYTHING2SKILL Only): qsv 91.95%, GitHub-CLI 82.30%를 달성하여, 컴파일된 스킬이 작업 시점의 문서 검색 없이도 재사용 가능한 절차적 지식을 제공함을 보여주었습니다.
• ANYTHING2SKILL + RAG: qsv에서 98.85%, GitHub-CLI에서 **94.10%**라는 가장 높은 성능을 달성했습니다.

결과는 RAG가 필요한 선언적 사실을 제공하는 반면, 컴파일된 스킬은 런타임 시 절차 재구성의 부담을 크게 줄여주는 보완적인 절차적 가이드(호출 조건, 액션 시퀀스, 제약 조건)를 제공한다는 것을 나타냅니다. 이러한 개선은 복잡한 워크플로우가 사전 컴파일된 절차적 구조로부터 더 많은 이득을 얻는 GitHub-CLI에서 특히 두드하게 나타났습니다.

의의 및 주장

본 논문은 잠재적인 절차적 지식을 명시적이고 재사용 가능한 스킬로 컴파일하는 것이 검색 증강 에이전트를 확장하는 효과적인 방법이라고 주장합니다. 저자들은 에이전트가 단순히 외부 문서를 선언적 증거로서 검색하는 것에 그치지 않고, 그 지식 안에 내재된 절차적 역량을 조직하고 재사용해야 한다고 강조합니다. ANYTHING2SKILL은 문서를, 매뉴얼을, 로그를 지속적인 스킬뱅크로 변환함으로써, 에이전트가 지식 접근을 넘어 역량 재사용으로 나아갈 수 있게 하여, 검색 증강 생성과 스킬 기반 역량 재사용 사이의 간극을 메웁니다.