기술 요약: SKILL-USE

문제 정의

대규모 언어 모델(LLM) 에이전트는 점차 스킬(skills)—언제 행동해야 하는지, 어떤 절차를 따라야 하는지, 어떤 도구가 허용되는지를 명시하는 구조화된 문서—에 의존하고 있습니다. 기존의 평가 방식은 스킬의 내재적 품질이나 최종 작업 성공에 대한 기여도를 평가하지만, 에이전트가 부분적인 설명으로부터 관련 스킬을 자율적으로 **인식(recognize)**하고 이를 올바르게 **적용(apply)**할 수 있는지 여부는 검증하지 못합니다. 현재의 벤치마크들은 (검색 과정을 건너뛰고) 전체 스킬 문서를 미리 로드해 두거나, (점진적 공개 상황에서의 도메인 특화된 절차 준수보다는) 표면적인 지시 이행(형식/길이)에 집중합니다. 여기서 **점진적 공개(progressive disclosure)**란 에이전트가 초기에는 스킬의 이름과 짧은 설명만을 보게 되는 상황을 의미합니다.

이러한 격차는 스킬 사용의 전체 라이프사이클을 미검증 상태로 남겨둡니다. 즉, 에이전트는 적합성을 판단하고, 전체 절차를 검색하며, 금지된 작업을 피하면서 절차를 충실히 실행해야 합니다.

방법론

SKILL-USE 벤치마크

저자들은 점진적 공개 상황에서의 스킬 사용을 평가하기 위해 설계된 벤치마크인 SKILL-USE를 소개합니다. 이 벤치마크는 79개의 실제 세계 스킬(GitHub, SkillsBench, SkillLearnBench와 같은 커뮤니티 저장소에서 큐레이션됨)을 9개 도메인(예: 프론트엔드 및 모바일 개발, DevOps, 데이터 과학 등)에 걸친 177개의 실행 가능한 태스크와 결합합니다.

평가 프로토콜:

1. 점진적 공개: 에이전트는 사용자 태스크와 스킬 메타데이터 객체(이름, 짧은 설명, 파일 경로)를 받지만, 전체 절차는 받지 못합니다. 에이전트는 관련성을 추론하고, 파일을 검색한 다음, 이를 실행해야 합니다.
2. 환경: 태스크는 실제 파일과 전체 도구 접근 권한이 있는 격리된 Docker 샌드박스에서 실행됩니다.
3. 스코어링 차원: 벤치마크는 스킬 사용을 세 가지 별개의 측면으로 분해합니다:
   • 트리거(Trigger): 에이전트가 이름/설명만으로 관련 스킬을 검색해 내는지 여부.
   • 준수(Compliance): 규정된 절차의 준수 여부(필수 단계의 가중 합계).
   • 경계(Boundary): 금지된 작업의 회피 여부(금지된 행동의 가중 합계).
4. 스킬 사용(SU) 점수: $SU = g(y; s) \cdot [\alpha C(y) + (1-\alpha) B(y)]$로 정의되는 게이트형 집계 점수입니다. 여기서 $g$는 트리거 지표, $C$는 준수, $B$는 경계이며, $\alpha=0.7$입니다. 실행 크레딧은 스킬이 트리거된 경우에만 부여됩니다.

구축 파이프라인:
데이터셋은 3단계 파이프라인을 통해 구축되었습니다:

1. 큐레이션: 스킬들이 "스킬 독점성"(일반적인 관행으로부터 추론할 수 없는 요구사항)과 "프로세스 관측 가능성"(실행 궤적에서 검증 가능한 흔적)을 갖도록 필터링되었습니다.
2. 루브릭 설계: 각 태스크에 대해 궤적 기반 루브릭이 생성되었으며, 모든 스코어링 항목이 특정 스킬 요구사항을 추적하도록 보장했습니다.
3. 검증: 엔드 투 엔드 검증에는 태스크 범위, 루브릭 검증 가능성, 그리고 강력한 모델이 스킬 없이도 해결할 수 있는 일반적인 요구사항의 부재를 보장하기 위한 멀티 에이전트 적대적 리뷰가 포함되었습니다.

실험 설정

저자들은 **두 가지 에이전트 하네스(harness)**인 Claude Code와 Codex 환경에서 8개의 최첨단 LLM(Claude Opus 4.7/4.8, GPT-5.5, DeepSeek-V4-Pro 등 포함)을 평가했습니다. 모든 모델은 격리된 샌드박스 내에서 동일한 177개 태스크에 대해 테스트되었습니다.

주요 결과

1. 신뢰할 수 있는 스킬 사용은 여전히 도달하기 어려운 영역임

가장 강력한 구성(Claude Code 하네스에서의 GPT-5.5)조차 최대 0.613의 SU 점수만을 달성했습니다.

• 이중 병목 현상: 실패는 두 개의 독립적인 단계에서 발생합니다. 스킬을 트리거하는 데 성공한 모델들도 종종 그 절차를 준수하는 데 실패합니다(Compliance†는 약 0.638로 최대치를 기록). 반대로, 절차를 준수할 수 있는 모델들이 때로는 스킬을 전혀 트리거하지 못하기도 합니다.
• 준수 vs 경계: 모델들은 일반적으로 금지된 작업을 피하는 것(Boundary)을 규정된 워크플로우를 완수하는 것(Compliance)보다 더 안정적으로 수행합니다.

2. 스킬 사용은 하네스 의존적임

스킬 사용은 모델의 고정된 속성이 아니라, 주변 하네스에 의해 조건화되는 능력으로 작동합니다.

• 순위 불안정성: 모델 순위는 하네스 간에 크게 변동합니다. 예를 들어, GPT-5.5는 Claude Code에서 선두를 달리는 반면, Claude Opus 4.8은 Codex에서 선두를 달립니다.
• 차별적 스트레스: Claude Code 하네스는 트리거(검색)를 강조하는 반면, Codex는 절차적 실행을 강조합니다. 하네스 간 이동 시 트리거율의 편차는 압축되지만, 조건부 준수의 편차는 넓어집니다.

3. 스킬 주입 및 라이브러리 크기의 영향

• 검색이 주요 병목 구간: 전체 스킬 문서를 미리 로드하여 점진적 공개를 우회하면, 주로 트리거율을 높임으로써 SU 점수가 크게 향상됩니다. 일단 스킬이 트리거되면, 프리로딩은 실행 품질에 미미한 영향을 미치는데, 이는 '검색 결정' 자체가 핵심적인 실패 지점임을 나타냅니다.
• 라이브 library 크기: 스킬 라이브러리 크기를 1개에서 30개로 늘리면 성능 저하가 발생하지만, 이는 잘못된 스킬을 선택하기보다는 트리거 실패(아무 스킬도 선택하지 못함)에 의해 거의 전적으로 주도됩니다.

4. 일반화 및 태스크 완료

• 절제 실패: 스코프 내에서의 높은 스킬 사용 성능이 스코프 외의 스킬 사용을 자제하는 능력과 상관관계가 있지는 않습니다. 사실, 상관관계는 음수입니다. 즉, 스킬을 가장 잘 따르는 모델이 불필요한 호출을 억제하는 데 가장 서툰 경우가 많습니다.
• 태스크 완료: 스킬의 절차를 따르는 것은 SU 점수가 약 0.5를 초과할 때만 태스크 완료율을 높입니다. 이 임계값 아래에서는 스킬을 부분적으로 혹은 잘못 실행하는 것이 스킬이 아예 없는 것보다 성능에 해를 끼칩니다. 모델이 특정 툴체인을 선택했지만 이를 완수하지 못하기 때문입니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 스킬 사용의 공식화: 스킬 사용을 점진적 공개 상황에서의 인식, 준수, 절제의 뉘앙스를 포착하기 위해 트리거(Trigger), 준수(Compliance), **경계(Boundary)**로 분해하여 별도의 평가 대상으로 정의했습니다.
2. SKILL-USE 벤치마크: 궤적 기반 루브릭과 재사용 가능한 3단계 구축 파이프라인을 갖춘 광범위한 커버리지의 벤치마크(9개 도메인, 79개 스킬, 177개 태스크)를 공개하여, 단순한 산출물 품질을 넘어 프로세스 수준의 평가로 나아갔습니다.
3. 실증적 통찰: 신뢰할 수 있는 스킬 사용이 여전히 해결되지 않은 문제임을 입증했습니다. 연구 결과는 현재의 에이전트들이 점진적 공개의 검색(retrieval) 단계에서 어려움을 겪고 있으며, 스킬 사용 능력은 베이스 모델 자체보다는 에이전트 하네스 아키텍처에 크게 의존한다는 것을 보여줍니다.

저자들은 스킬 라이브러리가 효과적이려면 모델이 단순히 절차를 실행할 수 있는 것을 넘어, 해당 절차가 언제 필요한지를 신뢰할 수 있게 식별할 수 있어야 하며, 현재의 프런티어 모델들은 아직 이 능력을 완전히 숙달하지 못했다고 결론짓습니다.