논문 요약: How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings

이 논문은 LLM 기반 에이전트의 성능을 확장하는 핵심 메커니즘인 '스킬 (Skills, 재사용 가능한 도메인별 지식 아티팩트)'이 실제 현실적인 환경에서 얼마나 효과적인지를 체계적으로 평가하고, 그 한계를 극복하기 위한 전략을 제시합니다.

1. 연구 배경 및 문제 제기 (Problem)

기존의 스킬 벤치마킹 연구 (예: SKILLSBENCH) 는 다음과 같은 비현실적인 이상적인 조건에 의존해 왔습니다:

1. 수동 큐레이션 (Hand-crafted): 각 태스크에 맞춰 세밀하게 제작된 스킬을 에이전트에 직접 제공합니다.
2. 직접 제공 (Direct Provision): 에이전트가 검색이나 선택 과정을 거치지 않고 컨텍스트에 바로 포함된 스킬만 사용합니다.

하지만 실제 현실에서는 에이전트가 방대한 스킬 풀 (Skill Pool) 에서 관련 스킬을 **자율적으로 검색 (Retrieval)**하고, 태스크에 완벽하게 맞지 않는 일반 목적의 스킬을 **적응 (Adaptation)**해야 합니다.

• 핵심 질문: "방대하고 잡음이 많은 스킬 풀에서 에이전트가 스스로 관련 스킬을 찾아내고, 이를 태스크에 맞게 활용했을 때, 스킬의 성능 향상 효과는 여전히 유지될까?"

2. 방법론 (Methodology)

2.1 현실적인 평가 프레임워크 구축

저자들은 34,000 개 이상의 오픈소스 스킬 (GitHub 등) 을 수집하여 대규모 스킬 컬렉션을 구축했습니다. 이를 바탕으로 점진적으로 현실적인 조건을 도입한 6 단계 평가 시나리오를 설계했습니다:

1. Curated + Forced Load: 수동 큐레이션된 스킬을 강제로 로드 (상한선).
2. Curated: 수동 큐레이션된 스킬 제공, 에이전트가 로드 여부 결정.
3. Curated + Distractors: 큐레이션된 스킬에 잡음 (Distractors) 스킬 추가.
4. Retrieved (w/ curated): 34k 스킬 풀 (큐레이션 포함) 에서 에이전트가 검색.
5. Retrieved (w/o curated): 큐레이션된 스킬이 없는 일반 목적 스킬 풀에서 검색.
6. No skills: 스킬 없음 (베이스라인).

2.2 검색 및 적응 전략

• 검색 (Retrieval): 키워드, 시맨틱, 하이브리드, 그리고 **에이전트 기반 검색 (Agentic Search)**을 비교했습니다. 에이전트가 반복적으로 쿼리를 생성하고 후보를 평가하는 방식이 가장 우수함을 확인했습니다.
• 정제 (Refinement): 검색된 스킬의 품질을 높이기 위해 두 가지 전략을 연구했습니다.
  • Query-specific Refinement: 에이전트가 태스크를 먼저 시도해보고, 검색된 스킬의 유용성을 평가하여 태스크에 맞춰 스킬을 재구성 (합성, 수정) 하는 방식.
  • Query-agnostic Refinement: 태스크 정보를 모른 채 오프라인에서 스킬 자체의 품질을 개선하는 방식.

2.3 실험 설정

• 모델: Claude Opus 4.6, Kimi K2.5, Qwen3.5-397B-A17B.
• 벤치마크: SKILLSBENCH (스킬 특화) 와 TERMINAL-BENCH 2.0 (일반 에이전트 태스크).

3. 주요 결과 (Key Results)

3.1 스킬의 이점은 취약함 (Fragility of Skill Benefits)

• 성능 저하: 평가 환경이 이상적일수록 (수동 큐레이션) 성능이 높았으나, 현실적인 조건 (검색 및 적응 필요) 으로 갈수록 성능이 급격히 하락했습니다.
• 베이스라인 수렴: 가장 어려운 조건 (큐레이션 스킬 없음, 검색 필요) 에서 에이전트의 성공률은 '스킬 없음' 베이스라인과 거의 동일해졌습니다.
  • 예: Claude Opus 4.6 은 Curated 조건에서 51.2% 였으나, Retrieved (w/o curated) 조건에서는 38.4% 로 하락 (베이스라인 35.4% 와 유사).
• 원인:
  1. 선택 실패: 에이전트가 관련 스킬을 식별하여 로드하지 못함.
  2. 적응 실패: 검색된 스킬의 내용이 태스크에 맞지 않거나 노이즈가 많아 오히려 방해가 됨.

3.2 검색 성능

• 에이전트 하이브리드 검색이 단일 직접 검색 (Direct Search) 보다 훨씬 우수했습니다. 에이전트가 쿼리를 반복적으로 수정하고 후보를 평가하는 과정이 Recall@k 를 크게 향상시켰습니다.

3.3 정제 (Refinement) 전략의 효과

• Query-specific Refinement: 초기 검색된 스킬이 어느 정도 관련성이 있을 때, 에이전트가 태스크를 탐색하며 스킬을 재구성하는 방식이 성능을 크게 회복시켰습니다.
  • 예: SKILLSBENCH (Retrieved w/ curated) 에서 Claude 의 성능을 40.1% → 48.2% 로 향상.
  • TERMINAL-BENCH 2.0 에서도 모든 모델에서 일관된 성능 향상을 보였습니다.
• Query-agnostic Refinement: 태스크 정보를 모르는 상태에서의 정제는 효과가 제한적이었으며, 일관된 향상을 보이지 않았습니다.
• 핵심 통찰: 정제 (Refinement) 는 새로운 지식을 생성하는 것이 아니라, **기존에 검색된 관련 스킬의 품질을 증폭 (Multiplier)**시키는 역할을 합니다. 관련 스킬이 아예 없으면 정제만으로는 성능을 회복할 수 없습니다.

4. 주요 기여 (Contributions)

1. 현실적인 평가 프레임워크: 기존 연구의 이상적인 가정을 넘어, 에이전트가 스킬을 검색하고 적응해야 하는 점진적인 현실적 조건을 도입한 최초의 포괄적 연구입니다.
2. 스킬의 취약성 증명: 스킬의 이점이 검색 및 적응 과정의 어려움으로 인해 쉽게 무너질 수 있음을 실증적으로 입증했습니다.
3. 검색 및 정제 전략 분석: 에이전트 기반 하이브리드 검색의 우수성과, 태스크 인지형 (Query-specific) 정제가 성능 격차를 해소하는 데 효과적임을 보였습니다.
4. 일반화 가능성: 스킬 특화 벤치마크뿐만 아니라 일반적인 에이전트 벤치마크 (TERMINAL-BENCH 2.0) 에서도 제안된 방법론이 유효함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 에이전트 생태계에서 '스킬'이 만능 해결사가 아님을 경고합니다. 단순히 스킬을 많이 보유하는 것만으로는 부족하며, **정확한 검색 (Retrieval)**과 태스크에 맞는 적응 (Adaptation/Refinement) 능력이 필수적입니다.

• 실무적 시사점: 에이전트 시스템을 설계할 때는 방대한 스킬 풀을 구축하는 것뿐만 아니라, 에이전트가 해당 스킬을 효과적으로 찾아내고 태스크에 맞게 변형할 수 있는 메커니즘 (에이전트 검색, 정제 파이프라인) 에 투자해야 합니다.
• 향후 방향: 관련성이 낮은 스킬이 에이전트를 오도할 수 있으므로, 초기 검색 단계의 정확도 향상과 오프라인 정제 방법의 고도화가 필요함을 시사합니다.

결론적으로, 스킬은 에이전트 성능 향상의 잠재력을 가지고 있으나, 현실적인 환경에서는 이를 실현하기 위한 검색 및 적응 기술의 발전이 선행되어야 합니다.