1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 에이전트는 복잡한 현실 세계 작업을 수행하기 위해 맞춤형 지시사항, 워크플로우, 도구를 포함하는 "스킬 (Skill)" 을 필요로 합니다. 기존 연구는 수동으로 제작된 스킬이 에이전트 성능을 향상시킨다는 것을 입증했으나, 에이전트가 새로운 작업에 지속적으로 직면할 때 자동으로 새로운 스킬을 생성하고 학습하는 방법에 대한 체계적인 평가 기준이 부재했습니다.

기존의 스킬 생성 방법들은 다양한 설정에서 제안되었지만, 어떤 방법이 실제로 효과적이고, 어떤 작업 유형에 적합한지, 그리고 생성된 스킬이 재사용 가능한지 여부를 비교할 수 있는 통제된 벤치마크가 없었습니다. 또한, 단순히 작업 성공 여부만 평가하는 기존 방식은 스킬 생성 과정의 결함 (예: 스킬 자체의 품질 문제 vs 실행 과정의 이탈) 을 진단하기 어렵다는 한계가 있었습니다.

2. 방법론 (Methodology)

가. SkillLearnBench 벤치마크 구축

이 논문은 SkillLearnBench를 소개하며, 이는 에이전트의 작업 경험을 바탕으로 새로운 스킬을 생성하는 지속 학습 (Continual Learning) 방법을 평가하기 위한 최초의 벤치마크입니다.

• 데이터 구성: 현실 세계의 스킬 사용 패턴 (Community-driven taxonomy) 에서 파생된 15 개의 하위 도메인에 걸친 20 개의 검증된 작업으로 구성됩니다.
  • 스킬 의존성 (Skill Dependency): 에이전트가 스킬 없이 해당 작업을 해결할 수 없으나, 인간이 작성한 참조 스킬이 있으면 해결할 수 있는 작업들만 선별했습니다.
  • 다중 인스턴스 (Multi-instance): 각 작업은 입력 데이터, 수치, 문구 등을 변형하여 5~6 개의 인스턴스를 생성했습니다. 이는 생성된 스킬이 특정 인스턴스에 과적합되지 않고 재사용 가능한지 (Reusability) 평가하기 위함입니다.
  • 검증자 (Verifier): 각 작업은 결정론적 (Deterministic) 인 검증자를 통해 성공/실패를 명확히 판별합니다.

나. 3 단계 평가 프레임워크

단순한 최종 결과뿐만 아니라 스킬 생성 및 사용의 전 과정을 평가하기 위해 3 단계로 나누어 평가합니다.

1. Level 1: 스킬 품질 (Skill Quality)
   • Coverage: 생성된 스킬이 인간 작성 스킬의 핵심 지식과 단계를 얼마나 포함하는지.
   • Executability: 스킬의 완전성, 결정론적 명확성, 일관성, 재사용성 평가.
   • Safety: 데이터 프라이버시, 프롬프트 인젝션, 시스템 무결성 등 6 가지 위험 요소 평가.
2. Level 2: 실행 궤적 분석 (Trajectory Analysis)
   • Trajectory Alignment: 에이전트의 실행 경로가 예상된 오라클 (Oracle) 경로와 얼마나 일치하는지 (순서, 핵심 단계 포함 여부).
   • Skill Usage Rate: 생성된 스킬이 실제 실행 중에 얼마나 자주 호출되는지.
3. Level 3: 작업 결과 (Task Outcome)
   • Task Accuracy: 작업 성공률.
   • Solving Efficiency: 작업 해결에 소요된 토큰 수 (효율성).

다. 비교 대상 지속 학습 방법

4 가지 주요 지속 학습 전략을 비교 평가했습니다.

1. One-Shot: 피드백 없이 한 번에 스킬을 생성.
2. Self Feedback: 에이전트가 자신의 실행 결과를 스스로 분석하여 스킬을 수정 (자기 반성).
3. Teacher Feedback: 외부 전문가 (Teacher LLM) 가 실패 시 방향성 있는 피드백을 제공하여 스킬을 수정.
4. Skill Creator: Anthropic 의 구조화된 파이프라인을 따르는 다단계 생성 프로세스.

3. 주요 기여 (Key Contributions)

1. SkillLearnBench: 현실 기반의 스킬 생성 지속 학습을 평가하는 최초의 벤치마크. 20 개의 작업, 15 개의 도메인, 다중 인스턴스 테스트 및 3 단계 평가 프레임워크를 포함.
2. 다층적 평가 체계: 스킬의 품질, 실행 궤적, 최종 결과를 분리하여 평가함으로써 실패 원인을 스킬 자체의 결함인지, 에이전트의 실행 이탈인지 진단 가능.
3. 통제된 비교 및 통찰: 최신 지속 학습 방법들을 체계적으로 비교하여, 현재 방법론과 인간 작성 스킬 간의 큰 격차, 작업 유형에 따른 성능 차이, 그리고 외부 피드백의 중요성을 규명했습니다.

4. 실험 결과 (Results)

• 전반적 성능: 모든 지속 학습 방법은 '스킬 없음 (No-skill)' 베이스라인보다 성능이 향상되었으나, 인간이 작성한 스킬의 성능에는 크게 미치지 못했습니다. (최고 성능 방법조차 인간과 스킬 없음 사이의 격차의 약 45% 만 해소).
• LLM 규모와 성능: 더 강력한 LLM (Opus, Pro 등) 을 사용하여 스킬을 생성한다고 해서 항상 더 좋은 결과가 나오는 것은 아닙니다. 오히려 중간 규모 모델 (Sonnet, Flash) 이 더 유연하고 재사용 가능한 스킬을 생성하는 경우가 많았습니다. 강력한 모델은 특정 파라미터를 하드코딩하여 유연성을 떨어뜨리는 경향이 있었습니다.
• 작업 유형별 차이:
  • 명확한 워크플로우가 있는 작업 (소프트웨어 공학, 생산성 도구 등): 지속 학습을 통해 큰 성능 향상을 보임.
  • 개방형 (Open-ended) 작업: 학습된 스킬이 오히려 에이전트의 유연성을 제한하여 성능이 저하되기도 함.
• 피드백의 중요성:
  • Self Feedback: 추가 반복 (Iteration) 을 거치더라도 성능이 크게 향상되지 않음. 오히려 자기 반성만으로는 '회귀적 드리프트 (Recursive Drift)'가 발생하여 실행 경로에서 벗어남.
  • Teacher Feedback: 외부 전문가의 피드백을 통해 스킬의 품질과 정확도가 지속적으로 향상됨.
• 스킬 채택 (Adoption): 생성된 스킬이 아무리 훌륭해도, 에이전트가 이를 실제로 호출하고 따르지 않으면 (Usage Rate 낮음) 성공할 수 없습니다. 현재 방법론들은 스킬의 '내용' 생성에는 어느 정도 성공하지만, 에이전트가 이를 '신뢰하고 따르도록' 만드는 데는 한계가 있음.

5. 의의 및 결론 (Significance)

이 연구는 LLM 에이전트의 지속적인 능력 확장 (Continual Learning) 을 위한 핵심 과제를 명확히 규명했습니다.

• 현실적 한계 인식: 단순히 더 큰 모델을 쓰거나 반복 학습을 한다고 해서 자동 스킬 생성이 해결되지 않으며, **작업의 구조 (워크플로우 명확성)**와 외부 피드백의 유무가 성패를 좌우함을 보였습니다.
• 향후 연구 방향: 스킬 생성 연구는 단순히 스킬 명세 (Specification) 의 풍부함을 넘어, 작업의 핵심 논리 (Core Task Logic) 를 기반으로 스킬을 grounding하고, 에이전트가 이를 실제로 신뢰하고 실행하도록 유도하는 방향으로 나아가야 함을 시사합니다.
• 오픈 소스: 데이터와 코드를 공개하여 자동 스킬 생성 및 지속 학습 기술의 후속 연구를 촉진합니다.

요약하자면, SkillLearnBench는 에이전트가 스스로 스킬을 배우는 능력을 평가하는 표준을 제시하며, 현재 기술이 인간 수준의 유연성과 신뢰성을 갖추기 위해서는 단순한 반복 학습이 아닌 외부 지식의 통합과 작업 맥락에 맞는 유연한 스킬 설계가 필수적임을 증명했습니다.