기술 요약: 스킬 커버리지: 에이전트 스킬에 대한 테스트 적절성 지표

문제 정의

현재 대규모 언어 모델(LLM) 에이전트에 대한 평가는 주로 태스크 수준의 결과(성공/실패)에 의존하여 "에이전트 스킬(agent skills)"—자연어로 인코딩된 재사용 가능한 절차적 지식 아티팩트—의 유용성을 평가합니다. 그러나 태스크가 성공적으로 완료되었다고 해서, 실행 과정에서 스킬 내의 특정 지침, 기대 사항 또는 행동 패턴 중 실제로 어떤 부분이 실행되었는지는 드러나지 않습니다. 이는 테스트 적절성(test adequacy) 측면에서 심각한 격차를 발생시킵니다. 즉, 사용자는 문서화된 스킬의 어떤 부분이 테스트되었고, 특정 모델-태스크 설정 하에서 어떤 부분이 관찰되지 않은 채 남아 있는지에 대한 증거를 확보할 수 없습니다. 결과적으로, 스킬이 재사용, 적응 또는 개선을 위해 충분히 검증되었는지 판단하기가 어려워집니다.

방법론

본 논문은 테스트의 대상을 단순히 최종 태스크 결과에 집중하는 것이 아니라, 스킬 아티팩트 자체를 테스트 대상(object under test)으로 취급하는 **스킬 커버리지(Skill Coverage)**라는 테스트 적절성 지표를 소개합니다. 이 방법론은 두 가지 주요 단계로 구성됩니다.

1. 스킬 행동 제약 조건(SBC) 추출

저자들은 스킬 문서의 테스트 가능한 부분을 정형화하기 위해 **스킬 행동 제약 조건(Skill Behavior Constraint, SBC)**이라는 보수적인 추상화를 정의합니다.

• 정의: SBC는 자연어 스킬 문서로부터 도출된, 소스에 근거하고(source-grounded), 관찰 가능하며(observable), EARS(Essentialize, Analyze, Refine, Simplify) 스타일로 정규화된 조건-행동 규칙입니다.
• 기준: 유지되려면 제약 조건은 다음을 충족해야 합니다:
  1. 소스 근거(Source-grounded): 스킬 문서 내의 구체적인 구간(span)에 의해 뒷받침되어야 함.
  2. 제약 기능(Constraint-bearing): 의무, 금지, 사용 패턴, 워크플로우 단계 또는 산출물 속성을 부과해야 함.
  3. 관찰 가능성(Observable): 실행 증거(예: 도구 호출, 코드, 파일 차이점, 로그)로부터 판별 가능해야 함.
  4. 원자성(Atomic): 하나의 독립적인 행동 의무를 표현해야 함.
• 프로래스: LLM이 스킬 문서에서 후보 SBC를 추출하면, 인간 검토자가 이를 감사하고 수정하여 배경 설명, 메타데이터 및 부수적인 구현 세부 사항을 필터링합니다. 이렇게 생성된 집합 $C(S)$는 커버리지 분석의 분모 역할을 합니다.

2. 에이전트 궤적에서의 커버리지 판정

프레임워크는 에이전트 궤적 $\tau$가 특정 제약 조건 $c = \langle C_c, B_c, J_c \rangle$를 실행하기에 충분한 증거를 제공하는지 평가합니다.

• 이진 판정(Binary Judgment): 제약 조건은 다음 두 조건이 모두 충족될 때만 **커버됨(Covered)**으로 표시됩니다:
  1. 적용 가능성(Applicability): 관찰 가능한 증거 $Obs(\tau)$가 적용 조건 $C_c$를 실체화함.
  2. 판정 가능한 증거(Adjudicable Evidence): 궤적이 제약된 행동 $B_c$의 충족 여부 또는 위반 여부를 판단할 수 있을 만큼 충분한 관찰 가능한 증거를 포함함.
• 구분: 커버리지는 에이전트가 해당 행동에 성공할 것을 요구하지 않습니다. 단지 해당 시나리오가 실체화되었고 그 결과가 판정 가능해야 함을 요구합니다. 만약 제약 조건은 적용 가능하지만 증거가 불충분하여 행동을 판정할 수 없다면, 이는 미커버(Uncovered) 상태로 남습니다.
• 지표: 스킬 커버리지는 테스트 스위트 $T$ 내의 적어도 하나의 궤적에 의해 커버된, 감사된 제약 조건 $C(S)$의 비율로 계산됩니다.

검증 프로토콜

규모에 따른 신뢰성을 보장하기 위해 저자들은 확장 전 검증(validation-before-scale) 프로토콜을 채택합니다. LLM 판정기(DeepSeek V4 Flash)가 커버리지 레이블을 할당하는 데 사용되지만, 이 성능은 350개의 제약-궤적 쌍에 대해 인간 감사인과의 비교를 통해 먼저 검증됩니다. 판정기는 전체 벤치마크에 적용되기 전, 인간 레이블과 93.71%의 정확도 일치 및 0.874의 코헨의 카파(Cohen's $\kappa$) 값을 달성했습니다.

주요 결과

이 방법론은 SkillsBench에 적용되어, 7개 에이전트-모델 구성(Gemini, Codex, Claude 변형 포함)에 걸친 78개의 소스 태스크를 평가했습니다.

• 낮은 커버리지 비율: 기존 벤치마크 실행은 추출된 스킬 행동 제약 조건의 평균 **39.90%에서 43.98%**만을 커버합니다. 이는 현재의 평가 방식에서 문서화된 스킬 가이드의 절반 이상이 테스트되지 않았거나 판정 불가능함을 나타냅HEL.
• 태스크 성공 vs 커버리지: 성공적인 태스크 실행은 일반적으로 실패한 실행보다 더 많은 제약 조건을 커버하지만(커버리지 격차 2.25~13.50 퍼센트 포인트), 태스크 성공이 적절한 테스트를 의미하지는 않습니다. 성공적인 실행조차도 스킬 분모의 38.96%에서 47.14%를 테스트되지 않은 상태로 남겨둡니다.
• 분포: 구성 전반에 걸쳐, 162개 스킬 중 90100%의 커버리지에 도달한 것은 822개뿐이었으며, 4152개의 스킬은 030% 범위에 머물렀습니다.

의의 및 주장

본 논문은 스킬 커버리지가 태스크 수준의 결과와 상보적인 신호를 제공하여, 에이전트 평가의 결정적인 사각지대를 해결한다고 주장합니다.

• 아티팩트 수준의 적절성: 본 연구는 초점을 "에이전트가 태스크를 해결했는가?"에서 "재사용 가능한 스킬의 어떤 부분이 판정 가능한 증거와 함께 실제로 실행되었는가?"로 전환합니다.
• 실행 가능한 진단: 미커버된 제약 조건은 반드시 위반을 의미하는 것이 아닙니다. 오히려 이는 벤치마크가 스킬의 조건을 실체화하거나 오라클(oracle)로 확인 가능한 증거를 포착하는 데 있어 시나리오 또는 증거의 공백이 있음을 식-별해 줍니다. 이는 다음을 위한 실행 가능한 피드백을 제공합니다:
  • 벤치마크 설계자: 특정 시나리오를 실행하는 태스크를 추가하거나, 오라클 검증 가능한 증거를 위한 트레이스 캡처를 개선하기 위함.
  • 스킬 저자: 현실적인 에이전트 실행 환경에서 스킬의 어떤 부분이 검증되지 않았는지 식별하기 위함.
  • 사용자: 테스트된 범위에 기반하여 스킬 재사용에 대한 정보에 입각한 결정을 내리기 위함.

저자들은 태스크 성공과 스킬 커버리지가 서로 다른 평가 질문에 답하며, 에이전트 역량과 스킬 적절성에 대한 완전한 그림을 제공하기 위해 별도로 보고되어야 한다고 결론짓습니다.