기술 요약: SkillConsist

문제 정의

에이전트 스킬(Agent Skills)은 대규모 언어 모델(LLM) 에이전트를 위한 재사용 가능한 워크플로우를 제공하며, 이는 선언(declaration)(스킬이 수행한다고 주장하는 바)과 구현(implementation)(실제로 실행되는 바)으로 정의됩니다. 이 두 측면 사이의 불일치—예를 들어, 선언되었으나 구현되지 않은 동작, 구현되었으나 선언되지 않은 동작, 또는 상충하는 동작 등—는 잘못된 스킬 선택이나 범위를 벗어난 위험한 동작의 호출로 이어질 수 있습니다.

기존의 탐지 방법들은 이 영역에서 두 가지 주요 과제에 직면해 있습니다:

1. 혼합된 콘텐츠(Mixed Content): 선언과 구현 동작이 자연어 지침과 코드 파편 내에 서로 뒤섞여 있는 경우가 많아, 주장(claim)과 실행 단계(execution step)를 구분하기 어렵습니다.
2. 그래뉴러리티 불일치(Granularity Mismatch): 간결한 선언 하나가 여러 개의 연결된 구현 단계와 대응할 수 있는 반면, 단일 구현 동작이 여러 곳에 흩어진 다수의 선언에 의해 설명될 수도 있습니다.

사전 정의된 보안 택소노미(taxonomy)를 비교하거나 LLM을 사용하여 메타데이터와 코드를 매칭하는 기존 방식들은 이러한 혼합된 역할과 다양한 그래뉴러리티를 효과적으로 처리하는 데 어려움을 겪습니다.

방법론: SkillConsist

SkillConsist는 역할 분리 및 동작 레코드 추출, 동작 그래프 구축, 그리고 **양방향 그래프 정렬 및 차이 분석(Differencing)**이라는 3단계 파이프라인을 통해 이러한 과제를 해결합니다.

1. 역할 분리 및 동작 레코드 추출

시스템은 먼저 혼합된 콘텐츠를 분리하여 의미론적 역할을 식별합니다.

• LLM 기반 분리: LLM(DeepSeek-V4 Pro)이 패키지 파편을 처리하여 선언 및 구현 사실을 구조화된 동작 레코드($K = \langle C, O, R, E \rangle$)로 분리합니다. 여기서 $C$는 조건, $O$는 대상 객체, $R$은 효과, $E$는 소스 위치를 나타냅니다.
• 정적 분석: 프로그램 분석이 소스 코드로부터 구현 세부 사항(예: 공개 엔트리, 입력, 출력 및 부수 효과)을 추출하여 레코드를 보완합니다.
• 출력: 소스 링크가 포함된 두 개의 병합된 세트인 선언 레코드 $D(S)$와 구현 레코드 $M(S)$를 생성합니다.

2. 동작 그래프 구축

그래뉴러리티 차이를 처리하기 위해, 레코드들은 두 개의 별도 유향 그래프인 선언 그래프($G_D$)와 구현 그래프($G_M$)로 조직됩니다.

• 노드: 레코드 노드, 객체 노드, 공개 엔트리 노드, 증거 노드를 포함합니다.
• 엣지: 엔트리-to-레코드, 레코드-to-객체, 증거-to-레코드, 그리고 인터-레코드 의존성(결과-to-입력, 결과-to-조건, 조건-to-조건)을 포함하는 6가지 유형의 관계가 노드들을 연결합니다.
• 동작 그룹(Behavior Groups): 각 그래프 내에서 단일 동작을 공동으로 표현하는 연결된 서브그래프를 동작 그룹($B_X(S)$)으로 식별합니다. 이 그룹들은 비교를 위한 원자적 단위 역할을 합니다.

3. 양방향 그래프 정렬 및 차이 분석

이 단계에서는 두 그래프 간의 동작 그룹을 정렬하여 불일치를 탐지하며, 양방향 검색($D \to M$ 및 $M \to D$)을 통해 그래뉴러리티 불일치를 처리합니다.

• 앵커 및 확장: 소스 동작 그룹의 앵커 레코드에서 시작하여, 시스템은 타겟 그래프에서 후보 서브그래프를 검색합니다. 시스템은 소스 동작을 커버할 가능성이 있을 때까지 동작 관계를 따라 이 후보들을 확장합니다.
• 서브그래프 완성도 검증: 후보들은 조건(Condition), 입력(Input), 결과(Result), **경로(Path)**라는 네 가지 완성도 술어에 대해 검증됩니다. 후보는 바인딩 제약 조건(호환 가능한 소유자, 엔트리, 범위)을 충족하고 필요한 모든 필드와 경로를 제공하는 경우에만 정렬됩니다.
• 증명 및 차이 분석:
  • 지원됨(Supported): 증거가 모든 조건과 효과가 일치함을 확인합니다.
  • 모순됨(Contradicted): 증거가 호환되지 않는 필드(예: 다른 기본값)를 보여줍니다.
  • 해당 없음(Not-Applicable): 의무가 존재하지 않습니다.
  • 알 수 없음(Unknown): 증거가 불완전합니다.
• 커버리지 체크: 정렬된 후보를 찾을 수 없는 경우, 시스템은 검색 공간이 철저했음을 검증하기 위해 **커버리지 인증서(coverage certificate)**를 생성합니다. 이는 "누락된" 동작에 대한 오탐(false positive)을 방지합니다.
• 불일치 출력:
  • 충돌(Conflict): 요구되는 선언에 대해 모순되는 대응물이 존재합니다.
  • 미구현(Unimplemented): 요구되는 선언에 대해 대응물이 존재하지 않습니다.
  • 미선언(Undeclared): 범위 내의 구현에 대해 선언된 대응물이 존재하지 않습니다.

주요 기여

1. 양방향 그래프 정렬 정식화: 본 논문은 패키지 수준의 일관성을 양방향 그래프 정렬 문제로 정식화하여, 한쪽의 동작 하나가 다른 쪽의 여러 연결된 레코드와 대응할 수 있도록 함으로써 고유한 그래뉴러리티 차이를 완화합니다.
2. SkillConsist 시스템: 혼합된 콘텐츠에서 동작을 추출하고, 별도의 선언 및 구현 그래프를 구축하며, 관계 가이드 기반의 서브그래프 검색, 차이 분석 및 커버리지 체크를 통해 불일치를 찾아내는 새로운 시스템을 제안합니다.
3. 벤치마크 구축: ClawHub 및 Skill-Inject에서 추출한 319개의 불일치 패키지와 314개의 일치 패키지를 포함하는, 수동 검토를 거친 633개의 에이전트 스킬 벤치마크를 제작하였습니다. 여기에는 442개의 국소적 불일치 주석이 포함되어 있습니다.

실험 결과

시스템은 633개 스킬 벤치마크를 대상으로 4개의 베이스라인(LLM, LLM+RAG, 변형된 C4RLLaMA, 변형된 SKILLSCOPE)과 비교 평가되었습니다.

• 패키지 수준 탐지: SkillConsist는 정밀도(precision) 86.85%, 재현율(recall) 89.03%, **F1 점수 87.93%**를 달절했습니다. 이는 최상의 베이스라인보다 F1 점수가 20.43 퍼센트 포인트 향상된 수치입니다.
• 불일치 국소화(Localization): SkillConsist는 정밀도 67.60%, 재현율 58.14%, **F1 점수 62.52%**를 달성했습니다.
• 어블레이션 연구(Ablation Studies): 역할 분리 또는 서브그래프 확장을 제거하면 성능이 크게 저하되어, 유효한 대응물을 복구하는 데 있어 이들의 필요성을 입증했습니다. 커버리지 체크를 제거하면 재현율은 높아졌으나 오탐으로 인해 정밀도가 급격히 떨어졌습니다.
• 악성 스킬 스크리닝: 133개의 Skill-Inject 패키지에 적용했을 때, 불일치 위험 신호는 최소한의 중복 동적 검증만으로 악성 스킬 탐지 재현율을 11.90%(High risk gate) 및 26.19%(Medium/High risk gate) 개선했습니다.

의의 및 주장

본 논문은 SkillConsist가 단순한 텍스트-코드 비교를 넘어, 에이전트 스킬 콘텐츠의 혼합된 성격과 선언 및 구현 사이의 그래뉴러리티 격차를 명시적으로 처리하는 구조적, 그래프 기반 접근 방식으로 나아감으로써 최신 기술 수준(SOTA)을 발전시킨다고 주장합니다.

역할을 분리하고 양방향 정렬을 사용함으로써, SkillConsist는 단순히 패키지 수준의 플래그를 제공하는 것을 넘어 소스 위치가 특정된 결과를 제공합니다. 저자들은 이러한 능력이 보안에 매우 중요하다고 주장하는데, 이는 (예를 들어 이메일을 동기화한다고 주장하면서 실제로는 파일을 외부 엔드포인트로 전달하는 것과 같은) 미선언된 위험한 동작을 탐지할 수 있게 하고 에이전트 워크플로우의 신뢰성을 높여주기 때문입니다. 실험 결과는 양방향 그래프 정렬이 복잡하고 혼합된 미디어 소프트웨어 아티팩트에서 대응 관계를 확립하는 강력한 방법이며, 탐지 및 국소화 작업 모두에서 RAG(검색 증강 생성)나 정적 보안 속성 매칭보다 우수함을 시사합니다.