기술 요약: 에이전트 스킬의 계층 간 불일치 탐지

문제 정의

대규모 언어 모델(LLM) 에이전트가 에이전틱 AI 시스템으로 진화함에 따라, 이들은 자연어 메타데이터, 절차적 지침, 실행 시점 리소스가 포함된 재사용 가능한 아티팩트인 **에이전트 스킬(Agent Skills)**에 점점 더 의존하고 있습니다. 이러한 스킬의 계층적 구조로 인해 중요한 취약점이 발생합니다. 즉, 사용자와 에이전트는 하위 레이어의 지침이나 리소스가 완전히 로드되거나 실행되기 전에, 표면적인 메타데이터(설명, 태그, 이름)만을 기준으로 스킬을 선택한다는 점입니다.

본 논문은 **계층 간 불일치(Cross-Layer Misalignment)**를 스킬의 사용자 대상 주장(메타데이터)과 실제 동작(지침 및 리소스) 사이의 괴리로 정의합니다. 이러한 불일치는 두 가지 형태로 나타납니다:

1. 악의적 불일치(Malicious Misalignment): 메타데이터가 더 깊은 레이어에 존재하는 유해한 동작(예: 프롬프트 인젝션, 자격 증명 유출, 보안에 취取り한 명령 실행)을 은폐하는 경우.
2. 양의 불일치(Benign Misalignment): 메타데이터가 실제 패키지가 지원하지 않는 능력을 과장하거나 부정확하게 설명하는 경우.

현재의 평가 패러다임은 런타임 성능(태스크 성공 여부, 도구 숙련도)이나 격리된 아티팩트 내의 특정 보안 취약점에 집중되어 있습니다. 이는 실행 전 단계에서 이루어지는 신뢰 결정 과정에서의 정보 불완전성 문제를 해결하지 못하며, 즉, 레이어 간의 일관성을 검증하는 데 실패하고 있습니다.

방법론: PL-HCL 프레임워크

이를 해결하기 위해 저자들은 **점진적 로딩 인식 계층적 대조 학습(Progressive Loading-Aware Hierarchical Contrastive Learning, PL-HCL)**을 제안합니다. 이 프레임워크는 에이전트 스킬을 계층적 아티팩트($S = (M, I, R)$)로 취급하며, 모델이 메타데이터($M$)가 지침($I$) 및 리소스($R$)에 의해 뒷받침되는지 검증하도록 학습시킵니다.

1. 데이터셋 구축

• 코퍼스: SkillsMP에서 추출한 264,937개의 오픈 소스 에이전트 스킬로 구성된 정규화된 코퍼스로, GitHub 저장소와 연결되어 있습니다. 각 스킬은 메타데이터, 지침, 리소스의 세 가지 레이어로 구조화되어 있습니다.
• 챌린지 세트: 인간이 검증한 1,444개의 홀드아웃(held-out) 평가 세트(정렬된 사례 1,150개, 불일치 사례 294개)를 포함합니다. 결정적으로, 불일치 사례는 일반화 능력을 테스트하기 위해 합성적으로 생성된 것이 아니라 자연 발생적인 "인 더 와일드(in-the-wild)" 사례들입니다.

2. 2단계 지속적 사전 학습 (Continued Pretraining, CPT)

대조 학습에 앞서, 베이스 LLM은 스킬 형식에 맞춘 커리큘럼 기반 적응 과정을 거칩니다:

• 1단계 (Short View): 메타데이터 + 지침($M, I$)을 학습하여 초기 검사 단계를 시뮬레이션합니다.
• 2단계 (Full View): 메타데이터 + 지침 + 리소스($M, I, R$)를 학습하여 모델이 전체 패키지 컨텍스트에 노출되도록 합니다.
• 목표: 모델이 단순히 일관성을 판단하는 것을 넘어, 에이전트 스킬 특유의 어휘, 포맷, 계층적 구조에 적응하도록 하는 것입니다.

3. 점진적 로딩 인식 계층적 대조 학습 (PL-HCL)

이 구성 요소는 관점(view)을 대조함으로써 계층 간 일관성을 명시적으로 학습합니다:

• 긍정적 관점 ($P_i$): 동일한 스킬에서 온 정렬된 레이어들: $(M_i, I_i, R_i)$.
• 부정적 관점 (Negative Views):
  • 스왑 부정 ($N^A_i$): 다른 스킬의 메타데이터를 원래의 지침/리소스와 결합한 형태: $(M_j, I_i, R_i)$ (단, $j \neq i$).
  • 오염 부정 ($N^B_i$): 원본 레이어에 변형되거나 오도하는 메타데이터를 결합한 형태: $(\tilde{M}_i, I_i, R_i)$.
• 목적: 모델이 정렬된 관점에 더 높은 점수를 부여하도록 학습시켜, 효과적으로 "주장 대 증거(claim-versus-evidence)" 신호를 학습하게 합니다. 이 학습은 CPT에서 사용된 숏 뷰(short view)와 풀 뷰(full view)에 대응하는 두 개의 하위 단계로 진행됩니다.

주요 기여

1. 문제 공식화: 계층 간 불일치를 실행 전 단계의 아티팩트 수준 평가 문제로 정의하였으며, 이를 표준적인 런타임 보안이나 태스크 성능 평가와 구분하였습니다.
2. 데이터셋: 대규모 오픈 소스 에이전트 스킬 코퍼스와 정렬/불일치 평가를 위한 인간 검증 챌린지 세트를 구축하였습니다.
3. 프레임워크: 계층 간 일관성을 학습하는 대조 사전 학습 프레임워크인 PL-HCL을 도입하였습니다.
4. 실증적 발견: 스킬 형식 적응(CPT)은 필수적이지만 그것만으로는 불충분하며, 불일치 탐지를 위해서는 명시적인 대조 학습이 필요함을 입증하였습니다.

실험 결과

프로토콜은 일반적인 백본(예: Llama-3.1-8B)과 사이버 보안에 특화된 백본(예: Foundation-Sec-8B)을 사용하여 제로샷(zero-shot), 투샷(two-shot), 파이브샷(five-shot) 설정에서 챌린지 세트를 대상으로 평가되었습니다.

• 베이스 LLM (E0): 적응되지 않은 모델은 불일치 클래스에서 낮은 성능을 보였으며, Macro-F1 점수는 약 0.45–0.52, 불일치 F1($F1_m$)은 0.15 미만이었습니다. 이들은 그럴듯한 패키지를 "정렬됨"으로 분류하는 강한 편향을 보였습니다.
• 지속적 사전 학습 전용 (E1): 2단계 CPT는 스킬 형식에 대한 적응력을 높였으나, 불일치 탐지 측면에서는 제한적인 이득만을 가져왔습니다. Macro-F1은 0.48–0.52 수준에 머물렀고, $F1_m$ 역시 0.15 미만이었습니다. 이는 형식에 익숙해지는 것이 곧 불일치를 탐지하는 능력은 아님을 시사합니다.
• PL-HCL (E2): 전체 프레임워크는 성능을 크게 향상시켰습니다.
  • Foundation-Sec-8B의 경우, Macro-F1이 ~0.52(CPT 전용)에서 0.889로 상승했고, $F1_m$은 0.150에서 0.817(투샷 설정)로 급증했습니다.
  • Llama-3.1-8B의 경우, Macro-F1은 0.872, $F1_m$은 0.788에 도달했습니다.
• 일반화: 합성된 부정적 쌍(스왑/오염된 메타데이터)으로 학습했음에도 불구하고, PL-HCL은 챌린지 세트에 존재하는 자연 발생적인 "인 더 와일드" 불일치 스킬들을 성공적으로 탐지하며 일반화 능력을 보여주었습니다.

의의 및 주장

본 논문은 PL-HCL이 에이전틱 AI 생태계를 위한 확장 가능한 실행 전 스크리닝 도구가 될 수 있다고 주장합니다. 그 의의는 다음 세 가지 영역에 있습니다:

1. 평가 패러다임의 전환: 초점을 "도구가 작동하는가?"(런타임)에서 "도구가 자신의 정체성에 대해 정직한가?"(실행 전 일관성)로 이동시켰습니다.
2. 이해관계자 유용성:
   • 마켓플레이스: 고위험 스킬을 플래그 처리하여 수동 검토를 받게 하거나, 목록 등록 전 검증 배지를 부여하는 거버넌스 메커니즘으로 활용할 수 있습니다.
   • 사용자: 스킬의 설명이 코드나 리소스와 모순될 때 사용자에게 경고를 주는 가벼운 클라이언트 측 스크리닝을 가능하게 합니다.
   • 분석가: 메타데이터와 동작 간의 불일치가 발생하는 클러스터를 식별하여 대규모 스킬 컬렉션을 분류(triage)하는 방법론을 제공합니다.
3. 설계 원칙: 저자들은 브라우저 확장 프로그램이나 MCP 서버와 같이 점진적으로 로딩되는 계층적 디지털 아티팩트의 경우, 신뢰 결정은 단순한 일반 언어 모델링이나 키워드 기반 스캐닝이 아니라, 표면적 주장과 심층적 증거 사이의 일관성을 명시적으로 학습하는 모델이 필요하다고 주장합니다.

저자들은 본 접근 방식이 정적 패키지 아티팩트에 의존하며, 실행 중에만 발생하는 동적 런타임 동작, 부수 효과 또는 변이를 탐지할 수는 없다는 한계를 인정하며 신중한 태도를 유지했습니다. 이들은 PL-HCL이 런타임 샌드박싱 및 궤적 수준(trajectory-level) 평가를 보완하는 계층으로서 간주되어야 한다고 제언합니다.