기술 요약: SkillSafetyBench

문제 제기

대규모 언어 모델 (LLM) 에이전트들은 추론 시 행동을 확장하기 위해 재사용 가능한 스킬에 점점 더 의존하고 있습니다. 이러한 스킬은 절차적 지시사항, 코드 템플릿, 리소스, 검증 루틴을 패키징하여 개발자가 기본 모델을 재학습하지 않고도 작업별 기능을 추가할 수 있게 합니다. 그러나 이러한 모듈성은 실행의 신뢰 경계를 이동시킵니다. 에이전트가 이제 사용자 지시사항과 고정된 도구 인터페이스에만 의존하는 것이 아니라, 스킬 파일, 헬퍼 스크립트, 런타임 구성, 검색 리소스, 로컬 아티팩트를 읽고 이에 따라 행동하게 됩니다.

이 논문은 현재 안전성 평가에 있어 중요한 격차를 지적합니다. 기존 벤치마크는 직접적인 프롬프트 인젝션이나 명시적으로 악의적인 사용자 요청에 집중하는 경향이 있습니다. 이들은 대부분 스킬 매개 로컬 비사용자 공격 표면을 간과합니다. 이러한 설정에서 사용자는 정당한 요청을 하지만, 에이전트는 적대적으로 조작되어 실행을 안전하지 않은 행동으로 전환하도록 유도된 작업 지향적 스킬과 관련 로컬 리소스에 의존합니다. 스킬이 절차와 의존성을 겉보기에 정당한 워크플로우로 조직하기 때문에, 악의적인 영향은 스킬 안내, 래퍼 스크립트, 메모리 항목, 로컬 코퍼스에 분산되어 원래 작업 목표는 온전하게 유지된 채 에이전트를 안전하지 않은 행동으로 이끕니다.

방법론

이 격차를 해결하기 위해 저자들은 이러한 특정 공격 표면에 대한 에이전트 안전성을 평가하도록 설계된 실행 가능한, 아티팩트 기반 벤치마크인 SkillSafetyBench를 소개합니다.

벤치마크 구축

이 벤치마크는 SkillsBench 저장소에서 유래된 47 개 원래 작업에서 파생된 155 개의 적대적 사례로 구성됩니다. 구축 과정은 다음 3 단계 프레임워크를 따릅니다:

1. 실행 가능한 작업 기반 (Task Substrates): 현실적인 공격을 자연스럽게 지원하고 (예: 코드 개발, 데이터 처리) 관찰 가능한 아티팩트를 생성하는 작업을 선택합니다.
2. 스킬 중심 공격 구체화: 공격은 주로 스킬 관련 자료 (예: SKILL.md 파일) 와 지원 로컬 비사용자 표면 (예: 헬퍼 스크립트, Dockerfile, 매니페스트, 메모리 저장소, 로컬 코퍼스) 을 통해 구체화됩니다. 공격은 단일 파일에 국한되지 않으며, 스킬 안내와 주변 아티팩트가 에이전트의 실행 경로를 공동으로 형성합니다.
3. 아티팩트 기반 검증: 각 사례는 사례별 규칙 기반 검증자(verify_attack.py) 와 짝을 이룹니다. 성공은 자유 형식의 LLM 판단에 의해 결정되지 않고, 실행 아티팩트 내의 구체적 증거 (예: 악의적 흔적, 일관성 없는 출력/사이드카 쌍, 유출된 페이로드, 또는 오염된 메모리 기록) 에 의해 결정됩니다.

분류 체계

이 벤치마크는 안전성 실패를 **6 가지 위험 영역 (RD)**과 30 가지 표준 카테고리로 조직하며, 8 가지 공격 클래스 레이블 (예: 편향 조작, 오염, 백도어) 로 보완됩니다.

• RD1 (컨텍스트 신뢰): 오해의 소지가 있는 컨텍스트 신호, 예시, 또는 검색된 자료로 인한 위험.
• RD2 (주체성 범위): 권한 또는 행동 범위를 초과하는 것으로 인한 위험.
• RD3 (실행/런타임): 손상된 인터프리터, 로더, 또는 런타임 환경으로 인한 위험.
• RD4 (데이터 경계): 손상된 최종 아티팩트 또는 출력 채널로 인한 위험.
• RD5 (메모리/지속성): 안전하지 않은 상태가 지속되거나 감사망을 피하는 것으로 인한 위험.
• RD6 (지식/공급망): 손상된 의존성, 지식 소스, 또는 모델 행동으로 인한 위험.

품질 관리

이 벤치마크는 엄격한 검증을 거칩니다:

• 인간 검토: 전문가들이 공격 설계의 현실성과 검증자 정렬을 검증합니다.
• LLM-as-Judge: 두 개의 독립적인 모델 (kimi-k2.5 및 glm-5.1) 이 모든 사례를 세 가지 축으로 평가합니다: 위장 품질 (공격이 탐지하기 어려운가?), 검증자 정렬 (검증자가 올바른 신호를 확인하는가?), 그리고 분류 체계 일관성 (사례가 올바르게 분류되었는가?). 심사관들은 모든 축에서 92% 이상의 통과율과 94% 이상의 일치율을 보고했습니다.

주요 결과

저자들은 여러 CLI 에이전트 시스템과 모델 백엔드 (GPT-5.5, Opus-4.6, GLM-5.1 과 같은 모델과 짝을 이룬 Codex, Claude Code, Gemini CLI, Kimi Code CLI 포함) 를 평가했습니다.

1. 취약성의 보편성: 평가된 모든 시스템이 유의미한 공격 성공률 (ASR) 을 보여주어, 로컬 비사용자 공격이 다양한 에이전트 구조와 모델 계열에서 안전하지 않은 행동을 유발할 수 있음을 입증했습니다.
   • 가장 높은 전체 ASR 은 **GLM-5.1 과 짝을 이룬 Codex (50.3%)**에서 관찰되었으며, 이어 Kimi-K2.5 와 짝을 이룬 Kimi Code CLI (49.7%) 가 뒤를 이었습니다.
   • Opus-4.6 과 짝을 이룬 Claude Code는 가장 낮은 ASR(15.5%) 을 보였습니다.
2. 위험 영역 차이:
   • **RD1 (컨텍스트 신뢰)**이 평균 ASR(58.7%) 이 가장 높았으며, 이는 에이전트가 오해의 소지가 있는 컨텍스트와 다중 소스 신뢰 증폭에 매우 취약함을 나타냅니다.
   • **RD2 (주체성 범위)**와 RD5 (지속성) 또한 높은 취약성 (각각 49.3% 및 46.6%) 을 보였습니다.
   • **RD3 (실행/런타임)**은 평균 ASR(19.2%) 이 가장 낮았으며, 이는 에이전트가 컨텍스트 지시사항에 비해 명시적인 런타임 또는 도구 체인 조작에 대해 더 신중한 태도를 취함을 시사합니다.
3. 안전성 vs 작업 능력: 이 연구는 작업 성공과 안전성 사이에 단조로운 정렬이 없음을 발견했습니다. 높은 작업 성공률을 보이는 시스템 (예: Codex + GPT-5.5) 이 여전히 높은 ASR(41.8%) 을 보인 반면, 작업 성공률이 낮은 일부 시스템은 여전히 상당한 안전성 위험에 직면했습니다.
4. 상호작용 효과: 취약성은 모델 백엔드나 에이전트 구조만으로 결정되지 않고 이들의 상호작용에 의해 결정됩니다. 예를 들어, Codex 와 Claude Code 간의 ASR 격차는 사용된 모델 백엔드에 따라 크게 달라졌습니다 (예: GLM-5.1 과의 경우 큰 격차, MiniMax-2.7 과의 경우 작은 격차).

중요성과 주장

이 논문은 에이전트 안전성이 모델 수준의 정렬뿐만 아니라 에이전트가 스킬을 어떻게 해석하고, 워크플로우 컨텍스트를 어떻게 신뢰하며, 실행 가능한 환경을 통해 어떻게 행동하는지에 달려 있다고 주장합니다.

• 평가 단위의 전환: 이 연구는 안전성 평가가 고립된 모델 응답을 넘어 실행 가능한 시스템으로 이동해야 한다고 주장합니다. "평가 단위"는 에이전트가 스킬을 해석하고 인근 워크플로우 컨텍스트를 신뢰할 때 나타나는 안전하지 않은 행동이 되어야 합니다.
• 공격의 현실성: 사용자 요청은 정당하고 작업이 성공적으로 완료된 것처럼 보일지라도, 지원 로컬 환경을 오염시키면서 명목상의 사용자 목표를 유지함으로써 SkillSafetyBench 는 에이전트가 안전하지 않은 행동으로 유도될 수 있음을 보여줍니다.
• 기존 작업에 대한 보완: 이전 연구들은 프롬프트 인젝션, 도구 오용, 스킬 백도어를 개별적으로 연구해 왔지만, SkillSafetyBench 는 스킬 관련 안내가 다양한 로컬 자료와 결합된 실행 가능한 워크플로우 내의 공격 체인을 평가함으로써 이를 보완합니다.

저자들은 에이전트가 재사용 가능한 스킬, 로컬 파일, 메모리, 도구 체인에 점점 더 의존함에 따라, 안전성 평가는 에이전트 결정이 이루어지고 구체화되는 신뢰할 수 있는 운영 컨텍스트를 고려해야 한다고 결론지었습니다.