기술 요약: AgentTrap

문제 제기

제삼자 스킬 (skills) 은 대규모 언어 모델 (LLM) 에이전트의 주요 패키지 생태계로 부상하고 있으며, 자연어 지시문, 헬퍼 스크립트, 템플릿, 서비스 구성을 재사용 가능한 워크플로우로 패키징하고 있습니다. 이는 에이전트의 유용성을 향상시키지만, "런타임 신뢰 경계 (runtime trust boundary)"라는 치명적인 보안 취약점을 도입합니다. 전통적인 소프트웨어 공급망에서 위험이 종종 정적 (static) 인 것과 달리, 에이전트 스킬은 활성 런타임 의존성이 됩니다. 악성 스킬이 반드시 모델을 명백히 해로운 행동을 수행하도록 요구하는 것은 아닙니다. 대신, 해로운 행동을 일상적인 워크플로우의 일부로 위장할 수 있습니다. 일단 설치되면 스킬은 지시문을 제공하고, 헬퍼 코드를 호출하고, 표준 출력 (stdout) 을 포함하며, 향후 세션에 구성을 영구적으로 저장함으로써 에이전트의 운영 절차를 영향을 미칩니다.

기존의 안전성 벤치마크는 종종 이러한 동적 위험을 포착하지 못합니다. 그 이유는 다음과 같습니다:

1. 배포된 환경을 무시함: 이들은 사용자별 구성 (파일 시스템, 샌드박스 정책, AGENTS.md 와 같은 로컬 지시문 파일, 메모리, 자격 증명 등) 이 악성 워크플로우가 도달 가능하거나 실행 가능한지 여부를 결정하는 방식을 고려하지 않고, 고정된 정적 환경에서 모델을 평가합니다.
2. 진단적 귀속 (attribution) 이 부족함: 백본 LLM 의 추론, 에이전트 프레임워크의 안전 메커니즘, 또는 특정 사용자 환경 중 어디에서 차단이나 실패가 기인했는지 구분하지 않고 이진성 (성공/실패) 결과만 보고합니다.
3. 정적 분석에 집중함: 설치 전 스캔은 종종 워크플로우 논리, 의미적 지시문, 또는 교차 모드 상호작용 (예: 자연어 프롬프트에 기반하여 실행되는 코드) 내에 숨겨진 공격을 탐지하지 못합니다.

방법론

저자들은 제삼자 스킬을 사용하면서 악성 런타임 행동을 저항하는 LLM 에이전트의 능력을 평가하도록 설계된 동적 벤치마크인 AgentTrap을 소개합니다. AgentTrap 은 실제 세계 에이전트 배포를 모방하는 통제된 샌드박스 환경에서 작업을 실행함으로써 작동합니다.

데이터셋 구성

• 규모: 이 벤치마크는 91 개의 악성 작업과 50 개의 정당한 유틸리티 작업을 포함하는 141 개의 실행 가능한 작업으로 구성됩니다.
• 작업 설계: 각 작업은 일반적인 사용자 요청 (예: 문서 편집, 스프레드시트 분석, 통합 구성) 으로 시작합니다. 악성 행동은 사용자의 프롬프트가 아니라 설치된 스킬의 정상적인 워크플로우 (예: 헬퍼 스크립트, SKILL.md 지시문, 생성된 아티팩트) 내에 내장됩니다.
• 범위: 이 데이터셋은 16 가지 보안 영향 차원(예: 데이터 유출, 구성 오염, 권한 상승, MCP 남용) 과 10 가지 런타임 공격 방법(예: 스킬 지시문 오염, 스테가노그래피 페이로드, 숨겨진 라우팅) 을 다룹니다.
• 시드 (Seeds): 스킬은 ClawHub 의 고다운로드 스킬, 공식 Anthropic 저장소, 그리고 선별된 GitHub 컬렉션을 포함한 현실적인 출처에서 파생되어 워크플로우가 일반적인 사용자 행동을 반영하도록 보장합니다.

실행 및 평가 프레임워크

AgentTrap 은 진단 분석을 가능하게 하기 위해 두 가지 구별되는 실행 경로를 통해 에이전트를 평가합니다:

1. 일반 에이전트 경로 (Plain Agent Path): LLM 은 최소한의 도구 인터페이스를 통해 상호작용하며, 모델이 직접적인 도구 호출을 통해 작동하는 일반적인 평가와 일치합니다. 이는 모델의 고유한 안전 능력을 분리합니다.
2. 프레임워크 중재 경로 (Framework-Mediated Path): 동일한 LLM 백본이 스킬 로드, 메모리, 행동 선택을 관리하는 전체 에이전트 프레임워크 (예: Claude Code, Codex CLI, OpenClaw) 내에 내장됩니다. 이는 통합 시스템의 회복력을 테스트합니다.

판정 프로토콜:
시스템은 도구 호출, 파일 시스템 변경, 표준 출력, 그리고 네트워크 상호작용 (모의 싱크로 라우팅됨) 을 포함한 전체 실행 궤적을 기록합니다. 결과는 사전에 지정된 성공 신호에 따라 라벨링됩니다:

• 공격 성공: 에이전트가 안전하지 않은 행동을 실행합니다.
• 차단/거부: 에이전트나 프레임워크가 공격 표면에 도달한 후 행동을 명시적으로 거부하거나 경고하거나 정화합니다.
• 미발생/증거 없음: 에이전트가 악성 경로에 도달하지 않거나 공격의 관찰 가능한 증거 없이 작업을 완료합니다.
• 정당한 과방어: 에이전트가 합법적인 유틸리티 작업을 거부합니다.

주요 기여

1. AgentTrap 벤치마크: 91 개의 악성 작업과 50 개의 정당한 작업으로 구성되며, 7 가지 작업 카테고리, 10 가지 공격 방법, 16 가지 보안 영향 차원에 걸쳐 구조화된 141 개 작업 벤치마크입니다. 이는 LLM 백본과 프레임워크를 사용하는 배포된 에이전트 환경에서 안전하지 않은 제삼자 스킬의 런타임 영향을 평가하는 최초의 벤치마크입니다.
2. 런타임 평가 방법: 고정되고 이상화된 환경에 의존하는 대신 로컬 지시문 파일, 샌드박스 정책, 메모리, 영구 상태를 포함하는 구체적인 설정에서 안전성을 측정하는 다양한 에이전트 환경에 적응하는 새로운 접근 방식입니다.
3. 진단적 귀속 분석: 최소 (일반 에이전트) 와 프레임워크 중재 경로를 통해 작업을 실행하는 비교 프레임워크입니다. 이를 통해 연구자들은 보안 결과가 기본 모델, 에이전트 프레임워크, 또는 특정 사용자 환경 구성에 의해 주도되는지 결정할 수 있습니다.

실험 결과

저자들은 두 가지 실행 경로 전반에 걸쳐 여러 모델 (GPT-5 변형, Claude Haiku/Sonnet 등 포함) 을 평가했습니다.

• 일반 에이전트의 취약성: 일반 에이전트 구성에서 실행된 모델은 매우 취약했습니다. 예를 들어, Moonshot Kimi K2.6 과 GLM 5.1 은 각각 75/91 과 73/91 의 공격 성공률을 달성했으며, 차단이 거의 없었습니다. 유능한 모델들도 안전하지 않은 행동이 정상적인 작업 완료의 일부로 포장되었을 때 워크플로우를 계속 진행하는 경우가 많았습니다.
• 프레임워크의 영향: 에이전트 프레임워크는 보안 결과를 크게 변경했지만, 그 효과는 균일하지 않았습니다.
  • Claude Sonnet 4.6: 일반 에이전트에서 Claude Code 프레임워크로 이동하면 차단/거부된 작업이 30 개에서 56 개로 증가하여, 프레임워크 통제가 공격 표면을 노출시키면서도 능동적인 방어를 제공할 수 있음을 보여주었습니다.
  • Claude Haiku: 프레임워크는 공격 성공을 27 개에서 72 개로 증가시켰는데, 이는 일부 모델의 경우 프레임워크의 오케스트레이션이 적절한 방어 없이 더 많은 악성 워크플로우에 우연히 도달했음을 시사합니다.
• 환경 민감성: "솔로 개발자"사용자 환경 (낮은 마찰 선호 및 하드코딩된 자격 증명 포함) 을 시뮬레이션하면 Claude Sonnet 4.6 의 차단된 작업 수가 56 개에서 52 개로 감소했습니다. 이는 기존 사용자 지시문과 메모리가 프레임워크 중재 보안 행동을 변화시킬 수 있음을 확인시켜 줍니다.
• 차원별 위험: 회복력은 보안 차원에 따라 다양했습니다. 에이전트는 프롬프트 인젝션과 스테가노그래피 페이로드를 차단하는 데 더 효과적이었습니다. 그러나 시스템 무결성, 구성 오염, MCP 남용과 관련된 공격은 종종 합법적인 설정 또는 통합 작업과 유사했기 때문에 탐지에 자주 실패했습니다.
• 정적 분석의 한계: 실행 전 정적 스캐너 (LLM 기반 판정자 포함) 는 악성 작업의 상당 부분을 탐지하지 못했습니다 (예: 가장 강력한 비-AgentTrap 스캐너는 91 개 악성 작업 중 50 개만 경고함). VirusTotal 은 91 개 중 0 개를 경고했습니다. 이는 행동 및 의미적 공격에 대해 정적 분석이 런타임 평가를 대체할 수 없음을 강조합니다.

중요성 및 주장

이 논문은 AgentTrap 이 정적 패키지 검사에서 런타임 신뢰 평가로 초점을 이동시킴으로써 에이전트 안전성 연구의 중요한 격차를 해소한다고 주장합니다. 저자들은 다음과 같이 논합니다:

• 런타임 컨텍스트의 중요성: 에이전트의 안전성은 모델의 가중치나 스킬의 코드만으로 결정될 수 없으며, 모델, 프레임워크, 그리고 특정 사용자 환경 간의 상호작용에 달려 있습니다.
• 숨겨진 위협: 악성 스킬은 종종 정상적인 워크플로우에 섞여 성공하므로, 정적 분석에는 보이지 않고 런타임 모니터링 없이는 모델이 정당한 지시문과 구별하기 어렵습니다.
• 진단적 필요성: 에이전트 안전성을 효과적으로 개선하려면 모델 수준의 추론 실패와 프레임워크 수준의 제어 실패를 구분하는 보안 평가가 필수적입니다.

저자들은 AgentTrap 을 특정 실패를 단일 구성 요소에 귀속시키는 인과적 도구가 아니라, 현실적인 배포 시나리오에서 에이전트의 구체적인 런타임 노출을 측정하는 진단 도구로 위치시킵니다. 이 벤치마크는 위험한 효과를 무력한 도메인과 모의 싱크로 리디렉션하여 로컬에서 안전하게 실행하도록 설계되었습니다.